← 选型矩阵

Higress vs One API / New API vs LiteLLM

维度HigressOne API / New APILiteLLM
用途模型网关模型网关模型网关
部署形态K8sDockerDocker
纯内网是是是
显存门槛无无无
部署难度●●●●○●●○○○●●○○○
许可Apache-2.0MITMIT
成本自建免费自建免费自建免费
中文是是否
扫描件 OCR否否否
批量否否否
多人协作是是是
要注意基于 Envoy,概念多;不上 K8s 基本吃不到它的价值。只管转发不管质量;模型路由和降级要自己做。Python 服务,高并发下要自己压测;配置项多,容易配错路由。