← 选型矩阵

GPT-Load vs One API / New API vs LiteLLM

维度GPT-LoadOne API / New APILiteLLM
用途模型网关模型网关模型网关
部署形态DockerDockerDocker
纯内网是是是
显存门槛无无无
部署难度●●○○○●●○○○●●○○○
许可MITMITMIT
成本自建免费自建免费自建免费
中文是是否
扫描件 OCR否否否
批量否否否
多人协作是是是
要注意只管转发,不做额度计费与审计;上游协议一变就得跟着改。只管转发不管质量;模型路由和降级要自己做。Python 服务,高并发下要自己压测;配置项多,容易配错路由。