Unsloth

unsloth.ai · 本地跑模型 · 开源自建 · 开源免费 · 自建即离线

微调加速库，同样一张卡能让 LoRA 训练快一倍、显存省一大截，单卡玩家练小模型最常用。

短板：只支持部分模型结构，冷门架构要自己改代码；多卡支持弱，规模一上来就得换框架。

这个站点还没有截图：抓取时被拦截或页面没渲染出来，所以这里不放图——不放空的图框，也不放别人的截图。

访问站点 ↗

微调开源本地部署

同样用来「本地跑模型」的其它选择

• Ollama — 一条命令把模型拉到本机跑，自带 OpenAI 兼容接口，验证想法和做内网 demo 最快。
• LM Studio — 图形化的本地推理，能直接看显存占用、上下文长度和每秒 token，买卡之前先拿它试。
• vLLM — 高吞吐推理服务，多人共用一个模型时的默认选择，提供 OpenAI 兼容接口。

← 全部 155 个工具 · 自建选型矩阵 · 痛点专题