Hermes Agent 源码解析 · 第 10 讲
Hermes Agent 源码解析 第 10 讲：多模态处理——视觉分析、TTS 语音合成、语音模式、图像/视频生成与 STT 转写 基于 Hermes Agent v0.16.0 源码 · 2026-06-23 一、多模态：从"纯文本 Agent"到"全感官 AI" 前九讲我们覆盖了 Hermes 从核心架构到 MCP 集成的全部关键路径。这一讲我们进入 Hermes 的 多模态能力矩阵 ——一个让 Agent 不仅能"读"和"写"，还能"看"、"说"、"听"、"画"、"拍"的完整系统。 Hermes 的多模态架构遵循同一设计哲学： 统一工具入口 + 插件化 Provider + 路由自动决策 。用户无需关心底层用的是 Edge TTS 还是 ElevenLabs、FAL 还是 OpenAI 图像生成——配置一次，Agent 自动路由。 📦 本讲核心文件 tools/vision_tools.py （1591 行）— 视觉分析主模块 tools/tts_tool.py （2731 行）— TTS 语音合成引擎 tools/voice_mode.py （1218 行）— 语音模式（Push-to-talk） tools/transcription_tools.py （1798 行）— STT 语音转文字 tools/image_generation_tool.py （1180 行）— 图像生成 tools/video_generation_tool.py （562 行）— 视频生成 agent/image_routing.py （540 行）— 图像输入路由决策 agent/image_gen_provider.py （324 行）— 图像生成 Provider ABC agent/video_gen_provider.py （299 行）— 视频生成 Provider ABC agent/tool_dispatch_helpers.py （417 行）— 多模态信封处理 plugins/image_gen/ — FAL/OpenAI/xAI/Krea 图像后端 plugins/video_gen/ — FAL/xAI 视频后端 二、多模态能力全景图 Hermes 的多模态系统可以抽象为 五大能力维度 ，每个维度都有完整的 Provider 抽象层： 能力 输入 输出 工具名 Provider 视觉分析 图片 URL 或本地文件 文本描述 vision_analyze 自动路由 (aux LLM) 语音合成 (TTS) 文本 音频文件 (mp3/ogg) text_to_speech Edge/ElevenLabs/OpenAI/MiniMax/xAI/Mistral/Gemini/NeuTTS/KittenTTS/Piper 语音转写 (STT) 音频文件 文本 (自动) 网关层触发 local/Groq/OpenAI/Mistral/xAI 图像生成 文本提示 + 可选参数 图片 URL 或文件路径 image_generate FAL/OpenAI/xAI/Krea 视频生成 文本提示 + 可选图片 视频 URL 或文件 video_generate FAL/xAI 语音模式 (VUI) 麦克风输入 对话循环 /voice 命令 音频 Recorder 这五大能力并非孤立——它们通过 网关层自动触发 （STT 转写语音消息）、 工具链串联 （vision_analyze + image_generate 实现图片风格迁移）、 多模态信封 （native vision fast path）深度整合。 三、视觉分析系统：Native Vision Fast Path 1. 双路径架构：辅助 LLM vs Native 直连 vision_tools.py 实现了两条并行的视觉分析路径，由 _should_use_native_vision_fast_path() 自动决策： 视觉分析双路径: 用户发送图片 | v +-------------------+ | _should_use_ | 决策条件: | native_vision_ | 1. image_input_mode == "native" | fast_path()? …