2026-11-17 12:20
导语:目录直注上下文,工具调用省下6–16秒语音往返。FashionMind是什么 FashionMind 是谷歌开源的多模态
FashionMind 是谷歌开源的多模态实时语音时尚助手,基于 Google ADK 和 Gemini Live 2.5 Flash 构建。FashionMind 能通过摄像头看穿搭、用语音自然对话,跨会话记住用户偏好,精确事实存关系数据库,风格偏好存语义记忆,原始音视频只提炼结论。FashionMind 核心设计是用商品目录直注上下文和读写分离,实现零额外语音轮次的流畅全双工对话。

runner.run_live() 事件并转发给前端。队列用 send_realtime() 处理连续音频(由 VAD 判定说话边界)、send_content() 处理离散的图像、文本和上下文注入(可立即触发推理或打断),解耦 WebSocket 处理器与 ADK runner。send_content() 非阻塞注入,目录几毫秒内就绪、记忆约 1.5 秒后到达。由于注入不打断实时音频流,用户说完第一句话时 Agent 已握有完整上下文,因此能一轮语音直接回答”有没有西装”,无需检索工具调用。recommend_products() 被设计为纯信号工具——不查数据库,只在 ADK 事件流中产生可检测的 function_call 事件,下游任务据此向前端推送高亮指令,使语音播报与商品高亮同步完成。
微信关注回复“开源”,加入AI开源项目交流群
./setup_gcp.sh YOUR_PROJECT_ID us-central1,脚本会自动创建 Cloud SQL PostgreSQL 实例和 Vertex AI Agent Engine,并生成 backend/.env 配置文件。alembic upgrade head(数据库迁移)、python seed_products.py(导入商品目录),再运行 uvicorn main:app --reload --port 8080 启动服务。USE_MEMORY_BANK=true 启用跨会话记忆。npm install 和 npm run dev,然后浏览器打开 http://localhost:5173。| 维度 | FashionMind | Pinterest Assistant |
| 产品定位 | 面向开发者的开源参考架构,可复用的垂直语音应用工程样板 | 面向消费者的成品功能,嵌入 Pinterest 平台,尚处 beta 阶段 |
| 语音交互模式 | 全双工连续对话:16kHz 持续音频流、免唤醒词、可随时打断(barge-in) | 按键式语音:按住麦克风说话(类似发语音消息),非连续流式,音频播报不可关闭 |
| 视觉能力 | 1fps 实时摄像头持续看穿搭,同一语音回合内点评 | 多模态”视觉优先”模型,可基于海报、屏幕图片生成搭配建议,但非实时视频流 |
| 记忆架构 | 三层分离:精确事实走关系数据库、风格偏好异步提炼入语义记忆、原始音视频只存结论 | 依托 Pinterest 用户行为信号(保存的 Pin、浏览记录)做个性化,无公开的记忆分层机制 |
| 商品联动 | 自建商品目录全量注入上下文,说到商品前端即刻高亮卡片 | 推荐自家平台 Pins,语音简述搭配并展示视觉结果 |
| 延迟工程 | 深度优化:目录/记忆异步注入、信号工具免往返、本地打断、本地会话状态 | 官方未披露延迟优化细节,语音播报刻意保持简短 |
来源:AI工具集
免责声明:含第三方意见,不构成财务建议
Step Code – 阶跃星辰开源的终端编程智能体
09-24
Hy4 preview 轻量版 – 腾讯混元开源的Hy4量化压缩模型
09-02
Claude Fable 5.1 – Anthropic 推出的最新旗舰大模型
09-02
开源版Retool来了,60+组件拖拽搭后台
08-19
Claude Opus 5来了:半价逼近Fable 5
07-25
腾讯开源260个真实任务,考AI打工能力
07-25
美团开源AI考场:813个Minecraft任务
07-25






