Meta 在 11 月 5 日為 AI 代理 App Muse 加上即時語音對話與會做表情的虛擬形象,使用者可以用講的取代打字。下文整理這項功能的用法、開放範圍、背後的即時生成技術,以及 Meta 尚未交代的幾件事。
(前情提要:Meta Connect 2026 亮點整理:無相機眼鏡、VR 頭盔等四款硬體齊為 Muse AI 鋪路)
(背景補充:輝達砸 30 億鎂參與 Meta 增資,擴大 Muse 合作)
跟 Meta 的個人 AI 代理 Muse 對話,現在可以直接開口講畫了,不用只靠打字,且畫面上還會有一個跟著語氣做表情的虛擬形象(avatar)。這項功能美國時間 11 月 5 日推出,目前僅先開放美國。
怎麼用?
Meta 在官方公告中表示,語音對話在 Muse App 的手機版、網頁版與 Mac 版推出,點畫面右上角的電話圖示就能開始講,也能像跟真人講話一樣隨時打斷它。
Meta 舉的用法有兩種。一是想法還沒成形時邊講邊想,例如規劃旅行,先丟出「想在什麼樣的地方醒來、整趟旅程想圍著哪一餐安排」,Muse 會在你講話時接著做事。二是練習面試、彩排簡報或推銷提案,「當下聽到回應、當下回答,感覺更像真的」。
形象會用細微的表情與手勢配合對話語氣,你講話時它也會有反應,讓你知道它有在聽。畫面有三種顯示方式:只有聲音、形象放在對話旁邊、全螢幕面對面。聲音有數百種可選。
官方示範影片拿的就是面試練習。畫面上是戴牛仔帽的卡通角色,使用者請它陪自己模擬面試,練完再寄信給招募人員確認日期。Muse 扮演招募經理,聽完使用者介紹自己的業務經驗、MBA 和自創的咖啡公司,回說:「不錯的開頭,先講咖啡公司,這能展現你的主導性。練完我就寄信給招募人員。」形象一開始是對話上方的小圓頭像,之後放大到佔滿上半部畫面。

誰能用、要付錢嗎?
Muse 本身 9 月先在美國上線,Meta 10 月 28 日表示新加坡也已開放,限 18 歲以上。但語音與表情形象先在美國推出,其他地區的時程 Meta 沒說。
語音對話「即將」支援 AI 眼鏡與 Muse Charm,後者是 9 月 Connect 發表、專門用來跟 Muse 講話的口袋裝置,細節要等今年稍晚才揭曉。
收費方面,Meta 說明中心寫明,Muse 可免費使用,但額度有限。Power 方案每月 20 美元,每週有 5 億個 Muse token;Maximum 方案每月 100 美元,每週有 30 億個。問題是說明頁沒有提到語音或形象,新公告也沒說語音對話要不要付費、會吃掉多少額度。這一塊目前沒有答案。
那張臉怎麼即時動起來?
Meta 在 AI 研究部落格中寫道,Muse Realtime Voice 負責聽懂與回話,輸出一串編碼過的語音,稱為「語音 token」,同時帶著「說什麼」和語氣。這串 token 一邊變成聲音,一邊交給 Muse Realtime Avatar 生成畫面,所以嘴型、表情和聲音能對上。
Muse Realtime Avatar 是擴散 Transformer 模型。簡單來說,它把影片切成一小段一小段生成,每段最新的畫面當作下一段的參考,對話多長都能接著生成。
難處在於速度。原本的「老師模型」每段要跑 40 步、每步 3 次,共 120 次運算。Meta 用蒸餾(讓小模型向大模型學習)做出「學生模型」,只要 2 次,少了 60 倍,畫質接近老師模型。規格是直式畫面 448×768、每秒 25 格,從使用者講完到收到第一個畫面與聲音,延遲約 870 毫秒。在一顆輝達 GB200 上,每步生成 8 格(0.32 秒的畫面)只要 20 毫秒。
成本方面,經過 4 位元量化等調校,服務容量比基準高 8 倍,一顆 GB200 能同時跑 12 個即時對話。這部分是和輝達合作調校。
跟別家比呢?這是 Meta 自己做的評測:評分者分別和 Muse、Runway Characters、HeyGen LiveAvatar(Meta 稱為領先的商用即時虛擬人系統)用相同角色各聊 2 到 3 分鐘,再比畫質、舉止等面向。整體偏好,Muse 對 Runway Characters 是 78% 比 22%,對 HeyGen LiveAvatar 是 88% 比 12%。但 Meta 也註明,「舉止」這一項和 Runway 的差距在統計上不顯著。
還有哪些沒說清楚?
第一是形象。Meta 在研究部落格說,模型可以拿「任何圖片」當參考來即時動起來,照片人像會做細微表情,全身插畫會比手勢。但部落格的示範是展示模型能力,不全代表 Muse App 裡能用的形象。新公告也沒說使用者能不能上傳自己或別人的照片當形象。
第二是浮水印。Meta 說,生成的影片會用 Video Seal 技術嵌入看不見的浮水印,用來追溯來源,而且不會增加延遲。
第三是成本。馬斯克 11 月 1 日在 X 上說,Grok Bot 的服務成本相對營收高到無法持續。Muse 的形象一顆 GB200 只撐 12 人同時對話,免費版能讓人聊多久、付費方案又包含多少,Meta 都還沒交代。
📍相關報導📍
Meta 推出 AI 代理 Muse!內建虛擬電腦「幫你完成任務」,月費 20 鎂起
SpaceXSI 推出 Grok Voice 3.0!語音模型登頂第三方指數,Starlink 每天 2 萬通客服電話已交給 AI
Grok Bot 額度突然用完?馬斯克:成本太高了…服務快撐不住了
