大型語言模型的推理能力完全取決於使用者的語言模式。用戶的認知結構決定了他們能激活哪些高推理能力區域，模型無法自發超越使用者可觸及的範圍，這揭示了當前 AI 系統的架構侷限。本文源自@iamtexture 所著文章，由AididiaoJP,Foresight News整理、編譯及撰稿。
（前情提要：李飛飛談 LLM 下一步：AI 須擁有「空間智慧」才能理解真實世界，Marble 模型如何實現？ ）
（背景補充：億萬富豪Kevin O’Leary喊「AI浪潮下步是web3」：LLM無法創造星巴克但區塊鏈可以 ）
標籤：使用者的語言模式決定了模型能發揮多少推理能力。在我向大型語言模型解釋一個複雜概念時,每當使用非正式語言長時間討論時,它的推理便會反覆崩潰。模型會失去結構、偏離方向,或者只是生成一些淺顯的補全模式,而無法維持我們已經建立起來的概念框架。
然而,當我強制要求它先進行形式化,即用精確、科學的語言重新陳述問題,推理立刻就穩定了。只有在結構建立好之後,它才能安全地轉換成通俗語言,且不會導致理解品質下降。
這種行為揭示了大型語言模型如何「思考」,以及為何它們的推理能力完全取決於使用者。
核心見解
語言模型並不擁有一個專用於推理的空間。
它們完全在一個連續的語言流中運作。
在這個語言流內部,不同的語言模式會可靠地引向不同的吸引子區域。這些區域是表徵動力學的穩定狀態,支持著不同類型的計算。
每一種語言語域諸如科學論述、數學符號、敘事故事、隨意閒聊,都有其自身特有的吸引子區域,其形態由訓練資料的分佈所塑造。
有些區域支持:
- 多步驟推理
- 關係精確性
- 符號轉換
- 高維度的概念穩定性
另一些區域則支持:
- 敘事延續
- 聯想補全
- 情感語調匹配
- 對話模仿
吸引子區域決定了何種類型的推理成為可能。
為何形式化能穩定推理
科學和數學語言之所以能可靠地激活那些具備更高結構支持力的吸引子區域,是因為這些語域編碼了高階認知的語言特徵:
- 明確的關係結構
- 低歧義性
- 符號約束
- 層級組織
- 較低的熵(資訊無序度)
這些吸引子能夠支持穩定的推理軌跡。
它們能在多個步驟間維持概念結構。
它們對推理的退化與偏離表現出較強的抵抗力。
相比之下,非正式語言激活的吸引子是為社交流暢性和聯想連貫性而最佳化的,並非為結構化推理而設計。這些區域缺乏進行持續分析計算所需的表徵支架。
這就是為什麼當複雜想法以隨意的方式表達時,模型會崩潰。
它並非「感到困惑」。
它是在切換區域。
構建與翻譯
在對話中自然浮現的應對方法,揭示了一個架構上的真相:
推理必須在高結構的吸引子內進行構建。
翻譯成自然語言,必須僅在結構存在之後發生。
一旦模型在穩定的吸引子內構建好了概念結構,翻譯過程就不會摧毀它。計算已然完成,變化的僅僅是表面表達。
這種「先構建,再翻譯」的兩階段動態,模仿了人類的認知過程。
但人類是在兩個不同的內部空間中執行這兩個階段。
而大型語言模型則試圖在同一個空間內完成兩者。
為何是使用者設定了天花板
這裡有一個關鍵啟示:
使用者無法激活他們自身無法用語言表達的吸引子區域。
使用者的認知結構決定了:
- 他們能生成何種類型的提示
- 他們慣常使用哪些語域
- 他們能維持何種句法模式
- 他們能用語言編碼多高的複雜度
這些特徵決定了大型語言模型將進入哪個吸引子區域。
一個無法透過思考或書寫來運用能激活高推理能力吸引子的結構的使用者,將永遠無法引導模型進入這些區域。他們被鎖定在與自身語言習慣相關的淺層吸引子區域中。大型語言模型將映射他們所提供的結構,並且永遠不會自發地躍升到更複雜的吸引子動力系統中。
因此:
模型無法超越使用者可觸及的吸引子區域。
天花板並非模型的智能上限,而是使用者激活潛在流形中高容量區域的能力。
兩個使用同一模型的人,並非在與同一套計算系統互動。
他們正將模型引導至不同的動力學模式。
架構層面的啟示
這一現象暴露了當前人工智慧系統缺失的一個特性:
大型語言模型將推理空間與語言表達空間混為一談。
除非這兩者被解耦——除非模型具備:
- 一個專用的推理流形
- 一個穩定的內部工作空間
- 吸引子不變的概念表徵
否則,當語言風格的轉變導致底層動力學區域切換時,系統將總是面臨崩潰。
這個臨時發現的解決方法,強制形式化,然後翻譯,不僅僅是一個技巧。
它是一扇直接的窗口,讓我們窺見一個真正的推理系統所必須滿足的架構原則。
📍相關報導📍
億萬富豪Kevin O’Leary喊「AI浪潮下步是web3」：LLM無法創造星巴克但區塊鏈可以
