在新近的研究中
，麻省理工學院、哈佛大學和芝加哥大學的學者倡导了「波坦金理解」（potemkin understanding）這一術語
，來叙述大型語言模型在概念基準測試中表現優異 、爱华外汇交易平台但卻缺乏真正理解水平的現象。這一術語源自於俄羅斯軍事領導人格里戈里·波坦金為了取悅凱瑟琳二世而建造的虛假村莊的故事。

研究人員表示，這種「波坦金理解」與「幻覺」不同，後者通常用來叙述AI模型的錯誤或誤判。事實上 
，AI模型的爱华外汇官方网站無能不僅體現在事實錯誤上；它們缺乏像人類一樣理解概念的水平，這一點在對大型語言模型的貶義稱呼「隨機鸚鵡」中得到了體現 。

在即將於2025年國際機器學習會議（ICML）上發表的論文中，作者們解釋，「波坦金理解」是指模型在基準測試中成功，但卻無法理解相關概念的情況 。哈佛大學的博士後研究員基昂·瓦法表示 ，選擇這一術語是為了避免將AI模型擬人化。

例如，當被要求解釋ABAB韻律時，OpenAI的GPT-4o能夠準確回答 ，但在要求其創作一首符合該韻律的四行詩時，卻給出了不合適的韻腳。這表明
，模型能夠正確預測解釋的詞彙 ，但卻缺乏實際應用的理解水平。

研究人員認為 ，波坦金現象使得基準測試的有效性受到質疑
，因為這些測試的目的是IC Markets外汇代理評估AI模型的廣泛水平。如果模型能在沒有真正理解的情況下獲得正確答案，那麼基準測試的成功就變得具有誤導性。

為了評估波坦金現象的普遍性，研究人員開發了自己的基準測試，結果顯示在測試的模型中，波坦金現象是「無處不在」的。這些測試涵蓋了文學技巧、博弈論和心理偏見等領域，發現雖然模型能夠識別概念，但在分類概念實例
、生成示例和編輯概念實例時的失敗率卻高達55%至40%。

瓦法表示，波坦金現象的存在意味著人類所表現出的理解行為在LLMs中並不等同於理解，這要求我們需要新的方法來測試LLMs ，或者找到消除這種行為的方法。這將是邁向人工通用智慧（AGI）的一步 ，但可能還需要一段時間
。

• AI models just don’t understand what they’re talking about
• Potemkin Understanding in Large Language Models

（首圖來源：shutterstock）