科技日報記者?張夢然
新一期《自然·人類行為》發(fā)表論文顯示,在測試追蹤他人心理狀態(tài)能力——也稱心智理論(Theory of Mind)的任務(wù)中,兩類大語言模型(LLM)在特定情況下的表現(xiàn)與人類相似,甚至更好。
研究團隊對熱門LLM展開測試。
圖片來源:《自然·人類行為》
心智理論對人類社交互動十分重要,是人類溝通交流和產(chǎn)生共鳴的關(guān)鍵。之前的研究表明,LLM這類人工智能(AI)可以解決復(fù)雜的認(rèn)知任務(wù),如多選決策。不過,人們一直不清楚LLM在心智理論任務(wù)(被認(rèn)為是人類獨有的能力)中的表現(xiàn)是否也能比肩人類。
此次,德國漢堡—埃彭多夫大學(xué)醫(yī)學(xué)中心團隊選擇了能測試心智理論不同方面的任務(wù),包括發(fā)現(xiàn)錯誤想法、理解間接言語以及識別失禮。他們隨后比較了1907人與兩個熱門LLM家族——GPT和LLaMA2模型完成任務(wù)的能力。
團隊發(fā)現(xiàn),GPT模型在識別間接要求、錯誤想法和誤導(dǎo)方面的表現(xiàn)能達到甚至超越人類平均水平,而LLaMA2的表現(xiàn)遜于人類水平;在識別失禮方面,LLaMA2強于人類但GPT表現(xiàn)不佳。研究人員指出,LLaMA2的成功是因為回答的偏見程度較低,而不是因為真的對失禮敏感;GPT看起來的失利,其實是因為對堅持結(jié)論的超保守態(tài)度,而不是因為推理錯誤。
研究團隊認(rèn)為,LLM在心智理論任務(wù)上的表現(xiàn)堪比人類,不等于它們具有人類般的“情商”,也不意味著它們能掌握心智理論。但他們也指出,這些結(jié)果是未來研究的重要基礎(chǔ),并建議進一步研究LLM在心理推斷上的表現(xiàn),以及這些表現(xiàn)會如何影響人類在人機交互中的認(rèn)知。
總編輯圈點:
情商,就是情緒智力,主要是指人在情緒、情感、意志、耐受挫折等方面的品質(zhì)。有時候,我們不知道如何回復(fù)上司的一句“辛苦了”,親戚的一句“你這工作能掙多少”,也會求助大模型,希望這凝聚了人類智慧的語言模型能給出一些緩解尷尬或令人愉悅的建議。但大模型有情商嗎?大模型可以表現(xiàn)出有情商的樣子,但它顯然無法揣測人心的幽微之處,也無法體會出所謂話外有話,這些獨屬于人類社交互動的復(fù)雜之處,大模型還需要進一步學(xué)習(xí)。