“狂飆”兩年,大語言模型已至拐點(diǎn)?

2024-12-19 01:35:00 來源: 科技日?qǐng)?bào) 點(diǎn)擊數(shù):

科技日?qǐng)?bào)記者 劉霞

自兩年前聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器(ChatGPT)面世以來,生成式人工智能(AI)技術(shù)的擁躉們就一直堅(jiān)信:隨著科技巨頭不斷用海量數(shù)據(jù)“喂食”AI模型,再加上計(jì)算能力飛速提升,生成式AI改進(jìn)的步伐將呈指數(shù)級(jí)增長(zhǎng),接近人類智能的通用AI的出現(xiàn)也指日可待。

然而,在AI快速發(fā)展如“烈火烹油”的表面之下,一些專家的隱憂和疑慮也悄然而生。據(jù)美國技術(shù)雷達(dá)網(wǎng)站12月9日?qǐng)?bào)道,谷歌首席執(zhí)行官桑達(dá)爾·皮查伊預(yù)測(cè),2025年,AI發(fā)展勢(shì)頭將放緩。物理學(xué)家組織網(wǎng)稍早時(shí)間一篇報(bào)道也認(rèn)為,AI智能的提升速度有所減緩,目前新款大型語言模型的研發(fā)似乎已經(jīng)到了拐點(diǎn)。

AI模型日益膨脹

開放人工智能研究中心(OpenAI)的ChatGPT,可以說點(diǎn)燃了科技公司研發(fā)大型語言模型的熱情。谷歌、亞馬遜、元宇宙平臺(tái)公司,以及OpenAI主要投資者微軟公司等,都砸下數(shù)十億美元巨資,紛紛推出各自的生成式AI應(yīng)用工具。這些大型語言模型各有千秋,能夠輕松生成高質(zhì)量文本、圖像和視頻,如今也實(shí)現(xiàn)了語音對(duì)話功能。

生成式AI的“狂飆”也讓OpenAI等公司聲名鵲起,賺得盆滿缽滿。今年10月初,OpenAI公司再次成功融資66億美元,使其估值達(dá)到了驚人的1570億美元。

對(duì)此,AI行業(yè)專家、美國紐約大學(xué)神經(jīng)科學(xué)教授加里·馬庫斯表示,OpenAI之所以獲得如此高的估值,很大程度上源于很多業(yè)界人士?jī)?nèi)心深處的一種信念:只要不斷給AI模型“喂食”更多數(shù)據(jù),提升其計(jì)算能力,模型就能變得愈發(fā)強(qiáng)大。按照這樣的發(fā)展趨勢(shì),可能很快會(huì)出現(xiàn)OpenAI負(fù)責(zé)人薩姆·奧爾特曼所說的智能可與人類匹敵的“通用AI”。

智能水平提速放緩

然而,生成式AI發(fā)展的步伐,真會(huì)按照人們暢想的“劇本”進(jìn)行嗎?

馬庫斯直言,“這只是一個(gè)美好的幻象”。美國消費(fèi)者新聞與商業(yè)頻道(CNBC)網(wǎng)站也在11月初的報(bào)道中指出,谷歌、Anthropic公司和OpenAI等公司研發(fā)新大型語言模型似乎已經(jīng)碰到天花板。

風(fēng)險(xiǎn)投資企業(yè)安德烈森-霍羅威茨公司是OpenAI股東之一。該公司聯(lián)合創(chuàng)始人本·霍羅威茨最近坦承,盡管他們一直在按照節(jié)奏提升算力,但AI模型的智能水平并未因此得到顯著提升。

OpenAI聯(lián)合創(chuàng)始人伊爾亞·蘇茨克維11月15日接受媒體采訪時(shí)表示,使用大量未標(biāo)記數(shù)據(jù)來訓(xùn)練AI模型,以理解語言模式和結(jié)構(gòu)的階段已經(jīng)趨于穩(wěn)定。

專家們指出,一個(gè)根本挑戰(zhàn)在于,可用于AI訓(xùn)練的數(shù)據(jù)目前幾乎已被AI模型“蠶食殆盡”。

專門針對(duì)法律事務(wù)的生成式AI公司Spellbook也是OpenAI合作商之一。該公司首席執(zhí)行官斯科特·史蒂文森表示,一些實(shí)驗(yàn)室過于注重用更多文本數(shù)據(jù)“喂食”AI模型,但僅依靠文本數(shù)據(jù)對(duì)AI進(jìn)行擴(kuò)展注定會(huì)遇到困難。目前很多企業(yè)已經(jīng)缺乏新東西來“喂養(yǎng)”AI模型。因此,這并非知識(shí)儲(chǔ)量的問題,而是機(jī)器要能夠理解句子或畫面的含義。

初創(chuàng)公司“抱抱臉”研究員兼AI負(fù)責(zé)人莎拉·盧喬尼也強(qiáng)調(diào),AI模型開發(fā)“以大為美”的路線,最終必然會(huì)觸碰到其極限。

亟需一場(chǎng)深刻變革

薩姆·奧爾特曼11月14日在其社交平臺(tái)X上發(fā)布信息:沒有死胡同!不過,現(xiàn)實(shí)情況是,OpenAI選擇延遲推出GPT-4的接棒模型,因?yàn)镚PT-4性能的改進(jìn)程度未達(dá)預(yù)期。

作為研發(fā)戰(zhàn)略轉(zhuǎn)型的一次嘗試,今年9月,OpenAI推出了o1模型。這款模型專注于回答復(fù)雜問題,尤其是數(shù)學(xué)問題。它旨在通過提升推理能力,而非單純?cè)黾佑?xùn)練數(shù)據(jù)量,來提供更準(zhǔn)確的答案。史蒂文森認(rèn)為,OpenAI引導(dǎo)其模型“花更多時(shí)間思考而非響應(yīng)”,這或?qū)⒁I(lǐng)AI模型研發(fā)領(lǐng)域出現(xiàn)一場(chǎng)“深刻變革”。

AI服務(wù)網(wǎng)站Quantilus.com在11月25日的報(bào)道中指出,OpenAI、“深度思維”等公司正在探索“高效擴(kuò)展”技術(shù)。該技術(shù)旨在讓大型語言模型復(fù)制類似人類的思維方式,而不僅僅是依賴“蠻力”,即大量消耗計(jì)算資源。這些方法的重點(diǎn)在于提高訓(xùn)練數(shù)據(jù)的質(zhì)量,并結(jié)合來自人類反饋的強(qiáng)化學(xué)習(xí)。

史蒂文森將AI技術(shù)的發(fā)展與火的出現(xiàn)作比較。他表示,業(yè)界不應(yīng)該再通過給AI提供更多數(shù)據(jù)、提升算力來促進(jìn)其發(fā)展,而是應(yīng)該打造類似蒸汽機(jī)那樣的、具有變革性的事物。

美國斯坦福大學(xué)教授沃爾特·德·布勞沃則將先進(jìn)大型語言模型比作從高中過渡到大學(xué)的學(xué)生。他表示,目前的AI就像是能做即興表演的聊天機(jī)器人,很容易出錯(cuò),具有跳躍思維能力的機(jī)器即將到來。

責(zé)任編輯:常麗君

抱歉,您使用的瀏覽器版本過低或開啟了瀏覽器兼容模式,這會(huì)影響您正常瀏覽本網(wǎng)頁

您可以進(jìn)行以下操作:

1.將瀏覽器切換回極速模式

2.點(diǎn)擊下面圖標(biāo)升級(jí)或更換您的瀏覽器

3.暫不升級(jí),繼續(xù)瀏覽

繼續(xù)瀏覽