一级免费毛片-a级片免费看-亚洲一级特黄-久久精品视频一区-天天爱天天射-成人a区-九七伦理电影-亚洲一区二区色-99久久婷婷-中文成人在线-波多野结衣av在线免费观看-神马久久精品-久久看片网-bbbbbxxxxx性欧美-中文字幕乱码一区二区-天天干狠狠爱-天堂8在线视频-日日夜夜91-嫩草视频国产-九九热视频精品在线观看

365英國上市集團-AI當前技術路線后勁不足:模型雖持續改進,但無法實現AGI

發布時間:2023-04-10 16:33

AI當前技術路線后勁不足:模型雖持續改進,但無法實現AGI 作者: 時間:2025-11-27 來源:電子產品世界 加入技術交流群 掃碼加入和技術大咖面對面交流海量資料庫查詢

前OpenAI聯合創始人和首席科學家、GPT的關鍵締造者伊利亞·蘇茨克維(Ilya Sutskever),在最近的深度訪談中揭開了當前AI研究最刺痛的真相:Scaling Law這條路還能繼續走,但絕不會通向AGI。他還指出,今天的模型再強,泛化能力也遠遠配不上其參數量和Benchmark的分數,甚至遠遜于人類。

這次訪談最為關注的論點是,Ilya認為目前主流的路線已經明顯遇到瓶頸,AI的擴展(Scaling)時代已經終結。其實在NeurIPS 2024上,他就曾預言“預訓練的終結”,但這一次他更加明確:我們來到了研究的時代,從規?;瘮U展回到了研究范式本身。他認為2012年到2020年,是研究的時代;2020年到2025年,是規?;瘯r代。但現在算力規模已經很大了,卻不能持續帶來更好的“擴展”,擴展與浪費算力之間的界線變得模糊。于是我們又回到了研究時代,“只是有了更大的計算機”。

AI與現實脫節

在繼續通向AGI的路途中,需要解決的根本問題是,大模型的泛化能力為什么會比人類差很多。Ilya坦言,這正是當前AI令人困惑,最矛盾的點之一 —— 在各種基準評測中,AI模型性能的表現幾乎“超乎人們的想象”,但在真實世界中,它卻常常犯一些讓人抓狂的錯誤。

他提出了兩種可能的解釋:“比較異想天開的解釋是,也許強化學習(RL)訓練讓模型變得有點過于一根筋和視野狹窄,過于缺乏意識,盡管這同時也讓它們在其他方面更有意識。正因為如此,它們無法完成一些基本的事情。”但另一個解釋是,或許現在AI訓練選擇的數據太狹窄,相比做預訓練(pre-training)時用上所有的數據,現在做強化學習訓練時,會針對評測集去選擇對應的數據。這有可能解釋評測性能與實際現實世界性能之間的脫節。

他的猜測是,人類的價值函數在某種重要的方面受到情緒的調節,這種調節是由進化硬編碼的。也許這對于人類在這個世界上有效行動很重要,“簡單的東西在非常廣泛的情況下非常有用”。

現在是研究時代

Ilya表示,預訓練最大的突破,就是大家意識到的:“擴散”這套「配方」真的好用,但是數據顯然是有限的。在某個節點上,預訓練總歸會把數據用光的,不過Ilya再次提到,擴散價值函數讓AI以更像人類的方式學習。也就是為模型內置類似人類的判斷直覺、穩定價值感受器,任務過程中的「自我評分」,這樣才能學得更快。

現在大家都在做一樣的事:大模型、更大模型,再大一點的模型。但隨著天花板臨近,瓶頸變成了點子本身。未來,將回到“小而美”的實驗產生巨大突破,大量新的想法出現,以及不依賴超級算力的創新。就像AlexNet當時僅用兩張GPU訓出、Transformer用8-64塊GPU做出,也許下一次重大范式轉變,也來自“看起來不夠大”的實驗。

640-14.jpeg

在Ilya看來,「AGI」這個詞存在的理由,并不主要是因為它是一個描述某種智能終極狀態的重要且本質的描述符,而是因為它是對另一個已存在術語的反應,那個術語就是「狹義AI」。如果你回溯到游戲AI的遠古歷史,比如跳棋AI、國際象棋AI、電腦游戲AI,國際象棋AI能打敗卡斯帕羅夫,但它別的什么也不能做。

Ilya預測,大概5到20年能夠像人類一樣學習并因此隨后變得超越人類AI系統就會出現。他確信,在某個時刻,AI實際上會開始讓人感到強大。當那一刻來臨時,他們會變得更加充滿危機感,我們將看到對待安全的方式,所有AI公司都發生巨大變化。

365英國上市集團-