大語言模型中的涌現現象是不是偽科學？ 世界速訊
發稿時間：2023-06-11 07:17:58 來源： 程序員客棧
Datawhale干貨
(資料圖)
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現現象。
大規模神經網絡下的涌現現象在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽：
- 淮劇《小白楊》深情上演 致敬一代代援疆人的“精神豐碑”
- 寧德時代出資20億元在洛陽成立新公司 經營范圍含電池制造等業務_即時焦點
- 小法：我尊重圖多爾但他不尊重我，溫格觀戰是我給他買的票_今日快看
- 農發行湖南省分行違反金融統計規定被警告并罰款135.4萬元 速讀
- 黃曉明回應為新戲增肥30斤：這是我人生中最快樂的時光 觀速訊
- 每日動態!國家統計局：9月份社會消費品零售總額增長3.0%
- 中國之變｜這五年，數字化點亮新生活-每日觀點
- 大行評級丨里昂：上調臺積電目標價至2000新臺幣 維持“高度確信跑贏大市”評級_每日時訊
- 熱消息：內蒙古赤峰農村牧區產權流轉服務中心完成首單交易
- 熱資訊！贛C支持湘C！宜春“老表”跨城應援
- 丹尼-格林：姚明如不傷難以想象，文班或能成為他本該成為的人
- 房產投資的風險與收益權衡？
- 鼎佳精密：10月17日獲融資買入291.41萬元_快資訊
- 財報速遞：達瑞電子2025年前三季度凈利潤2.31億元 每日動態
- 廣州湛建建材有限公司成立 注冊資本10萬人民幣|焦點快播
- 今日熱搜:時空科技擬“跨界”收購 切入半導體存儲賽道
- 當前聚焦：佑駕創新中標1185萬元車路云一體化城市交通融合感知項目
- 中原證券擬實施2025年半年度權益分派，共計派發現金紅利3714.31萬元-當前熱議
- 每日視點!主場戰三鎮賽前，大連英博為隊史首位外援羅伯森舉辦退役儀式
- 祥生醫療前三季度營業收入3.43億元，同比下降5.27%
- 江蘇最低工資標準公布
- 首佳科技于10月17日耗資56萬港元回購70萬股-每日消息
- 靳東：延安的變化讓人刮目相看_焦點簡訊
- 當前關注:凡人微光｜這座城的精神，正年輕！
- 又見中小銀行密集調降存款利率-簡訊
- 前沿熱點:思源電氣前三季度凈利21.91億元，同比增長46.94%
- 今日快看!劉浩存談藝術的生命力
- 要聞：呂瑞浩公參會見上海市疾控局團組
- 光庭信息：2025年前三季度凈利潤4477.54萬元 同比增長308.53%_最新資訊
- 拿起手機就能免費聽講座、看展覽 “十四五”期間多彩文化點亮生活
延伸閱讀
資訊
