Datawhale干貨
(資料圖)
作者:平凡@知乎,諾桑比亞大學(xué),在讀博士
今天晚上,花了一點(diǎn)兒時(shí)間看了兩篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior,即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象在機(jī)器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時(shí),由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素,出現(xiàn)了定性上的新能力和性質(zhì),這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。
第一篇文章舉了這個(gè)例子,每個(gè)圖都可以理解為一個(gè)任務(wù),橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模,而縱軸是準(zhǔn)確率,可以理解為模型的性能。
我們拿圖一來(lái)看,在10的22次方前,這些模型基本上的性能基本上都很穩(wěn)定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個(gè)任務(wù)上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的評(píng)論引用在這里:
作者發(fā)現(xiàn),當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計(jì)算同余加法 a+b = ? (mod c) 時(shí),網(wǎng)絡(luò)在某個(gè)時(shí)間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn),神經(jīng)網(wǎng)絡(luò)實(shí)際上“頓悟”了使用傅立葉變換來(lái)計(jì)算同余加法!這個(gè)算法可以證明是正確的, 反人類直覺的。
從這倆例子里面我的感受是,只要數(shù)據(jù)量足夠且真實(shí),且模型沒有硬錯(cuò)誤的前提下,不斷的訓(xùn)練說(shuō)不定真的能夠產(chǎn)生一些意想不到的效果。
還有就是我覺得人類現(xiàn)在積累的知識(shí)并不少,但是系統(tǒng)的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識(shí)進(jìn)行不斷學(xué)習(xí)的話,我覺得有很大概率會(huì)讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產(chǎn)力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標(biāo)簽:
- 大語(yǔ)言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)? 世界速訊
- 我發(fā)現(xiàn)互聯(lián)網(wǎng)工作的性價(jià)比還在持續(xù)走低,沒看到好轉(zhuǎn)的跡象
- 永恒之塔魔族煉金達(dá)人任務(wù)_永恒之塔魔族任務(wù)
- 非遺魅力閃耀深圳文博會(huì),活態(tài)傳承注入生命力_世界觀焦點(diǎn)
- 游千年古鎮(zhèn)、品特色瓜果,來(lái)“大境堂”趕一場(chǎng)文化市集
- 全球熱訊:國(guó)家防總針對(duì)南方地區(qū)持續(xù)降雨啟動(dòng)防汛四級(jí)應(yīng)急響應(yīng)
- 6月10日起12306可以在線選火車鋪位
- 帶傘!北京今天仍有雷雨,短時(shí)陣風(fēng)較強(qiáng),最高溫30℃|焦點(diǎn)信息
- 速看:新加坡羽毛球公開賽:陳雨菲不敵山口茜,“凡塵”“梁王”晉級(jí)決賽
- 美國(guó)亞裔高考近滿分被六大名校拒絕 為何常青藤“不認(rèn)”亞裔做題家? 速讀
- 【快播報(bào)】吃美食、看電影、賞舞?。》沁z文化在新時(shí)代有多潮?
- 國(guó)鐵集團(tuán)6月10日起在12306網(wǎng)站試行在線選鋪服務(wù)_環(huán)球即時(shí)看
- 焦點(diǎn)簡(jiǎn)訊:多措并舉促進(jìn)應(yīng)屆高校畢業(yè)生就業(yè) 網(wǎng)絡(luò)招聘活動(dòng)忙
- 國(guó)家防總啟動(dòng)防汛四級(jí)應(yīng)急響應(yīng),派工作組赴廣西福建指導(dǎo)救災(zāi)
- 明明很漂亮,卻讓人不想追劇,從李沁到鞠婧祎,問(wèn)題出在哪?
- 即時(shí)焦點(diǎn):傳字節(jié)內(nèi)測(cè)對(duì)話式 AI 產(chǎn)品,代號(hào)“Grace”;馬斯克嘲諷蘋果 頭顯;比亞迪 F 品牌定名“方程豹”
- 天天滾動(dòng):《暗黑破壞神4》差評(píng)如潮 跌到5.1分了
- 熱門看點(diǎn):2011年12月26日農(nóng)歷是多少_2011年12月26日
- 乒乓球十一分制比賽幾局_乒乓球11分制打幾局
- 二八佳人打一個(gè)字_二八佳人 打一字
- 當(dāng)前熱文:開心無(wú)月天_kaixinwuyuetian
- 五谷道場(chǎng)非油炸方便面保質(zhì)期幾個(gè)月_五谷道場(chǎng)非油炸
- 曹店村(關(guān)于曹店村介紹)-天天時(shí)訊
- 市交通運(yùn)輸委:以港促業(yè)興城 港產(chǎn)城相互賦能_全球聚焦
- 熱推薦:拼多多天天領(lǐng)現(xiàn)金外掛(拼多多領(lǐng)現(xiàn)金是真的嗎)
- 2023年機(jī)械臂行業(yè)政策分析:國(guó)家政策鼓勵(lì)機(jī)械臂企業(yè)加強(qiáng)自主創(chuàng)新-世界時(shí)訊 視點(diǎn)
- 龍湖集團(tuán):今年前5個(gè)月累計(jì)銷售額817億元,5月新增4宗土地|天天短訊
- 每日看點(diǎn)!詩(shī)意盎然的意思(盎然的意思)
- 即時(shí)看!足字旁如何打出來(lái)(足字旁怎么打出來(lái))
- 天天日?qǐng)?bào)丨[裙里在發(fā)什么圖和表情包] 第二十一期(1999表情包很多XD
- 1 我發(fā)現(xiàn)互聯(lián)網(wǎng)工作的性價(jià)比還在持續(xù)走低,沒看到好轉(zhuǎn)的跡象
- 2 6月10日起12306可以在線選火車鋪位
- 3 帶傘!北京今天仍有雷雨,短時(shí)陣風(fēng)較強(qiáng),最高溫30℃|焦點(diǎn)信息
- 4 速看:新加坡羽毛球公開賽:陳雨菲不敵山口茜,“凡塵”“梁王”晉級(jí)決賽
- 5 國(guó)家防總啟動(dòng)防汛四級(jí)應(yīng)急響應(yīng),派工作組赴廣西福建指導(dǎo)救災(zāi)
- 6 五谷道場(chǎng)非油炸方便面保質(zhì)期幾個(gè)月_五谷道場(chǎng)非油炸
- 7 龍湖集團(tuán):今年前5個(gè)月累計(jì)銷售額817億元,5月新增4宗土地|天天短訊
- 8 即時(shí)看!足字旁如何打出來(lái)(足字旁怎么打出來(lái))
- 9 天天日?qǐng)?bào)丨[裙里在發(fā)什么圖和表情包] 第二十一期(1999表情包很多XD
- 10 漢陽(yáng)陵博物院舉辦“文化和自然遺產(chǎn)日”活動(dòng)