October 28, 2025 · JustSayAI

更新於

強化學習爛透了,我們離AGI還要十年?|帶你解讀AI大神Karpathy重磅訪談

強化學習爛透了,我們離AGI還要十年?|帶你解讀AI大神Karpathy重磅訪談

我們現在談論的 AI Agent,90%是在假勤奮?

為什麼 Andrej Karpathy最近那兩個多小時、信息密度高到撐爆上下文窗口的訪談 如此重要?因為它給整個行業潑了一盆冷水:AGI 至少還要十年 。

這個判斷不是空穴來風,而是基於他最熟悉的自動駕駛領域 。十年前,Waymo 看起來“再有兩三年就行了” ;十年後的今天,我們發現它離真正的無人駕駛還差得遠 。

AI 行業最大的幻覺,就是把 Demo 的成功錯當成產品的勝利 。

99.9%的絕望:你永遠看不了那部電影

Karpathy提出了一個“9 的難題” (The problem of nines) 。一個產品能用(Demo),和這個產品可靠(Product),是兩個世界。99% 的可靠性,和 99.99999% 的可靠性,差異是天壤之別 。要真正替代人類,比如自動駕駛,你需要的是“九個 9”的穩定性 。

這個差距就像我們下載一部電影,進度條卡在 99.9% 。你覺得馬上就能看了,但沒有最後那 0.01%,這部電影你就永遠看不了 。

他寧願現在的模型“不聯網” 。因為大模型的核心機制是給你一個“最高概率的答案” ,它很難“知道自己不知道什麼” 。當一個“高概率”的垃圾信源進來時,災難就發生了。

吃垃圾:AI 現在的實現方式很“傻”

我們對 AI 技術的認知也有兩個巨大的反常識誤區。

第一個是“垃圾”。我們總覺得模型越大越好,動輒萬億參數。但Karpathy認為,現在的大模型都“太大了” 。它們之所以這麼臃腫,是因為被迫吃進去了海量的“互聯網垃圾數據” 。他甚至判斷,一個真正足夠智能的模型,可能只需要 100 億(10B)參數就夠了 。

第二個是“吸管”。我們都以為強化學習是 AI 的靈丹妙藥。Karpathy的觀點是:“強化學習其實很糟” (Reinforcement Learning is actually terrible) 。那為什麼大家都在用?因為“其他東西更糟” 。他用了一個絕妙的比喻:現在的強化學習,就像“用一根吸管去吸取監督信號” (using a straw to suck a supervision signal) 。你試圖用一種極其低效、帶寬極窄的方式,去獲取一個極其龐大、複雜的世界模型。

所以,別看現在的 AI 編碼工具很熱鬧,Karpathy直言,這些工具對他這種大神來說“根本不可用” 。因為他的代碼“過度抽象簡潔”,而 AI 只會用網上學來的“生產規範”和“垃圾代碼”來汙染它 。

智能的本質是“遺忘”,不是記憶

這就引出了最核心的觀點:我們對“智能”的定義可能從一開始就錯了。我們總以為,智能是“記得多”。AI 把所有數據都記住了,就是智能。錯了!

當前 AI 的實現方式是“傻”的,是“力大磚飛”。真正的智能,是“遺忘” 。

現在的模型“記憶力”太好了,能一字不差地背誦文章。這種對海量知識的“模糊回憶”(hazy recollection)反而成為一種負擔。人類的遺忘反而是一種“特性優勢”(feature not a bug),它逼迫我們去泛化。就像我們的大腦處理信息,靠的是“壓縮”和“遺忘” 。你不會記得小學每天發生的瑣事 ;幾十年後,你記住的只是“一個美好的小學階段”,或者“初戀的味道” 。大腦把細節全部遺忘,只留下了高度壓縮的“經驗”和“感覺” 。

這才是智能。

舉個不恰當的例子。很多小孩背書快,靠的不是逐字記憶,而是“圖片記憶法” 。我把整頁課文當成一張“快照” (snapshot) 拍下來,記住的是它的結構、段落分佈 ,而不是文字本身。

這恰好引出了Karpathy盛讚 DeepSeek OCR 的原因 。DeepSeek OCR 做的不是簡單的文字識別,它做的是“壓縮” 。它用處理圖像的方式,把 1000 個文字 Token 壓縮成了極少數的圖像 Token,同時保留了 97% 的信息準確度 。這才是“一圖勝千言” 。這也讓Karpathy得出一個推論:也許我們未來的模型,應該徹底轉向“用純圖像來訓練”,而不是現在的純文本 。

召喚“幽靈”,而非製造“智能”

所以,Karpathy的“幽靈論”到底是什麼意思?

他說,我們不是在“製造一隻動物”(Animal),而是在“召喚一個幽靈”(Ghost)。我理解“Animal”是某種硅基生物,是能獨立演化的物種 。而“幽靈”,是對人類已有知識和智能的一種“映射”和“複製” 。我們現在做的所有事——用垃圾數據餵它、用吸管訓練它、用蠻力堆參數——都是在試圖復刻這個幽靈。

但這也許不是終點。我更傾向於認為,這個“幽靈”真正的價值,在於它在映射人類智能的過程中,能夠“湧現”出我們人類自己都不具備的智能 。

諷刺的是,大模型被訓練出來尋找“最高概率的答案” ,但它自己卻很難“知道自己不知道什麼” 。或許Karpathy是對的,我們早就該把模型的網線拔了 。

真正的智能,是壓縮和遺忘。

【訂閱JustSayAI早晚報】

🌈新朋友!訂閱「JustSayAI早晚報」· 每日兩封 · 一鍵聽報 

🌟老朋友!加入會員獲取JustSayAI早晚報+深度研報+文字專欄

【主播小紅書】:

📕叫我小蘇就好啊

看完Anthropic招股書,原來AI才是最荒誕的生意:大模型半年就換代,GPU卻能用8年!
BLOG

看完Anthropic招股書,原來AI才是最荒誕的生意:大模型半年就換代,GPU卻能用8年!

或許你看到這篇文章時,A社已經完成了IPO。但啃完Anthropic厚達300多頁的S1招股書,我真的被裡面的數字徹底笑死了。這哪裡是什麼高科技印鈔機?分明是資本史上最荒誕的超級殺豬盤! 一個研發耗資數億美金的大模型,保鮮期居然只有6個月;跑模型的服務器折舊按6年算;黃仁勳甚至在發佈會上拍胸脯保證,GPU能穩當跑滿8年!半年就得扔的短命耗材,套上8年折舊的物理重資產,3個數字硬湊在一起,直接把商業邏輯幹得粉碎。到底是誰在為這場狂歡買單?又是誰在把全天下的投資人當猴耍? 01 三個數字的財務魔術:半年壽命的耗材,配八年折舊的牌坊 招股書白紙黑字寫著:Anthropic整整80%的收入,全來自過去6個月內的新模型。這意味著只要過半年,老模型就淪為工業廢品,營收佔比直接跌破20%。這大模型的保鮮期,比生鮮草莓還短,半年就發黴爛透了! 可另一頭呢?雲巨頭按部就班算著6年折舊,黃仁勳到處吹噓GPU能用8年,稱其為最優質的固定資產。你不覺得荒唐透頂嗎?如果一家公司買了一批保質期半年的白菜,卻找銀行辦了8年的重型冷庫貸款,你猜這家公司能活幾天? 半年前還在說數

小苏·2026年11月18日
我爆改黃仁勳的小黃鴨翻車了,卻看懂了具身智能的未來!|MicroDuck是具身智能的樹莓派!
BLOG

我爆改黃仁勳的小黃鴨翻車了,卻看懂了具身智能的未來!|MicroDuck是具身智能的樹莓派!

上週看完英偉達在柏林 GTC 大會的那場秀,黃仁勳在臺上叫出一群小黃鴨,搖晃著翻跟頭、倒頭就睡,全場直呼“太可愛了”。但大家千萬別被這隻連英偉達芯片都沒裝的塑料鴨子給騙了!你以為老黃在給全世界發聖誕禮物? 大錯特錯!這隻售價 399 美元的小鴨子肚子裡,正塞著老黃吞併整個物理 AI 時代最致命的陽謀。他根本不是在賣玩具,他是在給未來的具身智能開發者,親手戴上一副永遠無法掙脫的數字腳鐐! 華強北都不能復刻! 當看到這隻小黃鴨號稱“開源”時,我的第一反應和國內極客一模一樣:這不就是個組裝機嗎?美國開源,中國華強北抄作業,399 美元的東西,我們 399 人民幣攢一隻,難道不是分分鐘的事? 可當我真正動手復刻時,現實狠狠抽了我一記耳光。 你以為它是個便宜貨?光是小鴨子身上維持平衡的那 15 個伺服舵機,到市面上零買攢齊,成本就超過 1000 美元,摺合人民幣上萬塊!散裝硬件的實際成本,直接把 399 美元的官方整機價格按在地上摩擦! 更詭異的是什麼?這隻鴨子身上,竟然沒有哪怕一顆昂貴的英偉達 GPU。核心主控零件全是中國製造,甚至用幾美元的通用板子就能

小苏·2026年11月5日
AI 逆向把軟件又殺了一遍?聊聊REA和軟件已死
BLOG

AI 逆向把軟件又殺了一遍?聊聊REA和軟件已死

最近科技圈被所謂“AI 逆向工程”嚇慘了。各大自媒體哀嚎“軟件已死”、“SaaS 滅頂之災”,真把我笑噴了。怎麼著?就憑某個小哥不滿月費復刻了 Adobe 全家桶,憑几個 PS5 遊戲被移植,還是憑韓國某銀行被一個 DeepSeek V4-Flash 摸進內網,底褲就嚇溼了? 到底在驚慌什麼?軟件已死?早在 20 年前,中國老闆們就宣判軟件死透了!那時候誰買正版 license?直接用盜版!到了 SaaS 時代,更是直接把團隊薅過來駐場定製,一次性買斷!20 年前就被判死刑的東西,現在輪得到 AI 逆向出來裝大尾巴狼? 逆向一切?不過是個打包了 126 個工具的猜謎遊戲! 全網瘋傳一個叫 REA 的神器,號稱“逆向一切”,彷彿裝上它就能隨意踢開大廠鐵門。但把底褲扒下來,它算個什麼黑客魔法?無非是把業內早就存在的 126 個開源工具打包成了工具箱而已! 逆向工程到底是什麼?說白了就是一場“猜測的藝術”(Guessing Game)!它是在已知運行結果的前提下,瞎猜背後的源碼怎麼寫。現在的 AI 確實聰明,能把簡單的混淆和加密猜出來,可這能代表自主研發嗎? 這就像你去

小苏·2026年10月20日