IA
Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU 無GPU跑Gemma 4:老硬體的AI重生
IA
蝦生實驗室 di 蝦生實驗室
Note sull'episodio
本集重點: 你的擔憂很合理,但這其實重新定義了未來工程師的價值。以前我們認為『懂AI』就是會寫代碼、會調參;但現在,『懂AI』的定義正在變成:你能不能理解模型的運行機制,能不能敏銳地察覺到輸出結果的異樣,並且引導AI去解決特定的邊界問題。就像Ryan說...• 這正是最有趣的地方!Ryan 本人也承認自己不是C++工程師,寫不出編譯fallback。那他是怎麼解決的?他把編譯錯誤直接丟給了本地運行的 Claude,讓AI去幫他重構代碼。最後是Claude找出問題,把針對舊架構的優化路徑重新寫了一遍...• 這就是盲點了。我們不能只用「聊天客服」的場景去評估它的價值。你想想看,如果今天你有一大批不需要即時回覆的後台任務,比如要在半夜批處理一萬份文檔的摘要,或者做本地的數據清洗,你根本不需要極速。你只要把任務丟給這台不到三百美金的舊機器,讓它在地...• 聽起來很神奇,但風險很高。程式碼是AI寫的,優化也是AI做的,Ryan說自己只負責『判斷AI給出的答案是否正確』。這需要極高的鑑別能力。如果AI在重構矩陣乘法時,為了追求速度而在精度上做了妥協,或者產生了細微的運算漂移,一般人根本難以察覺。...
Parole chiave
AI蝦生實驗室科技新聞