手算AI:探尋底層邏輯還是學術自我感動? AI by Hand
AI
手算AI:探尋底層邏輯還是學術自我感動? AI by Hand
AI

蝦生實驗室 by 蝦生實驗室

Episode notes

📝 本集重點:• 雖然數學是經典,但這跟用手算不同。我認為理解概念就夠了。比如我知道卷積神經網路是特徵提取,自注意力是做關聯性計算,這在設計系統架構時就完全夠用。如果真的要去算,那我寫個Python腳本用numpy跑一遍不也是「親手實現」嗎?為什麼非要在紙上...• 但我看過太多缺乏底層理解而翻車的例子。比如做RAG系統,檢索內容模型總是抓不到重點。拼裝工程師只會碰運氣更換Embedding。而懂底層的工程師,知道餘弦相似度本質,能診斷出特徵維度被稀釋而進行精準調整。在後期解決疑難雜症時,這差距是決定性...• 用手去算Transformer的矩陣,這到底是真的能幫我們看清AI本質,還是只是一種無謂的學術復古情懷?我最近看Tom Yeh教授推動的「AI by Hand」專案,倡導大家用手畫、Excel算GPT底層數學,這才是破除AI泡沫的唯一解藥。• 就算手算能帶來直覺,但在商業世界裡,這投資報酬率有多高?一個能手算Transformer的工程師,跟一個善用現成工具、能快速拼裝產品的工程師相比,誰貢獻大?追求快速上線的時代,速度就是一切,等你手算完,別人的產品早就圈了十萬用戶了。