別叫LLM當裁判，叫它當特徵產生器　LLM Classification Is Feature Engineering

📝 本集重點：• 比如說你的正類在母體裡很稀有，或是你拿的是一批篩過、正類特別多的樣本，LLM 根本不知道。你當然可以把這個資訊寫進 prompt，但每換一個母體就要改一次，而且作者也說了，它有沒有真的把這個資訊好好用進判斷裡，其實不清楚。• 作者也不是孤軍，他列了好幾篇相關論文，像 ICML 2024 用 LLM 幫小樣本表格資料自動做特徵，還有 FELIX 這種用 LLM 做可解釋特徵工程的研究。方向上是有一群人在推的。• 他給的最小示範很簡單：拿 LLM 的判斷當輸入，外面包一層 logistic regression，用 sigmoid 算出機率，裡面就兩個參數，截距 alpha 跟係數 beta。• 最後的成績，信賴區間跟賽後的最佳結果重疊。要說清楚，重疊不等於贏，應該講成打平。但他用的只是 logistic regression 疊在 LLM 抽出來的特徵上，這個對比才是重點。

🔗 來源：https://minimallysufficient.com/posts/llm-classification-is-feature-extraction/