Gate 广場「創作者認證激勵計畫」優質創作者持續招募中!
立即加入,發布優質內容,參與活動即可瓜分月度 $10,000+ 創作獎勵!
認證申請步驟:
1️⃣ 打開 App 首頁底部【廣場】 → 點擊右上角頭像進入個人首頁
2️⃣ 點擊頭像右下角【申請認證】,提交申請等待審核
立即報名:https://www.gate.com/questionnaire/7159
豪華代幣獎池、Gate 精美周邊、流量曝光等超過 $10,000 的豐厚獎勵等你拿!
活動詳情:https://www.gate.com/announcements/article/47889
兩篇研究論文,不同角度卻指向同一個問題——什麼是concept?
想像語言存在於二維座標系。X軸是時間維度,詞彙隨著時間流動被組織成句子。Y軸是意義維度,我們之所以選擇某個詞而不是另一個,背後是意義的驅動。
最近SAEs系列的研究成果很有意思,它揭示了神經網絡模型在Y軸上是如何運作的——模型學會了提取和表達具有明確語義的概念特徵。換句話說,模型的計算過程中存在某些"節點",它們對應的不是隨意的神經激活,而是有具體含義的概念表達。這意味著意義在深度學習模型內部是可以被分解、可以被觀察的。