✍️ Gate 廣場「創作者認證激勵計劃」進行中!
我們歡迎優質創作者積極創作,申請認證
贏取豪華代幣獎池、Gate 精美周邊、流量曝光等超過 $10,000+ 豐厚獎勵!
立即報名 👉 https://www.gate.com/questionnaire/7159
📕 認證申請步驟:
1️⃣ App 首頁底部進入【廣場】 → 點擊右上角頭像進入個人主頁
2️⃣ 點擊頭像右下角【申請認證】進入認證頁面,等待審核
讓優質內容被更多人看到,一起共建創作者社區!
活動詳情:https://www.gate.com/announcements/article/47889
Gemma 4在llama.cpp上終於穩了
4月2號Google發了Gemma 4,第一天就有llama.cpp支持但bug多。現在所有問題都修完了
E2B、E4B、26B MoE、31B Dense
31B在Arena AI排行第3,26B排第6
開源模型最強梯隊
用--chat-template-file加載interleaved模版
建議開啟--cache-ram 2048
上下文長度根據顯存來
去年本地最好的是Llama 3.1 70B量化版,勉強能用
現在Gemma 4 31B Q5在Mac Studio上流暢跑,接近GPT-4級別
不依賴API的AI應用開始有商業可行性。數據不出本機,成本為零,延遲極低
對於一人企業,本地模型是真正的基礎設施。競爭對手在付API費,你的邊際成本是電費
Gemma 4 + llama.cpp = 本地推理最優解,可以上生產了