Menurut laporan, peneliti NVIDIA dan MIT merilis Lightning OPD (Offline On-Policy Distillation), sebuah kerangka pasca-pelatihan baru untuk model bahasa besar yang menghilangkan kebutuhan untuk terus menjalankan model pengajar selama pelatihan. Dengan menghitung sebelumnya log-probabilitas model pengajar secara offline, kerangka ini meningkatkan efisiensi pelatihan 4x sambil membebaskan semua sumber daya GPU untuk pelatihan model siswa.
Dalam pengujian pada 8 GPU NVIDIA H100, Lightning OPD berhasil mendistilasi Qwen3-30B-A3B-Base (model MoE dengan 30 miliar parameter) dan meraih 71,0 pada tolok ukur AIME 2024, sedangkan OPD standar kehabisan memori pada perangkat keras yang sama. Untuk model Qwen3-8B yang lebih kecil, kerangka ini hanya membutuhkan 30 jam GPU untuk mencapai 69,9 poin.
Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke
Penafian.
Artikel Terkait
Platform B.AI Menambah 8.756 Pengguna pada 11 Mei, DeepSeek-V4 Mendorong 60% Konsumsi Token
Menurut B.AI, platform tersebut menambahkan 8.756 pengguna baru pada 11 Mei, sementara adopsi pembayaran Stripe di antara pengguna inti yang membayar mencapai 69,0%, mencerminkan peningkatan retensi pengembang tradisional dan pengguna kelas produksi. Model seri DeepSeek-V4 menyumbang hampir 60% dari konsumsi token, dengan memanfaatkan kapabilitas latensi sangat rendah, konkurensi tinggi, serta throughput untuk berfungsi sebagai mesin eksekusi inti bagi era AI Agent.
GateNews2menit yang lalu
Pemicu makro minggu ini padat: pembahasan lengkap dari rilis CPI hingga pembahasan RUU CLARITY
2026 年 5 月 pertengahan, pasar kripto sedang mengalami jendela sensitivitas makro yang sangat langka. Data CPI AS bulan April dirilis pada 12 Mei, KTT China-AS di Beijing dijadwalkan pada 13–15 Mei, dan Komite Perbankan Senat akan membahas RUU CLARITY (Undang-Undang Kejelasan Pasar Aset Digital) pada 14 Mei. Tiga peristiwa independen namun saling terkait tinggi terkonsentrasi terjadi dalam waktu empat hari, membentuk uji tekanan bertahap terhadap mekanisme penetapan harga aset kripto. Kalender Pe
GateInstantTrends25menit yang lalu
Startup AI Voice Vapi Menyelesaikan $50M Putaran Seri B yang Dipimpin oleh Peak XV Partners
Menurut TechCrunch, Vapi, sebuah startup suara AI, menyelesaikan putaran pendanaan Seri B senilai 50 juta dolar AS yang dipimpin oleh Peak XV Partners, dengan valuasi post-money sekitar 500 juta dolar AS. Ring, anak usaha Amazon, menerapkan Vapi untuk menangani 100% panggilan masuknya setelah mengevaluasi lebih dari 40 pemasok suara AI, sehingga membantu mendorong putaran pendanaan tersebut.
GateNews54menit yang lalu
Akurasi GPT-5,4 Turun dari 100% ke 54% pada ARC-AGI Setelah Ringkasan Memori Berulang
Menurut Beating, studi memori Agent terbaru oleh Dylan Zhang, mahasiswa PhD di University of Illinois, menemukan bahwa merangkum pengalaman model secara berulang dapat menurunkan performa, bukan meningkatkannya. Pada tugas ARC-AGI, GPT-5.4 mencapai akurasi 100% pada 19 soal tanpa memori, tetapi setelah beberapa putaran kompresi memori berdasarkan lintasan solusi yang benar, akurasi turun menjadi 54%. Demikian pula, pada tugas belanja WebShop, metode memori AWM meraih skor 0,64 dengan 8 lintasan
GateNews1jam yang lalu
OpenAI Memperluas Program Akses Tepercaya ke Puluhan Perusahaan Eropa pada 12 Mei
Menurut laporan pada 12 Mei, OpenAI mengumumkan rencana untuk memperluas Program Akses Tepercaya ke puluhan perusahaan Eropa.
GateNews1jam yang lalu
Transformers versi manusia! UBTech Technology meluncurkan kendaraan robot produksi massal pertama di dunia, dengan harga 570 ribu dolar AS
Perusahaan robot asal Tiongkok, Unitree Robotics (宇樹科技), pada 12 Mei merilis produk terbarunya GD01, sebuah mecha berawak yang dapat beralih bebas antara mode robot humanoid berkaki dua dan mode merayap berkaki empat. Bisa dibilang, ini membawa adegan film dari karya fiksi ilmiah “Transformers” dan “Pacific Rim” ke dunia nyata. Rilis kali ini bukan sekadar pamer keajaiban teknologi, tetapi juga mencerminkan dorongan cepat dari industri robot Tiongkok. Unitree Unveils: GD01, A Manned Transformabl
ChainNewsAbmedia2jam yang lalu
