DeepSeek เปิดซอร์ส TileKernels ไขลบรารีเคอร์เนล GPU สำหรับการฝึกและการอนุมานของโมเดลขนาดใหญ่

ข้อความข่าวจาก Gate วันที่ 23 เมษายน — DeepSeek ได้เปิดซอร์ส TileKernels ภายใต้สัญญาอนุญาต MIT ซึ่งเป็นไลบรารีเคอร์เนลสำหรับ GPU ที่เขียนด้วย TileLang สำหรับการฝึกและการอนุมานของโมเดลภาษาขนาดใหญ่ TileLang เป็นภาษาเฉพาะทางที่ทีม tile-ai พัฒนาขึ้น เพื่อใช้ในการแสดงเคอร์เนล GPU ประสิทธิภาพสูงใน Python DeepSeek ระบุว่าเคอร์เนลส่วนใหญ่ในไลบรารีได้เข้าใกล้ขีดจำกัดด้านประสิทธิภาพของฮาร์ดแวร์แล้ว ทั้งในความหนาแน่นในการคำนวณและแบนด์วิดท์หน่วยความจำ โดยบางส่วนได้ถูกนำไปใช้งานแล้วในกระบวนการฝึกและการอนุมานภายใน

ไลบรารีประกอบด้วยเคอร์เนลหกหมวดหมู่: MoE (การผสมผู้เชี่ยวชาญ) สำหรับการแบ่งเกตและการกำหนดเส้นทาง รวมถึงการเลือก Top-k ของผู้เชี่ยวชาญ การแมปโทเคนต่อผู้เชี่ยวชาญ และการขยาย/ลดขนาดแบบรวม (fused) พร้อมการทำ normalization ของค่าน้ำหนัก; การทำควอนไทซ์ที่รองรับรูปแบบ FP8, FP4 และ E5M6 พร้อมการควอนไทซ์แบบต่อโทเคน ต่อบล็อก และต่อช่องทาง (channel) รวมถึงการทำงานแบบรวมสำหรับ SwiGLU+quantization; การ transpose แบบเป็นชุด (batch transpose); Engram gating พร้อมการส่งผ่านต่อไป/ย้อนกลับของ RMSNorm แบบรวมและการลดทอนเกรเดียนต์น้ำหนัก; Manifold HyperConnection พร้อมการทำ normalization แบบ Sinkhorn และการ split/apply แบบผสม; และอินเทอร์เฟซ autograd ระดับสูงที่ห่อเคอร์เนลระดับต่ำให้อยู่ในเลเยอร์ที่ฝึกได้

Engram และ Manifold HyperConnection เป็นองค์ประกอบที่เป็นกรรมสิทธิ์ของสถาปัตยกรรมโมเดลของ DeepSeek โดยรายละเอียดการใช้งานถูกเปิดเผยต่อสาธารณะเป็นครั้งแรก ไลบรารีต้องใช้ GPU สถาปัตยกรรม NVIDIA SM90 หรือ SM100 (H100/H200 หรือกลุ่ม Blackwell), CUDA Toolkit 13.1 หรือสูงกว่า และ PyTorch 2.10 หรือสูงกว่า

news.article.disclaimer

btc.bar.articles

Cardano เปิดตัว Draper Dragon Orion Fund เพื่อการเติบโตของระบบนิเวศ

Cardano เปิดใช้งาน Draper Dragon Orion Fund เมื่อวันที่ 6 พฤษภาคม 2026 โดยนับเป็นยานลงทุนที่มีการบริหารจัดการอย่างมืออาชีพเป็นครั้งแรกและได้รับการหนุนหลังจากทรัพยากรกองทุนประจำตามประกาศของ Dave (@ItsDave_ADA) โครงการดังกล่าวได้รับการอนุมัติผ่านการกำกับดูแลบนเชน (on-chain governance) โดยได้รับการสนับสนุนจาก Delegated

CryptoFrontier24 นาที ที่แล้ว

Drift Protocol ชี้แจงกลไกการไถ่ถอนระยะแรก: หุ้นลดราคาอิงตามอัตราส่วนของพูลปัจจุบัน

ตามประกาศอย่างเป็นทางการของ Drift Protocol ในวันนี้ ระบุว่าผู้ใช้สามารถนำสินทรัพย์ไปไถ่ถอนได้ทุกเมื่อหลังจากการเปิดให้ไถ่ถอนแล้ว แต่ผู้ที่เลือกไถ่ถอนล่วงหน้าจะได้รับหุ้นในอัตราส่วนที่ลดราคา โดยอิงจากสัดส่วนของกองทุนในขณะนั้น เมื่อกองทุนยังคงเติบโตต่อไป ผู้ถือที่ชะลอการไถ่ถอนอาจได้รับ

GateNews2 ชั่วโมง ที่แล้ว

เงินสำรองของ Ripple ทะลุ 13 ล้านล้านดอลลาร์ ขณะที่ซีอีโอกล่าวถึงกลยุทธ์แบบค่อยเป็นค่อยไปสำหรับการนำไปใช้งานบนเชน

ซีอีโอของ Ripple อย่าง Brad Garlinghouse ได้วางแผนแบบเป็นขั้นตอนสำหรับการบูรณาการบล็อกเชนในงาน Consensus Miami 2026 โดยระบุว่า บริษัทจะ “คลานก่อน จากนั้นค่อยเดิน แล้วจึงวิ่ง” เพื่อย้ายกระแสเงินของภาคการเงินสถาบันไปสู่โครงสร้างพื้นฐานแบบออนเชน ตามคำกล่าวของ Garlinghouse กองทุนของ Ripple ได้ดำเนินการไปแล้ว

CryptoFrontier4 ชั่วโมง ที่แล้ว

Kelp DAO เลิกใช้ LayerZero หันมาใช้ Chainlink CCIP หลังเหตุ $292M ถูกโจมตี

ตามรายงานของ The Block, Kelp DAO กำลังเลิกใช้ LayerZero ในฐานะผู้ให้โครงสร้างพื้นฐานสำหรับการเชื่อมโยงข้ามสายโซ่ และหันไปใช้ Chainlink แทน โดยกลายเป็นโปรโตคอลรายใหญ่รายแรกที่ย้ายออกจาก LayerZero หลังจากการเคลื่อนย้ายมูลค่า 292 ล้านดอลลาร์

GateNews4 ชั่วโมง ที่แล้ว

Gomining เปิดตัว GoBTC ที่ Consensus Miami โดยมุ่งเป้าไปยังเลเยอร์การชำระเงินของ Bitcoin ที่รอคอยมานาน

Gomining ซึ่งเป็นหนึ่งในผู้ขุด bitcoin ชั้นนำของโลกติดอันดับ 10 อันดับแรก มีผู้ใช้งาน 5 ล้านราย ได้เปิดตัว GoBTC ที่ Consensus Miami 2026 ซึ่งเป็นโปรโตคอลการชำระเงินแบบเปิด โดยมอบการอนุมัติทันทีและการชำระบิตคอยน์บนเชนภายใน 12 ชั่วโมง ด้วยค่าธรรมเนียมสำหรับร้านค้า 0.2% หัวข้อสำคัญ: Gomining ได้เปิดตัว GoBTC ที่ Conse

Coinpedia4 ชั่วโมง ที่แล้ว

Prophet เปิดตัวตลาดคาดการณ์ที่ขับเคลื่อนด้วย AI พร้อมเงินลงทุนซื้อขายสดจำนวน 10,000 ดอลลาร์ วันนี้

ตาม MetaversePost Prophet ได้เปิดตัวตลาดคาดการณ์ที่ขับเคลื่อนด้วย AI วันนี้ (6 พฤษภาคม) โดยจัดสรร $10,000 ใน USDC สำหรับการซื้อขายแบบสด ผู้ใช้สามารถเทรดโดยตรงกับคู่สัญญา AI ซึ่งสร้างราคาตามความน่าจะเป็นสำหรับแต่ละตลาด โดยบางสัญญาจะมีการชำระภายใน 24

GateNews5 ชั่วโมง ที่แล้ว
แสดงความคิดเห็น
0/400
ไม่มีความคิดเห็น