Vừa mới thấy Simon thử nghiệm thực tế trên Mac với VibeVoice-ASR, mô hình mã nguồn mở mới của Microsoft, có chút gì đó đặc biệt.


9B tham số, xử lý liên tục 60 phút âm thanh, còn có thể xuất ra ai đang nói, khi nào nói, nói gì.
Giải pháp truyền thống cần ghép Whisper+pyannote, giờ chỉ cần một mô hình đã xử lý xong, hỗ trợ hơn 50 ngôn ngữ và nói lẫn tiếng Trung và tiếng Anh.
Anh ấy dùng phiên bản lượng tử 4-bit (5.71GB) trên M5 Max để chuyển đổi podcast 1 giờ mất 8 phút 45 giây, đỉnh bộ nhớ 61.5GB, laptop bình thường 32GB không chạy nổi.
Điều thú vị là, mô hình nhận diện cuộc đối thoại của hai người thành ba người, vì Lenny nói trong môi trường ghi âm khác nhau.
Chạy cục bộ ít nhất cần 64GB RAM, đối với chuyển đổi podcast, biên bản họp, quy trình nhiều bước giờ có thể rút gọn thành một lần suy luận.

Các bạn nghĩ sao về mô hình này?
Xem bản gốc
post-image
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Ghim