Together AI Phát Hành Nền Tảng Voice Agent Với Độ Trễ Dưới 700ms

Lawrence Jengar

13 Mar 2026 01:57

Together AI ra mắt hạ tầng tổng hợp cho trợ lý giọng nói với tích hợp Deepgram và Cartesia, hướng tới triển khai doanh nghiệp với độ trễ từ đầu đến cuối dưới 700ms.

Together AI đã triển khai nền tảng trợ lý giọng nói thống nhất giữ các quá trình chuyển đổi giọng nói thành văn bản, mô hình ngôn ngữ và chuyển đổi văn bản thành giọng nói trên cùng một cụm hạ tầng. Công ty khởi nghiệp đám mây AI trị giá 3,3 tỷ USD tuyên bố hệ thống này cung cấp độ trễ từ đầu đến cuối dưới 700 mili giây—đủ nhanh để duy trì dòng hội thoại tự nhiên.

Nền tảng tích hợp sẵn Deepgram để chuyển đổi thành văn bản và Cartesia để tổng hợp giọng nói, cả hai đều chạy trên các máy chủ cùng coloc của Together thay vì truyền âm thanh qua nhiều nhà cung cấp đám mây khác nhau.

Tại sao coloc lại quan trọng đối với giọng nói

Hầu hết hệ thống giọng nói sản xuất kết hợp các nhà cung cấp riêng biệt cho từng giai đoạn của quy trình. Âm thanh được gửi đến một nhà cung cấp để chuyển đổi thành văn bản, sau đó chuyển đến nhà cung cấp khác để phản hồi bằng mô hình ngôn ngữ lớn, rồi lại gửi đến nhà thứ ba để tổng hợp giọng nói. Mỗi lần chuyển giao này đều làm tăng độ trễ mạng và các điểm có thể xảy ra lỗi.

Lời đề xuất của Together: giữ tất cả trong cùng một trung tâm dữ liệu. Công ty báo cáo độ trễ dưới 500ms trong điều kiện tối ưu, mặc dù con số 700ms là giới hạn mà họ đã đặt ra cho toàn bộ quá trình.

“Trợ lý giọng nói sống hay chết bởi độ trễ, và mỗi lần chuyển mạng giữa các nhà cung cấp là nơi trải nghiệm có thể bị gián đoạn,” ông Abe Pursell, Phó Chủ tịch Đối tác của Deepgram, cho biết.

Linh hoạt mô hình mà không cần ghép nối

Nền tảng hỗ trợ Whisper Large v3, Minimax Speech 2.6 Turbo, Rime Arcana, và Kokoro cùng với danh mục LLM đầy đủ của Together. Các nhà phát triển có thể thay thế các thành phần mà không cần xây dựng lại tích hợp—hữu ích cho các nhóm thử nghiệm các đặc tính giọng nói hoặc độ chính xác chuyển đổi cho các trường hợp sử dụng cụ thể.

Cartesia mang các mô hình TTS Sonic-3 và Sonic-2 của mình vào nền tảng. Deepgram đóng góp Nova-3, Nova-3 Multilingual cho chuyển đổi thành văn bản, Flux cho chuyển đổi hội thoại STT, và Aura-2 cho tổng hợp.

Khác với các hệ thống chuyển đổi giọng nói sang giọng nói mờ nhạt, phương pháp mô-đun của Together giữ quyền truy cập vào các bản ghi trung gian và văn bản phản hồi. Các nhóm có thể kiểm tra, chỉnh sửa và định tuyến dữ liệu giữa chừng—đây là yêu cầu của nhiều quy trình tuân thủ doanh nghiệp.

Yêu cầu doanh nghiệp và sử dụng trong sản xuất

Nền tảng hướng tới các ngành công nghiệp có quy định chặt chẽ, cung cấp tùy chọn không lưu trữ dữ liệu, chứng nhận SOC 2 Loại II, tuân thủ HIPAA, và lưu trữ dữ liệu riêng biệt. Decagon, công ty vận hành trợ lý giọng nói hỗ trợ khách hàng xử lý các yêu cầu thanh toán và khắc phục kỹ thuật, đã hoạt động trên nền tảng này.

Together AI huy động 305 triệu USD vào tháng 2 năm 2025 với định giá 3,3 tỷ USD, theo các báo cáo công ty hiện đang đàm phán huy động vốn với mức định giá 7,5 tỷ USD. Công ty đã vượt mốc 450.000 nhà phát triển và đạt hơn 100 triệu USD doanh thu hàng năm.

Việc ra mắt nền tảng giọng nói thể hiện sự mở rộng của Together ngoài lĩnh vực suy luận LLM cốt lõi sang thị trường AI giọng nói đang phát triển, nơi độ trễ và độ tin cậy vẫn là những điểm đau dai dẳng trong các triển khai sản xuất.

Nguồn hình ảnh: Shutterstock