Có một bài báo nghiên cứu sâu sắc xứng đáng được chú ý nếu bạn đang tìm hiểu cách các hệ thống AI hiện đại hoạt động ở mức độ cơ bản.

Các công trình học thuật gần đây đã phát hiện ra điều thú vị: việc đào tạo transformer tiêu chuẩn không chỉ học các mẫu một cách ngẫu nhiên—nó đang thực thi một thuật toán Expectation-Maximization một cách ngầm định. Dưới đây là phân tích giúp bạn hiểu rõ hơn:

Cơ chế chú ý thực hiện bước E, về cơ bản là phân bổ mềm các vị trí token thực sự quan trọng và xứng đáng được tập trung tính toán. Trong khi đó, các biến đổi giá trị thực hiện bước M, liên tục tinh chỉnh và cập nhật các biểu diễn đã học dựa trên các trọng số chú ý đó.

Mối liên hệ giữa kiến trúc transformer và các thuật toán EM này có ý nghĩa lớn đối với bất kỳ ai xây dựng hạ tầng AI hoặc nghiên cứu cách mạng neural xử lý dữ liệu theo trình tự. Nó gợi ý rằng các mô hình này đang giải quyết các bài toán tối ưu hóa theo một cách rất cụ thể, có cấu trúc—không phải qua việc ghép mẫu một cách brute-force, mà qua một khung xác suất tinh tế.