Character.AI 推出 TalkingMachines 的实时 AI 视频技术

瑞贝卡·莫恩

2025年7月4日 04:27

Character.AI推出了TalkingMachines，这是一项实时AI视频生成的突破，利用先进的扩散模型进行互动式音频驱动的角色动画。

Character.AI 宣布了一项在实时视频生成方面的重要进展，推出了 TalkingMachines，这是一种创新的自回归扩散模型。这项新技术使得创建互动的、基于音频的 FaceTime 风格视频成为可能，让角色能够在各种风格和类型中实时对话，正如 Character.AI 博客所报道的那样。

革新视频生成

TalkingMachines建立在Character.AI之前的工作AvatarFX之上，后者为其平台的视频生成提供支持。这个新模型为沉浸式、实时的AI驱动视觉互动和动画角色奠定了基础。通过仅利用一张图像和一个声音信号，该模型能够生成动态视频内容，为娱乐和互动媒体开辟新的可能性。

TalkingMachines 背后的技术

该模型利用了扩散变压器(DiT)架构，采用了一种称为非对称知识蒸馏的方法。该方法将一个高质量的双向视频模型转变为一个快速的实时生成器。主要特点包括：

• 流匹配扩散： 预训练以管理复杂的运动模式，从细微的表情到动态手势。
• 音频驱动的交叉注意力： 一个12亿参数的音频模块，精细地将声音与动作对齐。
• 稀疏因果注意力： 通过关注相关的过去帧来减少内存和延迟。
• 非对称蒸馏: 采用快速的两步扩散模型进行无限长度生成而不损失质量。

对未来的影响

这项突破不仅限于面部动画，为互动视听AI角色铺平了道路。它支持从照片级真实到动漫和3D头像的广泛风格，并且有望通过自然的说话和倾听阶段来增强流媒体。这项技术为角色扮演、讲故事和互动世界构建奠定了基础。

提升人工智能能力

Character.AI的研究标志着多个进展，包括实时生成、高效蒸馏和高可扩展性，能够在仅使用两个GPU的情况下运行操作。该系统还支持多说话者交互，实现无缝的角色对话。

未来展望

虽然这还不是产品发布，但这一发展是Character.AI路线图中的一个重要里程碑。该公司正在努力将这项技术集成到他们的平台中，旨在实现类似FaceTime的体验、角色流媒体和视觉世界构建。最终目标是让每个人都能创造和与沉浸式视听角色进行互动。

Character.AI 在训练基础设施和系统设计方面进行了大量投资，利用了超过 150 万个精心挑选的视频片段和三阶段训练管道。这种方法展示了前沿研究在人工智能技术中的精确性和目标性。

图片来源：Shutterstock