PikaAI推口型同步功能领跑视频生成技术赛道

“

Pika AI发布创新功能"Lip Sync"，允许用户轻松在视频中添加口头对话，打破了长篇叙事电影制作的技术障碍。尽管领先竞争对手尚未提供类似功能，但这一举措加速了视频生成技术的进步。然而，此举也引发了对数据训练合规性的担忧，展示了AI技术发展的另一面。

尽管OpenAI不断推出其备受称赞的高品质AI视频生成模型Sora的新演示，但目前这项技术对公众仍然不可见。然而，竞争对手Pika则在不断努力，他们今天宣布推出了名为Lip Sync的全新功能，专为其付费订阅用户设计。

这一功能允许用户在视频中加入口头对话，利用来自独立音频初创公司ElevenLabs的AI生成声音，并添加相匹配的动画，以确保角色的嘴巴与对话同步移动。

据悉，新的Pika Lip Sync功能得到了ElevenLabs的支持，支持文本转音频和上传音频轨道，用户可以键入或录制他们希望Pika AI生成视频角色说的话，并调整说话声音的风格。

值得注意的是，这项功能目前仅对Pika Pro用户（每月58美元的订阅计划，或一次性预付12个月共696美元）和Pika“超级合作者”计划的成员开放，后者是通过其Discord群组邀请的。

尽管Pika的AI生成视频可能在质量上不及OpenAI的Sora或另一家竞争对手Runway展示的视频真实，但新的Lip Sync功能的加入使其在提供颠覆传统电影制作软件能力方面领先于两者。该功能解决了AI用于创作更长篇叙事电影的一个重要障碍，而其他领先的AI视频生成器尚未提供类似的功能。

相反，为了在AI视频中添加口头对话和匹配的唇部动作，用户必须使用第三方工具和繁琐的后期添加，导致生成的视频质量类似“低成本”，类似《蒙提·派森》风格。

此外，本周Runway还更新了其Multi Motion Brush功能，允许用户为视频中的不同对象和场景添加最多五个独立的运动方向。现在，Runway添加了区域检测功能，尝试自动突出显示和选择不同的对象，以便在不必手动“绘制”对象的情况下应用运动。

与此同时，尽管Pika允许用户编辑视频的组件并扩展画布，但目前尚未提供类似的“刷子”工具，这使得其运动控制不够精细。

然而，并非所有人对新的Pika功能感到兴奋。一位名为Fairly Trained的新型AI认证非营利组织的首席执行官兼创始人Ed Newton-Rex表示，该组织致力于确保AI模型获得对其作品进行训练的同意，但他对Pika新的Lip Sync功能的使用情况提出了质疑。

尽管存在这些问题和担忧，但视频AI生成公司在推出新功能和提供更高质量视频生成方面没有放缓的迹象，导致它们之间出现了一场可谓“军备竞赛”。这对于这项技术的用户来说是好事，但许多专业电影制作界人士表示担忧，包括作家/导演Tyler Perry，他因观看了由Sora生成的视频而被广泛批评，随后宣布取消计划中价值8亿美元的制作工作室扩建项目，称他预计将因此失去工作。