火山引擎 Seedance 2.5 落地实体产业,小鹏、智元机器人率先打通工业级 AI 视频链路

7月31日,字节跳动火山引擎对外发布了新一代自研AI视频生成模型Seedance 2.5,并且宣布小鹏汽车,智元机器人为首批深度接入的实体企业。

全网大部分资讯只是对30秒时长,多种素材参考等表面参数进行简单的复述,或者把Seedance限制在短视频和广告创意工具上。

火山引擎 Seedance 2.5 落地实体产业,小鹏、智元机器人率先打通工业级 AI 视频链路-有驾

但是没有注意到这次合作最重要的改变就是:字节把视频生成模型从文娱消费赛道下沉到了智能驾驶,人形机器人研发这两个硬核工业场景中去,通过合成视频来弥补实体产业长久以来存在的数据缺口,形成“真实采集+AI生成”的双循环研发体系。

Seedance 2.5 并不是对 Seedance 2.0 的小幅度改进,而是整个系统都根据工业化的需要进行了重新设计和优化,这也是它能够适应汽车企业和机器人企业底层的原因。

相比上一代 15 秒一次的最大输出限制,新的版本把原生输出时间提高到了 30 秒,并且加入了时序延长的功能,可以产生有完整起承转合逻辑的连续画面来解决之前版本中出现的视频镜头断裂,人物形象变化的问题。

并且,模型可以使用最多 50 个不同的参考图片或者视频来帮助生成结果,还增加了三维白模,工业绿幕定向适配的能力。企业可以上传工业零件图纸,车辆三维模型,机器人运动轨迹草图等信息来限定画面的空间结构以及物体运动的方式,从而防止一般的 AI 视频所存在的物理失真的问题。

另外模型还增加了局部帧编辑的功能,在不需要重新绘制整个画面的情况下就可以对车身的颜色,机械臂的动作以及道路环境等进行修改,并且配合着十几种不同的语言选项,很好的满足了车企出海和机器人全球化的各种版本的内容需求。

小鹏汽车接入Seedance 2.5之后,在整车视觉研发方面进行了两大研发场景的核心布局,并且对整个研发流程进行了彻底的重新设计。

之前小鹏已经把Seedance 2.0接入到了自己的Vision-X一站式AI设计平台上,用来做新车的概念图快速渲染工作。在2.5版本落地之后,它的功能就扩展到了智能驾驶测试和全球化的物料生产这两个主要领域上。

从车型研发的角度来看,设计师可以上传车身白模和内饰草图,模型可以一键生成动态路测演示视频,底盘结构,座舱交互,车灯动态效果不需要搭建实体摄影棚就可以实现。车型微调之后只需要局部修改画面就可以得到成品,把新品宣传视频制作周期缩短了七成。

更重要的是,在智驾研发方面,真实的路测很难涵盖到暴雨,浓雾,夜晚行人横穿以及突发障碍物等长尾极端工况。使用Seedance 2.5就可以批量产生上万个罕见路况视频,并且会自动标注出车辆,行人和道路标识的信息来补充自动驾驶训练的数据集,从而大大减少实车路测所花费的时间和安全风险。

对于海外市场而言,模型自带的多语言能力可以批量产生适用于欧美的物料。

智元机器人作为人形机器人赛道上的头部企业,接入了Seedance 2.5来解决行业的核心问题:实体机器人收集大量的动作数据的成本很高,在危险的地方不能进行现场测试。

人形机械臂可以完成拧螺丝,分拣物料,开合柜门等多种复杂的精细操作。要实现算法泛化的训练,则需要几十万个各种光照条件,各种摆放角度以及各种障碍物环境下的人工操作视频,在现场采集的过程既费时又存在设备损坏的风险。

使用Seedance 2.5之后,研发人员只需要提供机械臂的三维模型和任务动作指令就可以批量生成多样化的交互场景视频,并且可以自由调节光线亮度,物体摆放位置以及空间布局来产生带有动作标签的训练材料。

该合成数据可以直接回流到机器人的算法迭代中去,弥补了真实采集样本单一,极端情况缺失的问题,大大缩短了人形机器人在家庭和工厂场景下的落地时间。

与短视频创作者追求的画面美感不同的是,工业场景更加重视物理规则的真实性。Seedance 2.5 对机械运动和刚体碰撞进行了专门的优化,保证了合成的画面符合物理规律,并且可以直接用作模型训练,并不是仅仅用来展示而已。

纵观整个人工智能行业,在过去的视频生成模型的竞争中主要集中在短剧,直播素材,品牌广告等消费端场景上,头部厂商都把文娱内容当作主要的收入来源。

火山引擎和小鹏,智元机器人一起进入到了工业场景当中,并且开创了一条不同的商业化的道路。

通用AI视频工具只注重于视觉效果,并没有考虑到工业领域中的物理限制,数据标注以及三维结构适配的需求,但是Seedance 2.5却在底层架构上留有工业接口,可以与车企的设计平台,机器人的仿真系统进行无缝连接,从而完成了从创意可视化到算法训练的全过程,把AI技术由原来的“内容创作工具”转变为现在的“产业研发基础设施”。

但是 Seedance 2.5 目前仍然存在着一些客观上的限制。在复杂的多机械体联动场景中,它对物理细节还有待进一步优化,大量的工业数据产生对于企业算力有一定要求,中型制造业需要配合火山引擎 AI 云服务来降低部署难度。

但是不能忽视的是,小鹏和智元机器人先入局,给汽车,机器人这两个高端制造业带来了新的研发模式。

随着数据成为人工智能产业的核心资产,在此背景下用人工智能合成视频来弥补数据缺失的问题,可以大大减轻实体企业的智能化转型的成本。

Seedance 2.5 切入智能驾驶与人形机器人研发,你认为 AI 视频生成模型未来还能落地哪些工业场景?小鹏、智元这套 “真实数据 + AI 合成” 研发模式,能否成为行业通用标准?欢迎评论区交流观点,点赞收藏持续跟踪产业 AI 落地动态。

0
全部评论 (0)
暂无评论