AI视频创作革命:昆仑万维发布AI短剧平台SkyReels

2024-08-19 11:36:30     来源:

8月19日,昆仑万维发布全球首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体,让创作者“一键成剧”,轻松制作高质量AI视频。

SkyReels平台集成了昆仑万维自研剧本大模型SkyScript、自研分镜大模型StoryboardGen、自研3D生成大模型Sky3DGen、以及业界首个将AI 3D引擎与视频大模型深度融合的创新平台WorldEngine。

SkyReels在剧本质量、分镜质量、人物表演等各维度质量评估上均领先于GPT-4o等大模型

SkyReels能够通过AI一键生成完整剧本、分镜、人物对白与BGM,支持角色形象、音色与分镜的自定义调整,并能够自动将内容转换为1080P 60帧的高清视频,单次可生成视频长度达180秒,相比Sora单次可生成60秒视频、可灵单次可生成10秒视频,有显著突破。一键整合所有创作成果,极大提高视频的创作效率,降低创作成本,推动“一人一剧”时代加速来临。

同时,WorldEngine结合了引擎的精确可控能力(如光照模拟、物理模拟、3D空间、实时交互等) 以及AI视频大模型的幻想生成能力,提供了全新的线上混合视频创作模式,让视频创作从模糊生成迈向更加精确可控。

SkyReels的AI剧本生成功能基于昆仑万维自研剧本大模型SkyScript打造。为了让AI生成的剧本具备短剧的高密集爽点剧情,昆仑万维首先构建了亿级的高质量短剧结构化数据集SkyScript-100M,该数据集针对海量精彩短剧的剧情节奏、爽点、情绪变化进行了高质量标注;其次算法团队设计了渐进式生成的剧本生成框架,实现了模型能够输出高度结构化的精彩剧本,无论是新手作者还是资深剧作家,都能通过它激发创意,轻松创作出引人入胜的短剧剧本。

SkyScript剧本大模型技术原理图

短剧创作的另一重要环节——分镜生成,则由昆仑万维自研分镜生成大模型StoryboardGen提供底层技术。StoryboardGen是昆仑万维首创的的基于DiT-MoE架构(基于Diffusion Transformer技术的Mixed-of-Experts混合专家架构)的分镜生成模型,能够实现高密度分镜信息生成,大幅增强视觉叙事表达能力。

输入剧本后,StoryboardGen模型会将剧本拆解成全局与主体两部分,全局部分包括场景、景别、构图等对分镜的整体描述,主体部分包括角色形象、动作人物角色的定制,最终汇集至故事板(Storyboard)智能体生成完整分镜。StoryboardGen的专项多智能体架构,能够有效保证人物与场景的可控性和一致性,创造出高质量的工业级分镜。

昆仑万维StoryboardGen分镜大模型技术原理图

在最终的影像生成环节,WorldEngine是业界首个将AI 3D引擎与视频大模型深度融合的创新平台。这是一项划时代的技术创新,WorldEngine以图层融合技术为桥梁,打造出前所未有的3D与视频混合创作模式。

用户使用SkyReels生成AI视频时,可以对任意元素自由选择使用3D AI引擎生成或者视频大模型生成,该创新模式突破了当前AI视频大模型时常出现的“穿模”、“反地心引力”等反物理规律现象,最大程度实现了物理模拟的精细度与视频大模型的幻想创造力的完美融合。自此,AI视频生成大模型将从“模糊控制”时代走向“精确可控”时代。

在3D AI引擎方面,昆仑万维自研的Sky3DGen大模型能够生成多样化的3D元素和场景,从自然景观到未来都市,从静态物体到动态角色,并提供了实时的3D场景交互能力,使得用户可以即时看到调整和编辑的效果,加快创作流程。在WorldEngine的加持下,用户还可以轻松构建3D虚拟影棚,实现虚拟拍摄的梦幻体验。

昆仑万维AI短剧平台SkyReels的推出,标志着全球AI短剧创作的一次技术飞跃,它将对视频内容创作流程进行全面颠覆,让创作者从繁琐、复杂的制作流程中解放出来,专注于创意实现与灵感表达,让“一人一剧”的梦想成为现实。

SkyReels AI短剧平台不仅为专业内容创作者提供了强大的创作工具,更极大地降低了AI短剧创作的门槛,使得非专业用户也能轻松上手。这一革命性的工具有望带来AI短剧用户生成内容(UGC)与专业用户生成内容(PUGC)的爆发式增长,为短剧内容生态注入前所未有的活力,推动短剧内容创作与消费市场的进一步快速增长。一个由AI技术驱动的短剧创作与消费的时代,正在到来。

 

标签:

猜你喜欢

亿达中国武汉园区引入华中首个鸿蒙生态创新中心
打造全链条零工服务生态,身边云点燃企业发展“新引擎”
艾蒙斯特朗DE Tango 智能变频泵全新泵型正式发布,支持维保期内不间断运行
俏生元品牌到底怎么样?产品如何?
拒绝养娃焦虑,贝施康以自然之名,让母爱更“松弛”
为城市重构流行的玩法!——DICE CON 2024第八届北京国际桌游展即将召开
绿动全球 氢启未来 第二届上海交通大学绿氢产融发展论坛成功举办
全球首款生物可降解ASD封堵器获批:心泰医疗MemoSorb,中国智造新里程碑!
来自圣地的祝福|圣地烬礼:文化与匠心的璀璨结晶
深化脑机接口领域布局 爱朋医疗投资成立脑科学技术公司
2024未来管理人才大会暨第十届TOP20评选颁奖典礼盛大举行
福州站|在有福之州,打有福之球
莫斯科今夏将举办论坛节呈现未来之都
江门鹤山流行儿歌音乐会完美落幕,QQ音乐流行儿歌推荐榜多奖项揭晓
“海南鲜品”首次亮相东北市场
2024蓝月亮节璀璨启航,全效至尊新品引领洗衣新时代
椰树主播启子空降京东内衣采销直播间 狂撒5万红包雨大放五折起福利
2024蓝月亮节盛大启航 撒贝宁带你开启至尊洁净之旅
腾讯视频原创动画短片集收官,人气口碑双赢助推国产动画升阶
决战晋江!2024 MLB CUP总决赛,冠军之战即将打响!
2024(太仓)新经济新业态投资合作交流会暨港航服务业招商推介活动圆满举行
“海南鲜品”首次亮相东北市场
马上消费金融专利创新破解“用户体验”量化难题
“一生只可举办一次婚宴的酒店”荣悦台,6年铸就行业服务标杆
2024年“行走大运河”—中国辉煌足迹大运河龙舟系列活动(北京站)在金海湖燃情开赛
海南特色农产品风靡香港美食博览
奇正藏药疼痛无忧馆上海站落幕,携手益丰大药房关爱疼痛患者
新闻速递丨浙江省重点研发计划项目现场查定会在久盛顺利召开
从一粒高粱到一片希望:红缨子高粱的致富之路
以高端新厨 共赴品质生活 2024凯度新厨电品牌升级发布会成功举办