这项由天工AI（Skywork AI, Kunlun Inc.）的费正聪、李德邦、邱迪等十位盘考东说念主员共同完成的盘考发表于2025年4月，论文题为《SkyReels-A2: Compose Anything in Video Diffusion Transformers》。有风趣深入了解时期细节的读者不错通过款式主页SkyReels-A2.github.io或代码仓库https://github.com/SkyworkAI/SkyReels-A2造访完整盘考恶果。

想象一下，你手头有几张不同的相片：一张是你一又友的自拍照，一张是红色的咖啡杯，还有一张是海边的征象。当今，淌若有东说念主告诉你，只需要这几张无为相片加上一句话容颜，就能制作出一段高质料的电影级视频，你会坚信吗？天工AI的盘考团队让这个听起来像科幻演义的想法变成了试验。

传统的视频制作就像搭积木一样，你需要先有完整的积木块，然后按照固定的容颜拼接。而这项新时期更像是魔法师的变戏法，它能把洒落的相片元素从新组合，创造出全新的动态画面。已往，淌若你想制作一个一又友在海边喝咖啡的视频，你要么需要果真带着一又友和咖啡杯去海边拍摄，要么需要复杂的后期制作时期。但当今，你只需要提供这三样东西的相片，告诉AI"一又友在海边喝咖啡"，它就能生成一段当然灵通的视频。

这种时期被盘考团队称为"元素到视频"（Elements-to-Video，简称E2V），就像厨师能用不同的食材烹制出厚味好菜一样，AI约略将不同的视觉元素"烹制"成完整的视频作品。与面前市面上需要从新初草创建或只可对现存视频进行粗浅变换的时期不同，SkyReels-A2约略确切连结每个元素的特征，并将它们当然地和会到一个连贯的故事中。

盘考团队面对的最大挑战就像同期玩转多个杂耍球一样复杂。他们需要确保生成的视频中每个元素都保持其原有特征（比如一又友的脸部特征不成改变），同期还要让这些元素在兼并个场景中看起来当然协调，最进军的是，通盘视频要安妥用户的笔墨容颜。这就好比要求一位画家同期画出三个不同作风的东说念主物，但让他们看起来像是在兼并个房间里当然交谈。

一、数据集中的奥密配方

为了老师这个AI系统，盘考团队开端需要措置一个根底问题：若何取得富足的老师材料？这就像教一个从未见过全国的孩子若何连结不同物体之间的关系一样，需要多数的例子和施展。

传统的视频生成系统就像只会背诵讲义的学生，它们只可凭证已有的完整视频来学习。但SkyReels-A2更像是一个不雅察蛮横的艺术学徒，它需要学会若何将寥寂的元素组合成挑升旨的作品。为此，盘考团队遐想了一套复杂而小巧的数据处理活水线，这个过程不错比作珠宝匠将原石加工成良好首饰的工艺。

通盘数据处理过程从集中多数原始视频初始，就像集中各式类型的原材料。盘考团队开端对这些视频进行筛选，凭证永别率、标签、类型和来源进行过滤，然后将长视频分割成短片断，每个片断都基于关键帧来细目界限。这个过程肖似于将一册厚厚的演义理会成寥寂的章节，确保每个章节都有完整的情节。

接下来是最关键的一步：为每个视频片断生成详细的容颜。盘考团队使用了专门开发的多大家视频字幕模子，这个模子约略为视频片断生成两种类型的容颜：举座容颜和结构化容颜。举座容颜就像电影的剧情简介，笼统了视频的主要内容；而结构化容颜则像是电影的分镜头剧本，详细纪录了每个元素的特征，包括东说念主物的外不雅、服装、物体的属性、配景信息，以及动态特征如面部神色、动作和清爽轨迹。

为了索求视频中的各式元素，盘考团队使用了一系列检测和分割模子。关于东说念主物，他们使用通用检测模子来定位东说念主体，然后进一步使用东说念主脸检测器和东说念主体解析模子来索求面部特征和服装细节。关于物体和配景，他们使用CLIP模子来匹配笔墨容颜与视觉实体，确保AI约略准确连结每个元素的含义。

最风趣的是，为了幸免生成的视频粗浅地"复制粘贴"原始图像，盘考团队引入了一个玄机的相似性过滤门径。他们策动不同视频片断中疏导主体的相似性，使用东说念主脸相似性模子处理东说念主物，使用CLIP相似性模子处理物体，然后从不同的视频片断中遴选千般化的参考图像。这就像确保每个演员都有多套不同的服装，幸免在最终的视频作品中出现单调重复的形象。

关于配景的处理，盘考团队招揽了绝顶的方法：他们找到配景覆盖面积最大的帧，通过编订去除出路物体，保留纯净的配景图像。这个过程就像影相师寻找最好的拍摄配景，确保场景的完整性和好意思不雅性。

通过这套复杂而精密的数据处理活水线，盘考团队最终构建了一个包含约200万个高质料视频-参考图像-文本提醒三元组的老师数据集。这个数据集就像一个巨大的藏书楼，包含了AI学习若何将不同元素组合成连贯视频所需的通盘学问和示例。

二、AI的"视觉合成魔法"

SkyReels-A2的中枢架构就像一位训导丰富的电影导演的大脑，约略同期处理多个信息来源，并将它们完好地和会成一个连贯的视觉故事。这个系统的遐想理念不错用交响乐团的譬如来连结：每个乐器（视觉元素）都有我方特有的声息，而携带家（AI系统）需要确保通盘乐器和谐演奏，创造出好意思妙的音乐（视频）。

当用户提供多张参考图像时，系统会将这些图像分为两个处理通说念，就像食品处理中的不同工序。第一个通说念叫作念"语义特征分支"，它使用CLIP视觉编码器来连结每张图像的含义和内容。这个过程肖似于一个艺术挑剔家不雅察画作，不仅看到名义的色和谐形态，更能连结画作要抒发的深层含义。系统会为每张参考图像索求全局和语义特征，然后通过一个投影模块将这些特征转换成与视频序列兼容的形态。

第二个通说念被称为"空间特征分支"，它使用程序的3D视频自编码器（VAE）来处理图像的精细细节和空间信息。这就像一位素雅的工匠，不仅关注举座遐想，更留意每个细节的精准度。为了适合视频生成的需要，系统会将参考图像沿着时刻维度进行市欢，并进行零填充以匹配原始帧数。

这两个分支的遐想反应了东说念主类视觉领略的双重机制：咱们既能快速连结图像的举座含义（语义连结），也能感知精细的视觉细节（空间感知）。通过模拟这种双重机制，SkyReels-A2约略在保持每个元素特征完整性的同期，创造出视觉上令东说念主信服的合生效果。

系统的另一个关键创新是其交叉留意力机制的遐想。传统的视频生成模子只可处理单一的文本输入，就像只会听一种话语的翻舌人。而SkyReels-A2则像是闪耀多种话语的应酬官，它约略同期连结文本容颜和多个视觉参考的信息，并将这些信息整合成长入的指示。

在处理过程中，系统会将从通盘参考图像中索求的语义特征市欢起来，当作交叉留意力层中的键（keys）和值（values）。这些层被玄机地集成在每个文本提醒交叉留意力块之后，确保视觉信息约略与文本信息灵验和会。这种遐想就像在烹调过程中慢慢添加不同的调料，每一步都会增强最终菜肴的滋味档次。

关于空间特征的处理，系统招揽了更平直的方法：将处理后的参考图像特征与噪声潜在向量沿着通说念维度市欢，然后传递到补丁镶嵌模块。这个过程确保了精细的空间信息约略在通盘生成过程中得到保留，就像确保音乐录制中每个音符的明晰度。

三、老师过程的精密调校

老师SkyReels-A2就像培养一位多艺多才的演员，需要在保持其原有技巧的基础上，训导它新的饰演技巧。这个过程既要幸免"过度老师"导致原有智力退化，也要确保新技巧的充分掌捏。

盘考团队招揽了一种经心遐想的老师战术，只对系统的特定部分进行优化。具体来说，他们遴选性地老师交叉留意力模块、补丁镶嵌层和图像要求镶嵌器，而保持基础视频生成模子的其他部分不变。这种方法肖似于给照旧熟谙的钢琴家素质新的演奏技巧，而不是从新初始学习通盘钢琴演奏。

老师过程中，系统学习重建办法视频的潜在空间暗意，使用程序的扩散均方罪状亏损。为了增强模子的鲁棒性和泛化智力，盘考团队引入了一种称为"无分类器携带"的时期。在老师时间，他们会立地丢弃30%的视频字幕和10%的参考要求，这就像让学生在清寒部分信息的情况下完成任务，从而提高应变智力。

老师数据的预处理也体现了盘考团队的素雅议论。当参考图像的比例与视频比例不匹配时，系统会用白色图像进行填充，这种处理容颜既粗浅灵验，又不会引入非凡的视觉噪声。老师视频被成立为81帧，对应15帧每秒的6秒时长，这个长度既足以展现完整的动作序列，又不会给策动资源带来过大职守。

优化器的遴选和参数成立也经过了经心调节。盘考团队使用Adam优化器，学习率成立为1e-5，全局批次大小为256。这些看似粗浅的数字背后，内容上是多数实验和调优的为止，就像厨师经过无数次尝试才找到最好的火候和调料比例。

四、推理加快的工程灵敏

一个再优秀的AI系统，淌若运行速率太慢，就像一辆性能不凡但油耗惊东说念主的跑车，实用价值会大打扣头。SkyReels-A2的盘考团队深知这个风趣，因此在系统推理阶段参预了多数元气心灵进行优化。

基础的推理经过招揽了UniPC多设施度决策，这是一种经过考据的高效采样战术。但盘考团队并不餍足于此，他们进一步引入了多种并行化战术来移交大限度模子推理的挑战。要知说念，SkyReels-A2包含140亿个参数，相配于一个高大的编造大脑，淌若按传统容颜运行，每一步采样都会成为性能瓶颈。

为了措置这个问题，盘考团队践诺了险峻文并行、CFG并行和VAE并行等战术。这些时期就像将一个复杂的工场坐褥线理会成多个并行做事站，每个做事站专门负责特定的工序，最终协同完成通盘家具的制造。通过这种容颜，系统约略在餍足在线环境低蔓延要求的同期，竣事快速无损的视频生成。

另一个进军的优化标的是用户级GPU部署。盘考团队竣事了模子量化和参数级卸载战术，显耀缩短了GPU内存滥用。这使得即使是建立相对较低的消费级显卡也能运行这个执意的AI系统，就像将正本需要大型机械智力完成的做事，通过玄机的遐想变成了家用拓荒也能胜任的任务。

推理过程中的另一个关键参数是flow shift值，盘考团队经过多数实验发现，这个参数对最终输出质料有显耀影响。较大的flow shift值会让系统在早期采样门径中参预更多元气心灵，从而生成更合理的空间结构，但可能会在图像细节方面有所和解。经过综合议论清爽当然度和视觉质料的平衡，盘考团队将默许值成立为8。

五、A2-Bench评估体系的建筑

为了客不雅评价SkyReels-A2的性能，盘考团队面对一个毒手的问题：现存的视频生成评估基准主要针对文本到视频或图像到视频任务，并莫得专门针对"元素到视频"任务的评估程序。这就像要评判一种全新的体育款式，却发现莫得合适的评分法规。

于是，盘考团队决定我方制定评估程序，创建了A2-Bench这个综合评估基准。这个基准的遐想理念不错比作奥运会的评分体系：既要有客不雅的量化办法，也要议论东说念主类的主不雅感受，确保评估为止既科学严谨又靠近内容利用需求。

A2-Bench的构建过程体现了盘考团队的严谨立场。他们从各式场景中集中了150张参考图像，包括50个不同的东说念主物身份、涵盖12个类别的50种不同物体，以及50个特有的配景。为了创建基准数据集，他们将这些元素立地配对组合成50种不同的输入组合，然后使用假话语模子生成相应的文本提醒。绝顶进军的是，盘考团队确保老师视频和A2-Bench之间莫得任何叠加，幸免了"查验泄题"的问题。

自动评估办法分为三个中枢维度，每个维度都像查验中的不同科目，测试系统的不同智力。组合一致性评估系统是否约略保持各个元素的特征完整性。字符ID一致性通过东说念主脸识别模子索求特征并策动余弦相似度来评估；物体一致性使用Grounded-SAM分割视频中的物体部分，然后策动帧级CLIP特征之间的相似性；配景一致性通过检测和分割主体，隐敝主体后策动配景与参考配景图像的帧级CLIP特征相似性。

视觉质料维度包含了图像质料、好意思学质料、清爽平滑度和动态进度等办法，这些办法模仿了VBench的界说，确保了评估的泰斗性和可比性。提醒扈从维度使用ViCLIP策动文本容颜与视频内容之间的余弦相似度分数，平直计算文本-视频对皆进度。

议论到自动化元素检测和匹配可能存在较高的诞妄率，盘考团队还遐想了详细的用户偏好盘考。他们使用50个测试样本，向多位参与者展示要求图像、提醒和来自多个模子的为止，包括Keling、Vidu、Pika和SkyReels-A2。每个样本都会凭证10个不同的评估程序进行评分，参与者需要在1到5的程序上为每个程序打分。

这套评估框架的建筑不仅为SkyReels-A2提供了性能基准，更为通盘"元素到视频"领域的发展奠定了评估程序的基础，就像为一个新兴体育款式制定了第一套端庄的比赛法规。

六、实验为止与性能对比

当SkyReels-A2与面前市集上的顶级买卖模子进行较量时，为止令东说念主印象深刻。盘考团队将其与Pika2.1、Vidu2.1和Keling1.6等开端的闭源买卖模子进行了全面对比，这场比赛就像让一位新晋棋手与训导丰富的巨匠们对弈。

在自动评估办法方面，SkyReels-A2展现出了平衡而出色的性能。在组合一致性方面，固然在ID一致性和配景一致性上略有不及，但在物体一致性方面弘扬最好，达到了0.809的分数，高出了通盘竞争敌手。这个为止绝顶挑升旨，因为物体一致性连接是最难保持的，需要AI系统对各式物体的形态、纹理和特征有深入的连结。

视觉质料评估露馅了SkyReels-A2的另一个上风领域。在图像质料方面，它以0.683的得分开端通盘敌手，露馅诞生成视频的明晰度和保真度都达到了很高水准。在动态进度办法上，SkyReels-A2与Keling比肩第一，都达到了1.000的满分，这意味着生成的视频具有丰富而当然的清爽效果。

更有劝服力的是用户偏好盘考的为止。在这项更靠近内容利用的评估中，SkyReels-A2在多个关键办法上都弘扬出色。绝顶是在服装一致性和东说念主体清爽平滑度方面，它致使超越了一些买卖措置决策。这个为止尤其令东说念主饱读吹，因为这些是用户在内容使用中最暖热的质料办法。

通过定性比较不错看出，不同模子各有特色。Pika在主体一致性方面弘扬较弱，生成的视频清爽相对较少；Keling固然在某些方面弘扬出色，但存在显豁的镜像清爽效果，画面可能出现忽远忽近的问题，盘考团队合计这可能与老师数据的散布斟酌。比较之下，Vidu和SkyReels-A2在主体一致性、视觉效果和文本响应方面都弘扬出较为平衡的性能。

值得绝顶指出的是，SkyReels-A2在光影纹理的处理上弘扬尤为出色。生成的视频在光照效果、暗影处理和名义纹理方面都露馅出很高的真实感，这关于创建令东说念主信服的视觉内容至关进军。

七、时期细节的深度探索

为了更好地连结SkyReels-A2的遐想遴选，盘考团队进行了详备的消融实验，这个过程就像剖解一台精密机器，一一放哨每个部件的作用和进军性。

空间特征组合容颜的遴选对系统性能有显耀影响。盘考团队比较了三种不同的方法：在原始像素空间中市欢后通过3D VAE处理、寥寂通过3D VAE处理后在潜在空间市欢，以及不进行帧重复的处理容颜。实验为止露馅，莫得帧重复会导致图像信息的显耀丢失，在组合一致性办法上出现显豁着落。这个发现强调了保持时刻维度信息完整性的进军性。

可学习参数聚合的遴选也经过了仔细考量。盘考团队比较了只老师每两层的交叉留意力参数、老师通盘层的交叉留意力参数，以及微调通盘视频扩散模子三种战术。为止标明，只老师部分层会导致显耀的一致性性能亏损，而微调通盘模子固然能提高图像质料和当然度，但议论到性能和数据限度的平衡，老师通盘交叉留意力层是最优遴选。

老师数据夹杂比例的实验产生了一个不测的发现。盘考团队正本盼望加入单一主体数据约略升迁模子在定制化任务中的弘扬，但实验为止露馅，在各式组合场景中，单纯使用多主体数据的效果最好。这个为止肖似于监督微调中的发现：适量的高质料文本-参考-视频数据约略更好地激励模子的可控性，而不会损伤原有的生成灵通性。

推理加快和超参数的影响也得到了深入盘考。flow shift参数的遴选需要在空间结构合感性和图像细节质料之间找到平衡点。较大的数值会让系统在早期采样门径中参预更多元气心灵构建合理的空间结构，但可能会导致图像细节的渐渐退化。经过多数实验，盘考团队遴选了8当作默许值，在清爽当然度和视觉质料之间竣事了最好平衡。

八、利用出路与内容价值

SkyReels-A2的利用后劲就像一把全能钥匙，约略绽放多个创意产业的新大门。在音乐视频制作领域，创作家不错遴选各式乐器，如吉他、钢琴或小提琴，然后界说具有想象力的场景，生成无缝衔尾的创意序列。当配合音乐片断时，这种时期约略让音乐可视化达到前所未有的水平，为音乐东说念主和视频制作家提供了全新的创作可能。

编造电商是另一个充满后劲的利用场景。品牌方不错提供家具图像，比如最新款的智妙手机或前锋服装，然后将著名东说念主士或编造形象置于特定的营销场景中，制作出引东说念主隆重的宣传内容。当这些视频配合量身定制的旁白时，约略灵验升迁消费者的购买意图，为电商营销带来蜕变性的改变。

影视制作行业也将从这项时期中取得巨大收益。导演不错在前期制作阶段快速生成见识预览，测试不同的扮装组合和场景成立，大大缩短了试错本钱。关于寥寂制片东说念主来说，这意味着不错用更少的预算创作出高质料的视觉内容。

栽植培训领域一样具有广漠的利用出路。教师不错使用历史东说念主物的图像和关系场景，创建天果真历史重现视频，让学生仿佛跻身于历史现场。话语学习利用不错生成各式遍及对话场景，匡助学习者在真实语境中锻练。

社交媒体内容创作将变得愈加民主化。无为用户不再需要专科的拍摄拓荒和后期技巧，只需要几张相片和创预见法，就能制作出诱骗眼球的短视频内容。这种时期的普及可能会澈底改变社交媒体的内容生态。

九、时期挑战与畴昔发展

尽管SkyReels-A2取得了令东说念主注意的恶果，但盘考团队也澄莹地矫健到面前时期仍面对一些挑战。最主要的问题是配景一致性的保持。在某些复杂场景中，系统可能难以完好地将多个元素和会到配景中，巧合会出现不够当然的合生效果。这个问题就像拼图游戏中终末几块拼图的配合，需要愈加精密的时期来措置。

另一个挑战是处理极点情况下的元素冲突。当用户提供的参考图像在作风、光照要求或永别率方面各异过大时，系统需要作念出和解，这可能会影响最终视频的质料。措置这个问题需要愈加智能的预处理和作风长入时期。

策动资源的需求仍然是内容部署中的议论要素。固然盘考团队照旧竣事了显耀的优化，但生成高质料视频仍需要相配的策动智力。畴昔的发展标的可能包括愈加高效的模子架构和更好的压缩时期。

伦理和版权问题亦然需要严慎处理的方面。跟着时期的普及，若何注意坏心使用、保护个东说念主肖像权和学问产权将成为进军议题。盘考团队需要在时期发展的同期，建筑相应的安全机制和使用范例。

瞻望畴昔，盘考团队霸术在几个方进取赓续更正。开端是提高模子对不同作风和质料参考图像的适合智力，让系统约略处理愈加千般化的输入。其次是优化配景和会时期，竣事愈加当然和令东说念主信服的元素组合效果。

恒久来看，这项时期可能会与其他AI时期聚会，变成愈加执意的创意器用。比如与语音合成时期聚会，创建完整的影视内容；与3D建模时期聚会，生成愈加立体的视觉效果；与及时渲染时期聚会，竣事交互式的内容创作体验。

十、对行业的深切影响

SkyReels-A2的出现标记着视频生成时期进入了一个新的发展阶段。它不单是是时期的高出，更是创意抒发容颜的蜕变。这项时期的开源性质尤其进军，它突破了先进视频生成时期被少数买卖公司把持的方位，为更多盘考者和开发者提供了学习和更正的契机。

从时期演进的角度来看，SkyReels-A2代表了从"生成式AI"向"组合式AI"的进军滚动。传统的生成式AI更像是一位寥寂创作的艺术家，所有依靠想象来创作；而组合式AI则更像是一位善于整合股源的导演，约略将现存元素从新组织成新的作品。这种滚动反应了AI时期神圣单师法向复杂创作智力的发展。

关于创意产业而言，这项时期的影响将是深切而经久的。它缩短了高质料视频内容创作的门槛，让更多东说念主约略参与到视觉内容的创作中来。同期，它也为专科创作家提供了执意的器用，让他们约略愈加专注于创意构念念而非时期竣事。

栽植和培训行业也将受益良多。复杂见识的可视化讲授、历史事件的重现、科学实验的模拟等，都不错通过这项时期变得愈加天真和易于连结。这关于推动栽植当代化和提高学习效果具有进军意旨。

从社会影响的角度来看，这项时期的普及可能会改变东说念主们消费和创作视觉内容的容颜。社交媒体、告白营销、文娱产业都可能因此发生结构性变化。同期，它也提倡了新的挑战，包括若何识别AI生成内容、若何保护个东说念主秘籍和肖像权等问题。

盘考团队通过开源这项时期，展现了负做事的创新立场。他们不仅提供了完整的代码和模子权重，还建筑了评估基准，为后续盘考奠定了基础。这种开放式的盘考容颜有助于加快通盘领域的发展，也有助于建筑愈加透明和着实的AI时期生态。

说到底，SkyReels-A2的确切价值不仅在于它面前约略竣事什么，更在于它为畴昔可能性绽放的想象空间。其时期的界限不断被推动，当创意的抒发容颜不断丰富，咱们不错期待一个愈增多彩和充满可能性的数字创意全国。这项来自天工AI的盘考恶果，恰是通向这个未下全国的进军里程碑。

值得一提的是，这项时期的得胜也体现了国内AI盘考的实力和创新智力。天工AI团队不仅在时期上竣事了突破，更在开源分享方面展现了国外视线和互助精神，为推动环球AI时期的发展作念出了进军孝敬。

Q&A

Q1：SkyReels-A2是什么？它和其他视频生成AI有什么不同？ A：SkyReels-A2是天工AI开发的视频生成系统，最大特色是约略将多张不关系的相片（比如东说念主物、物品、配景）组合成一段连贯的视频。与其他只可凭证笔墨容颜或单张图片生成视频的AI不同，它就像一个数字导演，约略"携带"不同的视觉元素在兼并个场景中当然互动。

Q2：无为东说念主能使用SkyReels-A2吗？需要什么时期基础？ A：面前SkyReels-A2照旧开源，代码和模子不错通过GitHub获取。不外使用它需要一定的编程学问和较好的硬件建立。盘考团队正在优化系统，但愿畴昔能让无为消费者也能松驰使用，就像当今使用手机拍照一样粗浅。

Q3：用SkyReels-A2生成的视频会有版权问题吗？ A：这照实是需要留意的问题。淌若你使用了他东说念主的相片（绝顶是东说念主物肖像）来生成视频，可能触及肖像权和版权问题。建议只使用我方拍摄的相片或取得授权的素材。盘考团队也意志到这个问题足球投注app，畴昔可能会加入关系的安全机制和使用范例。