如何生成高难度、指令超复杂的视频呢？
北大与快手AI有解了，他们提出新框架VideoTetris，就像拼俄罗斯方块一样，轻松组合各种细节~
在复杂视频生成任务中，超过了Pika，Gen-2等一众商用模型。
这个框架不仅能够直接增强现有模型的组合生成，还能够支持涵盖多复杂指令、多场景变更等更高难度的长视频生成。
首次定义组合视频生成
在文生图领域，RPG、Omost等项目已经实现了复杂的组合式多物体多场景图片生成。而在文生视频领域，组合生成自然地扩展到时间和空间维度，这样的场景还未被广泛探索。
团队首次定义了组合视频生成任务，包括两个子任务：
1、跟随复杂组合指令的视频生成。2、跟随递进的组合式多物体指令的长视频生成。
目前经团队测试发现，几乎所有开源模型，包括商用模型在内都未能生成正确的视频。
比如输入“左边一个可爱的棕色狗狗，右边一只打盹的猫在阳光下小憩”，结果生成的都是融合了两个物体信息的奇怪视频。
而使用VideoTetris，生成出的视频是这样，成功保留了所有的位置信息和细节特征。
在长视频生成中，目前的方法支持的可变指令目前还停留在“春夏秋冬”的转化，或单物体从走到跑到骑马的场景变化阶段。
团队输入一个简单的多指令：“从一只可爱的棕色松鼠在一堆榛子上过渡到一只可爱的棕色松鼠和一只可爱的白色松鼠在一堆榛子上”。
结果VideoTetris成功搞定，出现顺序也与Prompt一致，最后两只松鼠还在自然地交换食物。
