本文的第一套是沉Xa，是在美国北海大学学习的医生。他的研究方向是伟大的人工智能，他致力于在诸如GPU，移动终端，FPGA和ASIC等各种硬件平台上实现大型模型的大幅扩展和加速。第二个是香港中文大学的汉·钦克西亚（Han Chenxia），她的研究方向着重于计算机建筑和AI系统的出色设计。扩散模型已成为高质量视频生成活动的主要产品。但是，随着视频长度和分辨率的增加，变压器（DIT）扩散模型的注意机制量显着增加，成为合理推理中最大的瓶颈。这是因为视频生成，通常会在3D全球关注空间模型的时间内gumagamit。尽管结果很棒，但计算的量将使与令牌数量直接相同，给计算带来巨大的负担。在诸如Hunyuanvideo之类的视频生成模型中，注意力时间计算的成本超过80％，并且只需一个小时才能生成720p的视频仅8秒钟。因此，迫切需要提高视频生成模型的产生速度。现有的加速视频世代的方法，例如稀疏视频（https://arxiv.org/abs/2502.01776）和ADASPA（https://arxiv.org/abs/2502.21079），大多数采用了某种级别的Enter-Ender-endto Acceleration gpu。但是，由于普遍的图案设计的稀疏性和刚性不足，这些方法的光谱速度仍然并不完美。此外，它们通常依靠固定的稀疏操作员，缺乏输入内容的灵活性动态，并且难以实现扩展调节模式的含量的调节和预防。因此，设计稀疏的注意力机械具有动态的调音，友好的硬件和没有培训的动态性在提高视频扩散模型的效率和实用性方面具有重要意义。最近，北海大学，香港中国大学，Adobe Research和其他机构的一支研究团队提出了一种实践方法，没有培训，插件播放的视频扩散，基于动态关注，草稿，这大大降低了计算机间接费用，从而在GPU结束时大大降低了GPU结束时GPU的结束，而无需丢失GPU的结束，而无需失去一代的领先优势。 Paper Title: DRAFTATTENTION: Fast video spread by low-resolution attention Guidancearxiv Address: https://arxiv.org/abs/2505.14708Github Homepage: https://github.com/shawnricecaThe KE/Draft-Attention Challenges in Background in the Background in Background in the activities of the generation of video, computational overhead The mechanism of attention is the main bottleneck in the current efficiency模型识别。如图（图1）所示，在Hunyuanvideo模型中，视频发电的时间从8秒扩展到32秒，而注意力计算的比例（FLOPS）迅速增加，最大超过90％以上，超过其他模块。在高分辨率视频（例如720p或更高）中，这种趋势尤其重要。造成此问题的主要原因是，视频生成模型通常使用空间和时间全球注意机制，其计算复杂性正式增加到令牌数量。令牌本身的数量与帧和空间视频分辨率的数量成正比。因此，一旦持续时间或清晰度提高，几何范围的计算量将增加，从而导致识别速度显着降低，这很难满足实际的扩展需求。因此，向Redu引入了广泛的注意机制CE计算开销是加速视频产生的有效途径。但是，现有的注意方法通常依赖于固定的杂物散布模式或操作员，并且缺乏灵活性，而在输入内容或扩散过程中的动态变化方面缺乏灵活性。这种“静态稀疏”方法无法根据各种文本信号，各种视频语义或中间状态进行调整，以调整注意力分布，并最终导致视频发电质量以高较高的速度显着下降。因此，通过“动态调整”设计广泛的注意力机制，可以根据输入语义和步行长度符合注意力结构，这是保持视频发电质量的关键。将视频生成模型的问题构成3D VAE（变体自动编码器）通常用于压缩自然空间中的视频，以大大减少D期间所述的令牌数量iffusion过程。隐藏的空间维护基本视频结构，具有三维形状，这表示被压缩后的视频帧数（时间测量），分别与视频相对应的分辨率（空间测量）。在此基础上，我们更专注于隐藏空间中的大量时空。由于这一代人的工作中有许多冗余功能，因此并非所有天然代币对注意力机制同样重要，因此我们建议研究令牌的重要性：跳过低价值的标记注意力计算，同时降低计算的价值，并降低视频的关键功能，从而达到视频质量的关键功能。概述该程序在此末尾，提出了一种非训练，动态形容词，对硬件友好的注意力机制的注意力友好的注意力的帕普尔（Papel）。它的主要思想是更好地估计重要的通过低分辨率“地图注意的草稿”的代币CE，并指导基于高分辨率的注意计算中稀疏模式的选择。特定过程如下：1。草图的构造：首先，隐藏空间的隐藏特征图被空间降采样（例如平均池816），以生成具有低查询和键分辨率的版本； 2。计算Sketsa的注意力：根据降采样的查询和钥匙来计算素描注意图，以识别注意力图上最燃烧的位置； 3。稀疏模式指导：从注意草图地图中选择最高得分的区域，并生成双语言面膜，以高分辨率指导注意力计算； 4。适应硬件的代币安排：继续分发广泛范围的区域并满足GPU对内存布局的需求，May -set提出了一种令牌维修方法，可以显着提高实施计算计算的效率； 5。没有培训，P凸耳和游戏所需：该机制可以直接输入现有的视频解剖模型（例如Hunyuanvideo和Wan2.1），而无需任何其他培训或适当的调整。这种设计不仅减少了计算图级别的关注，而且还提高了系统实现级别的广泛运营商的硬件效率，并以视频生成的速度和质量达到了双赢的情况。值得一提的是，草稿不是启发式方法驱动的方法，而是扎实的理论基础。我们从两个角度进行了理论分析，并证明了其有效性：1。近似控制错误：我们已经证明，使用平均合并构建的注意力图与高分辨率的原始高分辨率图构建的注意力图之间的差异取决于Frobenius标准的定义，以及这一错误降低了空间象征性的延续延续。; 2。稀疏-scalp掩码引入的误差是绑定的：此外，使用在使用后，从注意力图草案中获得的散布注意力模式也可以在受控范围内严格定义，以便广泛计算注意力。这两个理论结果共同表明，在提供高质量稀疏指导的同时，草图的注意力并没有显着破坏注意机制结构表达的原始能力，从而为草稿生成的加速度和质量的实际影响提供了强有力的理论保证。实验结果，我们回顾了许多主视频的许多模型中的草稿的性能，包括Hunyuanvideo和Wan2.1。实验主要是从两种尺寸中评估的：生成质量和识别速度。在相同数量的计算中，我们将其与散射注意方法的代表（SVG）进行了比较。 DRA通过许多审查指标，可以更好地执行FtaTeention：PSNR（较高）：可以在高分辨率中提高约+2〜 +3点； SSIM（越高）：强烈的意识，视频结构更稳定； LPIP（较少，更好）：注意到统一性有所改善，视觉效果更接近土壤的现实。 VBench具有许多指标（图像质量，主题一致性，背景延续等）比SVG更好。特别是在高度普遍的速度（例如75％〜90％）设置下，草稿可以更好地保持空间和时间统一性和基本视频结构，而静态方法（例如SVG）通常会遇到质量损害，例如模糊和框架断裂。同时，我们测试了加速H100和A100 GPU的效果：在NVIDIA H100和A100 GPU上，DraftRattions的端到端加速度最高为1.75；效果同时增加到视频长度，分辨率和备件，这是如何可扩展性？得益于令牌调整策略，生成过程中的广泛关注与硬件有更大的和谐，并显着提高了实施效率。此外，我们还可以直接比较视频生成的以下结果：提示：泰晤士河库，而相机则从垂直移动到高。密集的Videogen DraftRattention提示：在绿草中，白色倾斜的Pisa塔高高。在电影制作过程中，相机从顶部到底部移动。密集的宽阔的vicleogendraftattettention prompt：从阳台阳台上掉下来，掉进地下水。 Denseparse VieSogendRaftTtTentEnteprompt：母亲，高质量。一个女人在咖啡馆里正在udrink咖啡。输入Image eDraftationtention摘要和Outlook DraftRattionsentions提供了一个简洁明了的解决方案：通过低分辨率的指南草图，结构化的小代蒙版和维修硬件令牌令牌，也无法保持高率。它的特性“没有培训，插件，动态调整以及对基本模型和硬件的灵活性”使其成为工程和扩展研究的绝佳实施。将来，作者计划进一步结合诸如数量和提拔的技术，以继续在长期视频生成过程中优化效率瓶颈，并促进高质量的视频生成模型，以向情景发展，这些场景受到Mo's Endbile和Sides等资源的强迫。