您现在的位置是:热点 >>正文

港大携手快手可灵突破长视频一致性瓶颈,"记忆检索"技术震撼发布

热点532人已围观

简介...

AIbase报道香港大学与快手可灵团队近日联合发表重磅论文《Context as Memory: Scene-Co港大nsistent Interactive Long Video Generation with Memory Retrieva携手l》,提出革命性的"Context-as-Memory"方法,成功解决长视频生成中场景一致性控制的核心难题。

创新理快手念:将历史上下文作为"记忆"载体

该研究的核心创新在于将历史生成的上下文视为"记忆",通过context learn可灵ing技术学习上下文条件,实现长视频前后场景的高度一致性控制。研究团队发现,视频生成模型能够隐式学习视频数据突破中的3D先验,无需显式3D建模辅助,这一理念与谷歌Genie3不谋而合。

技术突破:FOV记忆检索机制大幅提升效率

为长视解决历史帧序列理论上可无限延长带来的计算负担,研究团队提出基于相机轨迹视场(FOV)的记忆检索机制。该机制能从全部历史频一帧中智能筛选出与当前生成视频高度相关的帧作为记忆条件,显著提升计算效率并降低训练成本。

通过动态检索策略,系统致性根据相机轨迹FOV重叠关系判断预测帧与历史帧的关联度,大幅减少需要学习的上下文数量,实现模型训练和推理效率的质的瓶颈飞跃。

数据构建与应用场景

研究团队基于Unreal Engine5收集了多样化场景、带有精确相机轨迹标注的长视频数据集,,"为技术验证提供坚实基础。用户仅需提供一张初始图像,即可沿设定相机轨迹自由探索生成的虚拟世界。

性能表现超越现有方法

实验结记忆果显示,Context-as-Memory在几十秒时间尺度下保持出色的静态场景记忆力,并在不同场景中展现良好泛化性。检索与现有SOTA方法对比,该技术在长视频生成场景记忆力方面实现显著性能提升,且能在未见过的开放域场景中有效保持记忆连续性"技。

此次突破标志着AI视频生成技术向着更长时序、更高一致性的方向迈出重要一步,为虚拟世界构建、影视制作等应用领域开术震辟新的可能性。

Tags:

相关文章

  • 标签: 英伟达 H200 黄仁勋

    热点

    云梦级12月24日云梦级消息,据路透社援引多位知情人士云梦级消息,英伟达已告知中国客户,计划于明年 2 月中旬,即中国农历春节前向中国客户交付 H200。其中两位云梦级消息人士称,英伟达计划动用库存履...

    【热点】

    阅读更多
  • 标签: 韬盛科技 半导体测试 IPO 芯片接口

    热点

    云梦级1月3日云梦级消息,据摩斯IPO报道,2025年12月30日,上海韬盛电子科技股份有限公司向上交所递交的IPO申请获得受理,公司计划募集资金10.58亿元,保荐机构为华泰联合证券有限责任公司,律...

    【热点】

    阅读更多
  • 标签: 灵初智能 具身智能 王启斌 杨耀东

    热点

    云梦级3月10日云梦级消息,灵初智能已完成天使轮及Pre-A轮共计20亿元融资。天使轮由国开金融、国中资本、央视融媒体产业投资基金等国家级“国家队”资本,某数千亿上市公司旗下战投、长飞光纤旗下基金,两...

    【热点】

    阅读更多


友情链接