微软和 Nvidia 合作实现 AI 视频培训突破

微软和 Nvidia 合作实现 AI 视频培训突破

Microsoft 和 Nvidia 是合作伙伴,在云、游戏和集成方面开展多个项目。在两家公司之间的最新工作中,微软和英伟达展示了能够提高视频序列 AI 训练速度的研究。

在一篇题为“用于视频表示学习的参数高效多模态转换器”的论文中,研究人员讨论了他们如何将多模态转换器的大小减少 97%,以改进 30 秒视频剪辑的 AI 训练(以 480 帧采样,每秒 16 帧)。这是对现有模型的重大改进,可以处理 10 秒或更短的视频序列。

微软和英伟达指出,学习和理解视频是人工智能面临的最大挑战之一。让 AI 高效学习多模态表示是理解视频(例如动作、对象和音频)的基础。最近的多模态转换器已经变得擅长理解视频序列的各个方面,例如视觉和语言,或图像识别。

尽管如此,训练多模态转换器 AI 仍然是一个挑战,因为它需要大量内存。微软在一篇博文中表示,许多现有的 Transformer 只是利用现有的预训练模型来训练自己。

减少模型负载

微软和英伟达进行了重大改进,使模型能够更有效地训练新的视频序列。该模型有五个组成部分:音频和视觉卷积神经网络 (CNN)、音频和视觉转换器以及多模态转换器。

CNN 在 1 秒视频序列上同时包含视觉信号和音频信号,变压器对来自 30 秒输入序列的视觉、音频和视听信号进行编码。微软承认,在 GPU 上训练该模型仍然是内存密集型的,因为它包含 1.55 亿个权重参数,而三个转换器总共消耗了总参数的 1.28 亿(82.6%)。

微软和英伟达没有接受小批量和更长的训练周期,而是决定拆分权重参数以减少模型大小。两家公司的研究人员都使用了两种方法来实现这一目标:

  • “第一种策略在每个转换器内的层之间共享权重,将转换器视为展开的循环网络。如图 2(b) 所示,这将参数减少了 83%(从 1.28 亿减少到 2200 万)。
  • 第二种策略涉及使用低秩分解的部分权重共享,我们将变压器的每个权重矩阵分解为 W=UΣV 的形式,并在变压器之间共享 U,同时保持 ΣV 对每个变压器私有。”

总的来说,研究团队能够将变压器的参数使用量从 1.28 亿个减少到仅 400 万个。

资源来自互联网:表盘吧 » 微软和 Nvidia 合作实现 AI 视频培训突破
微信公众号:逸凡生活界
分享与智能手表有关的资讯
9466652314人已关注
分享到:
赞(0) 觉得文章有用就打赏一下文章作者!!

找乐子!抢沙发

  • 昵称 (必填)
  • (邮箱) (必填)
  • (网址)

表示一下诚意

支付宝扫一扫打赏

微信扫一扫打赏