拳交 twitter 英伟达「寰宇基础模子」降生，引爆物理AI立异！75页讲演出炉，GitHub狂飙2k星

CES大会上，老黄称拳交 twitter，「AI下一个前沿就是物理AI」。

大摆锤 裸舞

为此，英伟达重磅官宣了寰宇基础模子设备平台——Cosmos，其模子基于在200万小时视频上完成考验。

它一共包含了四大功能模块：扩散模子、自追思模子、视频分词器，以及视频处理与裁剪经由。

用英伟达高档科学家Jim Fan的话来总结：

两种款式：扩散模子（生成连气儿的token）；自追思模子（生成破碎的token）

两种生成模式：文本→视频；文本+视频→视频

Cosmos降生就是为了救助物理AI数据不够的问题！现如今，设备者们不错平直生成合成数据，将其用于自动驾驶和机器东谈主询查中。

它一共包含了三种规格的模子：Nano、Super、Ultra。

与VideoLDM基准比较，Cosmos寰宇模子在几何准确性方面发达更优，何况在视觉一致性方面接续突出VLDM，姿态揣摸到手率最高飙升14倍。

GitHub神情仅开源不到一天的时刻，星标飙升至2k。

与此同期，对于Cosmos 75页最详备的工夫讲演也发布了。

开源神情：https://github.com/NVIDIA/Cosmos

论文地址：https://research.nvidia.com/publication/2025-01_cosmos-world-foundation-model-platform-physical-ai

Cosmos，定制寰宇模子

本文先容了Cosmos寰宇基础模子平台，旨在匡助设备者构建定制化的寰宇模子。

在预考验中，询查者愚弄大鸿沟的视频数据集，让模子战争到各样化的视觉数据，考验一个通用型模子。预考验的Cosmos寰宇基础模子（WFM）大要生成高质地、具有一致性的3D视频。

在后考验中，询查者从特定环境采集数据集，对预考验模子进行微调，从而得到适用于特定主义的专用WFM。

预考验的寰宇基础模子（WFM）是通用的寰宇模子，通过大鸿沟、各样化的视频数据集进行考验。后考验的数据集是从主义环境中采集的提醒-视频对。提醒不错是动作指示、轨迹、讲解等款式。

预考验和后考验相结合战术为构建物理AI系统提供了一种高效的设施。由于预考验WFM提供了邃密的基础，后考验的数据集不错相对较小。

寰宇基础模子平台

视频裁剪

询查者设备了一条可膨胀的视频数据裁剪经由。

其中，每段视频被分割为无场景变化的独处镜头。通过过滤门径定位高质地、动态且信息丰富的片断用于考验。

这些高质地镜头随后通过VLM（视觉讲话模子）进行标注。接确凿施语义去重，以构建一个各样但紧凑的数据集。

视频分词

询查者设备了一系列具有不同压缩比的视频分词器。这些分词器是因果性的（即现时帧的token算计不依赖改日帧）。

这种因果性想象带来了多个自制。在考验方面，它使得团结图像和视频考验成为可能，因为当输入为单张图像时，因果性视频分词器也不错看成图像分词器。

这对于视频模子愚弄图像数据集进行考验绝顶迫切，因为图像数据集包含丰富的寰宇外不雅信息，且常常愈加各样化。

在应用方面，因果性视频分词器更适当生存在因果寰宇中的物理AI系统。

WFM预考验

询查者探索了两种可膨胀的预考验寰宇基础模子的设施——扩散模子和自追思模子。他们使用了Transformer架构，以收场可膨胀性。

对于基于扩散的WFM，预考验包括两个门径：

1. 文本到寰宇生成预考验（Text2World generation pre-training）

2. 视频到寰宇生成预考验（Video2World generation pre-training）

具体来说，他们考验了模子把柄输入的文本提醒词生成一个视频寰宇。然后对其进行微调，使其大要把柄当年的视频和输入的文本提醒词生成改日的视频寰宇，这被称为视频到寰宇生成任务（Video2World generation task）。

对于基于自追思的 WFM，预考验包括两个门径：

1. 基本的下一个token生成（vanilla next token generation）

2. 文本条件的视频到寰宇生成（text-conditioned Video2World generation）

他们领先考验模子把柄当年的视频输入生成改日的视频寰宇（前瞻生成）。然后对其进行微调，使其大要把柄当年的视频和文本提醒词生成改日的视频寰宇。

视频到寰宇生成模子是一种基于现时不雅测和提醒词酌量改日的预考验寰宇模子。

对于扩散模子和自追思模子的WFM，询查者构建了一系列具有不同容量的模子，并询查了其在各样卑鄙应用中的灵验性。

他们进一步微调了预考验的扩散WFM，以设备一个扩散解码器来增强自追思模子的生成斥逐。

为了更好地戒指WFM，他们还基于LLM构建了一个提醒词上采样器。

WFM后考验

团队展示了预考验WFM在多个卑鄙物理AI应用中的应用。

他们将预考验的WFM微调为以相机姿态看成输入提醒词，这让他们大要在创建的寰宇中解放导航。此外他们还展示了怎样微调预考验的WFM，以用于东谈主形机器东谈主和自动驾驶任务。

安全机制

为了安全使用设备的寰宇基础模子，询查者设备了一个安全机制，用于间隔无益的输入和输出。

Cosmos寰宇基础模子平台由几个主要组件组成：视频裁剪器、视频分词器、预考验的寰宇基础模子、寰宇基础模子后考验样本拳交 twitter，以及安全机制

他们敬佩，WFM对物理AI构建者有多种用途，包括（但不限于）：

战术评估

与其通过在确凿寰宇中运行物理AI系统来评估考验后的战术，不如让物理AI系统的数字副本与寰宇基础模子交互。基于WFM的评估愈加经济高效且神圣时刻。

通过WFM，构建者不错在未见过的环境中部署战术模子，这些环境在履行中可能无法得回。WFM匡助设备者快速摈斥不对格的战术，聚焦于后劲更大的战术。

战术运行化

战术模子把柄现时不雅测和给定任务，生成物理AI系统需要实施的动作。建模寰宇动态模式的高质地WFM，不错看成战术模子的邃密运行化。

这有助于贬责物理AI中的数据稀缺问题。

战术考验

在强化学习诞生中，WFM与奖励模子配对，不错看成物理寰宇的代理，为战术模子提供响应。智能体通过与WFM的交互，松懈掌持贬连累务的才略。

揣摸打算或模子酌量戒指

WFM可用于模拟物理AI系统在实施不同动作序列后，可能出现的改日状态，然后通过老本/奖励模块量化这些不同动作序列的发达。

物理AI不错把柄全体模拟斥逐实施最好动作序列（如在揣摸打算算法中），或以递归视界的方式实施（如在模子酌量戒指中）。

寰宇模子的准确性决定了这些方案战术的性能上限。

合成数据生成

WFM不仅可用于生成用于考验的合成数据，还不错微调为基于渲染元数据（如深度图或语义图）进行条件生成。条件 WFM可用于Sim2Rea 场景。

数据裁剪

询查者提议了一种视频处理经由，用于为分词器和WFM生成高质地考验数据集。

如下图所示，经由包括5个主要门径：1）分割，2）过滤，3）标注，4）去重，以及5）分片。

这些门径均经过故意的优化，从而擢升数据质地并自豪模子考验的需求。

预考验数据集

询查者蓄积了大要2000万小时的原始视频，分辨率从720p到4k不等，并为预考验生成了大要10^8个视频片断，为微调生成了大要10^7个视频片断。

其中，涵盖了各样物理AI应用，并将考验视频数据集永别为以下类别：

驾驶（11%）

手部动作和物体操作（16%）

东谈主体动作和行径（10%）

空间意志和导航（16%）

第一东谈主称视角（8%）

当然动态（20%）

动态相机通顺（8%）

合成渲染（4%）

其他（7%）

Tokenizer（分词器）

分词器是大模子的基础构建模块，它通过学习瓶颈式的潜空间，以无监督方式将原始数据改造为更高效的表示款式。

下图以暗示图款式展示了分词考验经由，其主义是考验编码器妥协码器，使瓶颈式token表示大要最猛进程保留输入的视觉信息。

视频分词经由：输入视频被编码为token，解码器随后从这些token中重建输入视频。分词器的考验主义是学习编码器妥协码器，尽可能保留token中的视觉信息

连气儿分词器将视觉数据编码为连气儿的潜镶嵌，并用于通过从连气儿漫衍中采样生成数据的模子。

破碎分词器将视觉数据编码为破碎的潜代码，并将其映射为量化索引。这种破碎表示对于使用交叉熵失掉考验的模子（如GPT）是必要的。

分词器的到手很猛进程上取决于其在不毁伤后续视觉重建质地的情况下提供高压缩率的才略。

在此，询查者提议了一套视觉分词器——包括用于图像和视频的连气儿和破碎分词器。它们不错提供不凡的视觉重建质地和推理遵守，并支撑多种压缩率，以顺应不同的算计收尾和应用需求。

连气儿和破碎分词器的可视化：（左）连气儿潜镶嵌，镶嵌大小为C；（右）量化索引，每种表情代表一个破碎的潜编码

具体来说，Cosmos分词器经受轻量化且算计高效的架构，并结合时刻因果机制。

通过使用因果时刻卷积层和因果时刻防御力层，不错保留视频帧的当然时刻礼貌，从而通过单一斡旋的辘集架构收场图像和视频的无缝分词。

通过在高分辨率图像和万古视频上平直考验分词器，不错不受类别或宽高比的收尾，包括1:1、3:4、4:3、9:16和16:9等。

在推理阶段，它对时刻长度不解锐，大要处理超出考验常常间长度的视频分词。

不同视觉分词器偏激功能的比较

评估斥逐标明，Cosmos分词器在性能上权臣突出了现存分词器——不仅质地更高，何况运行速率最高可快12 倍。

此外，它还不错在单块NVIDIA A100 GPU（80GB显存）上一次性编码长达8秒的1080p视频和10秒的720p视频，且不会消耗内存。

连气儿分词器（左）和破碎分词器（右）在时空压缩率（对数刻度）与重建质地（PSNR）上的比较。每个实心点表示一种分词器成立，展示了压缩率与质地之间的量度关联

寰宇基础模子预考验

询查者愚弄两种不同的深度学习范式——扩散模子和自追思模子——来构建两类WFM。

本文中统共WFM模子都是在一个包含10，000个NVIDIA H100 GPU的集群上考验的，考验周期为三个月。

基于扩散模子和自追思模子的寰宇基础模子（WFM）

自追思寰宇基础模子生成的视频

询查者展示了怎样将Cosmos WFM进行微调，以支撑多种场景，包括3D视觉导航，让不同的机器东谈主实施任务，以及自动驾驶。

寰宇基础模子后考验

用于机器东谈主的WFM后考验

寰宇模子具有支撑机器东谈主操作的刚劲后劲，这里展示了两个任务：（1）基于指示的视频酌量，（2）基于动作的下一帧酌量。

对于基于指示的视频酌量，输入是机器东谈主现时视频帧以及文本指示，输出是酌量的视频。基于动作的下一帧酌量，输入是机器东谈主确现时视频帧以及现时帧与下一帧之间的动作向量，输出是酌量的下一帧，展示机器东谈主实施指定动作的斥逐。

对于基于指示的视频酌量，询查者创建了一个名为Cosmos-1X的数据集。该数据集包含大要200小时的由EVE（1x.Tech公司的一款东谈主形机器东谈主）捕捉的第一视角视频，包括导航、折叠衣物、清洁桌面、拾取物体等。

对于基于动作的下一帧生成，团队使用了一个名为Bridge的公开数据集。Bridge数据集包括大要20，000个第三东谈主称视角的视频，展示了机器东谈主手臂在厨房环境中实施不同任务的过程。

用于自动驾驶的后考验

询查者展示了怎样对预考验的WFM进行微调，从而创建一个适用于自动驾驶任务的多视角寰宇模子。

询查者筹划了一个里面数据集，称为确凿驾驶场景（RDS）数据集。该数据集包含大要360万个20秒的环顾视频片断，这些视频是通过英伟达的里面驾驶平台录制的。

询查者使用RDS数据集对Cosmos-1.0-Diffusion-7B-Text2World进行微调，打造出一个多视角的寰宇模子。

Cosmos-1.0-Diffusion-7B-Text2World-Sample-MultiView-TrajectoryCond模子斥逐

一些演示

从GitHub主页中，咱们大要看到Cosmos家眷的统共模子系列：扩散模子和自追思模子各4个。

扩散模子7B和14B（Text2World）把柄吞并提醒，生成恶果如下：

扩散模子7B和14B（Video2World）把柄吞并提醒，生成恶果如下：

自追思模子4B和12B生成恶果如下：

自追思模子5B和13B把柄吞并提醒，生成恶果如下：

此外，后考验寰宇基础模子还能收场「相机戒指」，如下机器东谈主在车厂的生成视频中，通过出动大要看到四周环境全貌。

提醒：这段视频展示了一座先进的制造设施，其中多台机器东谈主手臂协同使命。这些机器东谈主配备了极端的抓取装配，正在中央平台上处理和拼装组件。环境干净且整齐截齐，配景中不错看到各样机械和建筑。通盘机器东谈主系统高度自动化，体现了高技术的坐褥经由。

更惊喜的是，Cosmos还能把柄提醒，生成出各样机器东谈主在不同环境中的酌量场景。比如，把书放在书架上，煮咖啡、分拣物品......

也就是说，以后机器东谈主的模拟考验，平直在物理寰宇就能实操了！

还有针对自动驾驶场景，Cosmos进行的多视图视频生成。

要知谈，以下这些场景是王人备不存在的。

有网友嘲谑谈，咱们一定生存在模拟寰宇中，99%情况下是由英伟达撑着这个系统。

物理AI，不成莫得WFM

为什么说寰宇模子，对于物理AI的收场绝顶重要？

老黄在大会上，从大模子使命旨趣纯真地阐释了寰宇模子的迫切性——

大模子常常是把柄提醒一次生成一个token，但也仅限本体token的输出。若要收场从「本体token」转向「动作token」的输出，讲话模子早已无法自豪。

咱们需要的是，一个大要领悟物理寰宇的模子，简之WFM。

昨天，英伟达询查副总Ming-Yu Liu在最新播客中雷同表示，WFM是一种大要模拟物理寰宇的刚劲神级辘集。

它不错从文本/图像输入数据，生成详备的视频，并通过将其确现时状态（图像/视频）与动作（提醒/戒指信号）相结合来酌量场景的演变。

WFM大要思象好多不同的环境，并不错模拟改日，匡助物理AI设备者作念出更好的方案。

另一方面，构建寰宇模子常常需要多量的数据集。

数据采集不仅耗时，老本也高，WFM便不错生成合成数据，从而增强考验的过程。

此外，物理测试风险雄伟，比如一台价值数十万好意思元的机器东谈主原型的任何荒唐都可能带来首要失掉。

有了WFM模拟的3D环境，询查者就不错在受控环境中考验和测试物理AI系统。

物理模拟寰宇的一切，英伟达Cosmos都能帮你生成出来。

假定你要测试一台机器东谈主，长传一个原视频，然后输入：

「以东谈主形机器东谈主的第一东谈主称视角拍摄在一个老旧工场中使命的场景。机器东谈主周围有好多工业机械建筑。地板是老旧的木质地板，破旧且具有丰富的纹理。录像机在距离大地2米的高度向右平移。相片立场要求传神」。

然后，一个机器东谈主在工场使命的杜撰画面就出现了。

包括如下自动驾驶场，都是由Cosmos王人备生成。

不仅如斯，英伟达还将Cosoms与Omniverse搭配使用，虚实结合，让杜撰寰宇的想象搬到履行寰宇考验。

一直以来，老黄都在强调一个新观念「三台算计机」：一台是DGX用来考验AI，另一台AGX用来部署AI，终末一台即是Omniverse+Cosmos。

要是承接前两者，咱们就需要一个数字孪生。

老黄以为，「改日，每一个工场都少见字孪生，你不错将Omniverse和Cosoms结合，生成一多数改日场景」。

本文源泉：新智元，原文标题：《英伟达「寰宇基础模子」降生，引爆物理AI立异！75页讲演出炉拳交 twitter，GitHub狂飙2k星》

风险提醒及免责条件 市集有风险，投资需严慎。本文不组成个东谈主投资建议，也未辩论到个别用户极端的投资主义、财务景象或需要。用户应试虑本文中的任何意见、不雅点或论断是否适当其特定景象。据此投资，连累自夸。