Spatial Foundry:面向空间智能的多模态数据集

Spatial Foundry 包含 2,400 多个带家具的住宅 3D 场景,提供点云、可编辑网格、对齐的透视与全景 RGB、米制深度、3D 包围框,以及与视频配对的相机轨迹。

观看能力演示申请样本与数据授权

数据集特性

统一的场景坐标建立了视图、几何和物体实例之间的对应关系。逐帧相机位姿将视频观测关联到三维场景;可编辑源资产则支持相机运动和场景状态的可控变化。

2,400+ 3D 场景多样化的住宅布局与家具配置
透视与全景 RGB同一场景的标定透视与 360° 观测
相机轨迹与视频视频序列与逐帧相机位姿配对
深度与 3D 包围框米制深度、物体尺寸与持续一致的实例 ID
点云与三维网格米制点采样与可编辑场景几何

场景数量包含同一布局的不同家具配置。

研究应用

以下演示展示了配对观测与三维标注在几何学习、场景理解、可控生成和交互式世界建模中的应用。

V00

数据集概览

带家具的美式住宅环境以平面图、彩色点云和可编辑三维网格表示。透视与全景观测配套米制深度、实例级三维标注,以及相机轨迹与对应视频。

三种表示来自同一双层住宅。三维预览的楼层分开以便观察;数据坐标与尺寸保持米制。

配对观测与标注

平面图、点云与可编辑网格提供场景结构的互补表示。标定的透视与全景 RGB 关联米制深度、物体 ID 和 3D 包围框;视频帧配套相机轨迹与逐帧位姿。

训练与评测

按场景划分训练与评测数据,用于跨环境评估。米制几何和标定观测为尺度、空间布局、物体定位和跨视图一致性提供参照。

演示方法与数据来源

平面图、点云和网格预览均来自同一栋双层 Blender 住宅。平面图由网格水平截面生成。点颜色从 UV 纹理和材质 Base Color 估计,程序化着色器采用近似处理。网格预览展示实际曲面几何。默认三维预览分开楼层以便观察,存储的米制坐标保持不变。

V01

规模与多样性

数据集包含 2,404 个住宅场景配置,覆盖不同布局、房间组合与家具搭配。

32 s · English 打开视频

交互浏览三维样本

拖动旋转 · 滚轮或按钮缩放 · Shift + 拖动平移。也可用方向键与 + / −。

与 V03/V04 相同的双层住宅 · 12 万点预览 · 由原始纹理和材质估计颜色

住宅场景配置配套图像、深度、相机标定、物体标注与三维几何。相机轨迹和对应视频保留了局部观测与全局场景结构之间的关系。场景数量包含同一布局的家具变体。

训练与评测

按底层布局或场景族划分数据,控制家具变体之间的数据泄漏。比较不同房间配置、物体排列与相机视角下的表现。

演示方法与数据来源

32 秒演示结合 36 个环境的总览与双层住宅的一、二层 RGB 游览。交互预览使用所提供 PLY 中空间降采样的 400,000 个点,保留文件自带 RGB 和原始坐标。楼层分离与天花板剖视只改变显示。演示呈现参考数据,而非学习模型的输出。

V02

RGB-D 与相机几何

透视与全景 RGB 观测关联米制深度和相机标定,为深度估计、新视角合成与多视图重建提供对齐的视觉和几何监督。

18 s · English 打开视频

透视 RGB 与深度直接从源场景渲染,并保留相机内参与外参。等距柱状全景与显式三维几何提供同一环境的互补表示。

训练与评测

配对 RGB-D 观测与标定视图支持深度误差测量、米制尺度评估和跨视图重投影检验。

演示方法与数据来源

透视 RGB 与深度直接渲染,并利用相机标定回投三维。末段全屋点云独立采样自场景网格,通过 RGB 投影近似着色,并非从单张全景重建。

V03

三维实例标注

持续一致的物体 ID、米制尺寸和 3D 包围框将图像观测关联到场景实例。对应的 RGB 与点云标注支持物体定位和跨视图实例推理。

18 s · English 打开视频

场景网格、RGB 观测和点云共用物体 ID 与米制三维边界。投影标注建立可见图像区域与底层场景实例之间的对应关系。

训练与评测

依据场景标注评估定位、尺寸与实例对应。语义和朝向约定随标注字段提供说明。

演示方法与数据来源

一楼与二楼观察序列的 RGB 和点云视图共用物体 ID、米制尺寸及世界轴对齐包围框。展示名称采用整理后的标注;部分细粒度语义标签尚未独立审核。

V04

轨迹条件视频

RGB 视频配套相机轨迹、内参与时间戳。连续路线涵盖房间切换、楼梯通行、相机高度变化和返回重访,为轨迹条件生成提供参照序列。

2 min 02 s · English 打开视频

视频帧关联相机位姿、内参与时间戳。带家具三维场景中的路线支持在保持环境不变的条件下,可控地改变观察方向、高度和速度。

训练与评测

以参照观测和目标相机位姿作为模型条件,评估轨迹遵循、运动连续性,以及跨房间、楼层和重访位置的一致性。

演示方法与数据来源

参照序列包含 2,923 帧,帧率为 24 fps,相机沿连续双层路线运动。房间观察、楼梯通行与低信息过渡采用不同的行进速度。序列由 Blender 渲染,不涉及学习型视频模型的评估。

V05

多智能体协作

多个参与者的同步观测关联共享场景状态。物体状态更新在独立视角间持续保持,用于研究在线多智能体世界模型的一致性。

18 s · English 打开视频

独立参与者相机关联共享物体身份、变换和编辑事件。同步观测为区分视角变化和场景状态变化提供参照。

训练与评测

依据相同的状态转移比较参与者观测,评估事件同步、跨视图一致性及变化的时间持续性。

演示方法与数据来源

H1 和 ANYmal D 代表本地 TCP 双客户端原型中的参与者。视频根据同步场景状态预渲染,不评估机器人动力学或已部署的公网生成式世界模型。

V06

实时场景编辑

物体级变换和编辑事件与沿相机路径采集的观测配对。平移、插入、删除和旋转在场景几何、可见性与渲染外观中产生持续变化。

24 s · English 打开视频

可编辑物体网格、材质和变换支持显式场景状态变化。编辑前后观测关联对应的编辑事件和相机位姿。

训练与评测

评估编辑是否符合目标变换、是否保留无关场景内容,以及在后续视图中是否保持一致。

演示方法与数据来源

物体平移、删除、插入和旋转直接应用于 Blender 场景,并沿连续相机路径渲染。视频展示实时编辑工作流的数据形式,采用预渲染,而非实时编辑器录屏。

数据模态

数据集提供场景资产、标定观测与结构化标注。相机轨迹、视频帧和物体身份建立了空间与时间维度上的观测对应关系。

数据层数据内容研究任务
场景资产带家具的三维网格、平面图与结构几何布局理解、场景生成与可控场景变化
视觉观测透视与全景 RGB、相机内参与外参多视图学习、新视角合成与几何重投影
米制几何深度图、点云、网格几何与物体尺寸深度估计、米制重建与三维定位
实例标注物体 ID、语义标签、3D 包围框与跨视图实例对应3D 检测、视觉定位与实例级场景理解
轨迹—视频配对相机轨迹、RGB 视频、逐帧位姿与时间戳轨迹条件生成、导航与时序一致性评估
场景状态变化物体变换、编辑事件与更新后的场景观测动作条件建模、多智能体交互与编辑一致性

数据集获取

可申请评估样本,以核验数据格式、相机约定与标注结构。研究需求与数据授权事宜请联系数据团队。

可获取的数据包括 RGB-D 观测、多视图实例标注、轨迹—视频配对、多样化场景配置,以及记录编辑事件的观测序列。

联系数据团队

data@ranolabs.ai