作者：方家卫 （厦门大学2024届本科生，自大二在团队学习、本科阶段以第一作者发表ICML论文一篇，在UC Berkeley、MIT CSAIL Lab交流，以本科生身份获得CMU博士入学资格，在阿里巴巴达摩院工作）
故事不妨从一个已经讲通的章节说起。
近两年，机器人操作学习里渐渐走出一条路：先用大规模人类第一视角视频预训练，再用少量机器人数据适配，策略就会明显变好。Manipulation 的人类数据预训练，不再是猜想，而是被一次次验证的事实。
可故事推到下一章，就卡住了。任务从「拿起杯子」变成「走过去弯腰拿起杯子」同样的范式却迟迟没有出现——Manipulation已被反复验证的人类数据预训练范式，为什么在LocoManipulation 上没出现？
笔者认为，真正卡住这条路的，是缺少大规模、成对记录的EgoMotion 配对数据。
人类数据在 Manipulation 上大获成功
随后，这一判断很快被实验写进情节。[EgoMimic](https://egomimic.github.io/)发现，多加一小时人类手部数据，往往比多加一小时机器人数据更划算；[EgoScale](https://research.nvidia.com/labs/gear/egoscale/)把人类第一视角视频推到 20,854 小时，灵巧手成功率一举提高 54%；Physical Intelligence 也看到，机器人数据不够时，掺进人类视频，策略表现大约能到原来的 [2 倍](https://www.pi.website/research/human_to_robot)。
为什么这条路在 Manipulation 上特别顺？因为桌面操作的关键角色，本来就是手；而手，恰好常年出现在第一视角画面里。视频估出手部轨迹EEF，再映射到机器人——链路短，成本也低。Manipulation 几乎是捡到了一个便宜又清晰的接口：人的手。
有人试图把同样的故事续写到Locomanipulation。Ψ₀ 已经用上人类数据，但人类侧仍主要是 Ego video 与 hand pose，没有与视频严格同步的全身 Motion。迈步、转身、平衡，还得靠机器人自己的轨迹硬学。手帮得上忙，整章却写不下去——Locomanipulation 还没能像 EgoScale 学手那样，从大规模人类数据里直接学全身运动。
为什么纯Ego视频不够？
缺的究竟是什么？
不妨先看Ego数据本身。头戴相机很擅长看见手，却常常看不见腿、骨盆和躯干。画面一晃，可能是转头，也可能是转身或迈步；手往前伸，可能是站着够，也可能是边走边抓。许多全身信息叠在同一种视觉表象里，单靠视频很难对齐拆开 Locomanipulation 要的，远不止「手怎么动」：人走到了哪里、哪只脚着地、身体如何稳住、上下肢如何配合，以及怎样从走路切到抓取。这些信息很难从头部视频里稳定恢复。
于是故事的缺口变得清楚：没有与视频对齐的全身运动，就很难做 Locomanipulation 意义上的人类数据预训练。所谓 EgoMotion，说到底，就是把「人看见了什么」和「身体当时怎么动」成对记下来。
没有大规模 EgoMotion 人类数据，Locomanipulation的预训练无从谈起
缺口清楚之后，真正的问题才出现——目前不存在足够支撑Locomanipulation预训练的大规模EgoMotion数据配对数据（当然，这里的大规模指的对标Ego里的十万，百万小时，目前EgoMotion最大规模数据集仅有约300h，见下文Nymeria）。
没有大规模的EgoMotion的人类数据集的原因是因为采集成本太过昂贵。今天若要高质量 EgoMotion，通常得同时上第一视角设备和专业全身动捕。比如，Nymeria 用 Project Aria 眼镜和 Xsens 惯性动捕服，采了大约 300 小时日常活动。数据本身很有说服力，采集过程却像一场漫长的远征：值钱，也艰难。EgoMotion 若不能廉价扩张，Locomanipulation 的人类预训练范式便无从谈起。
硬件首先就不便宜：
成本卡在这里，万小时量级的人类全身预训练就自然很艰难，范式起不来也就不奇怪了。
真正贵的，是数采载体没有融入生活
若把镜头再往后推一步，会发现贵的根不在传感器本身，而在载体。
想要scalelocomanipulation人类数据预训练，核心问题是：拿下一小时真正能训练的数据，从头到尾要花多少钱？ 硬件之外，还有软件、技术人员、校准、参与者报酬、清洗维护、数据处理，以及采废掉的那些场次。
紧身服和绑带，本来就不是为全天生活写的。闷、热、要选尺码、要洗、要反复安装——普通人扛不住长期穿，系统也常离不开专人盯着校准。这套装备擅长 Motion Capture，还不擅长把生活本身变成 Life Capture。
EgoMotion 之所以昂贵，未必全是精度不够，更像是数据采集的载体依然不够融入生活：它停在实验室流程里，无法像第一视角视频那样，跟着人的日常一起长规模。真实生活中自然发生的行为痕迹，要求载体成为生活的一部分，而不是生活的打断。
若想要 1,000、10,000 小时乃至更大，我们不禁发问：人愿不愿意长期穿？还要不要专人反复校准？设备便不便宜、耐不耐洗、稳不稳？
衣服，是这个故事里最自然的载体。它本来就覆盖身体，也是每天都会穿的东西。比起紧身动捕服，日常服装更适合长时间穿着，也更舒适，才有机会规模化走进真实生活。传感器若能融入夹克、运动服或工装，穿上衣服就大致完成部署，不必每天安装十几个节点，也不必为了采集另换一套实验装备。
眼镜记人所见，衣服记身体所动——无缝融入生活，才是下一代数采的范式。
用服装实现无感化动作捕捉
当然，基于服装的动作捕捉有着一个非常大的难点：服装IMU的实时偏移。
把 IMU 放进日常衣服，难点并不神秘，却也绕不开。传统惯性动捕默认传感器与身体近似刚性连接；宽松服装却会相对皮肤滑动、摆动、起皱，甚至碰到身体。IMU 记下的不只是人体，还混进布料自身的二次运动——garment-induced noise。更麻烦的是，这类噪声高度结构化：不同身体部位、不同穿着松紧，干扰形态并不一样；它也不是独立同分布的随机扰动。简单平滑滤波往往无效，直接端到端硬学，也容易被噪声分布拖垮。
好在这一章并非没有解法。我们团队是世界范围内首先开展在宽松服装数据上做姿态估计的团队之一。Loose Inertial Poser（发表于CVPR 2024）把少量IMU嵌入宽松服装，用 SecondaryMotion AutoEncoder（SeMo-AE）显式建模皮肤与衣物之间的二次运动，再合成多样化训练数据，实现实时全身姿态估计。
从Motion Capture 到 Life Capture
把整条故事线收回来，核心其实是成本。第一视角的数据采集成本已经相当可控：一副眼镜或头环，就能跟着人走进厨房、办公室和街头，规模可以自然长起来。真正把账单拉高的，是再加上全身动作。一旦要求长时间、大规模地采 Motion，挑战立刻叠上来——穿戴要足够舒适，精度要足够稳定，场景还要足够灵活，不能困在实验室动捕那一套流程里。
Locomanipulation 缺的，不是又一次更响亮的模型叙事，而是成本可控、可规模化的 EgoMotion。要把数据从几百小时推到几万、几十万小时，采集必须回到人每天都会穿的衣服上，而不是不舒适的紧身惯性套装。
过去，人为了采集而去穿戴设备。
未来，数据应当在人正常穿衣、正常生活时自然产生。
真正的scale发生在自然之间，CV，NLP，Audio...无一不是如此。
下一代具身数据系统，不该只是停留在实验室里的Motion Capture，而应当是能够融入生活的 Life Capture。
- EgoScale：使用超过 2 万小时人类视频训练灵巧操作
- EgoMimic：利用第一视角人类视频扩展模仿学习
- MimicPlay：自人类 play 视频学习长时程模仿
- Danfei Xu：CoRL 2024 Keynote — Robot Learning from Embodied Human Data
- Ψ₀：利用人类视频预训练人形机器人移动操作模型
- PhysicalIntelligence：Human-to-Robot Transfer in VLAs
- Nymeria：大规模第一视角人类运动数据集
- Garment InertialDenoiser：去除宽松服装引入的 IMU 噪声
- Loose Inertial Poser：使用宽松夹克进行动作捕捉