Open X-Embodiment 資料集解析:跨機型機器人學習的技術設計與意義

作者:默思編輯部 發布:2026-06-21

跨機型學習要解決的問題

機器人領域長期面臨一個實務困境:不同廠商的機器手臂、不同的感測器配置、不同的關節自由度,彼此的控制資料格式完全不同,導致每一種機型幾乎都要從零開始收集自己的訓練資料。Open X-Embodiment(簡稱 OXE)這個資料集的核心設計理念,就是要解決這個「跨機型資料無法共用」的問題。

資料集規模

OXE 是一個彙整型的大規模資料集,整合了來自 22 種不同機器人平台的示範資料,由 21 個研究機構貢獻,涵蓋 527 種不同的操作技能,標準化整理成超過 100 萬筆軌跡(trajectory)資料,是目前開放取得的機器人操作資料集中規模最大的一個。

作為預訓練基礎的角色

OXE 最重要的技術意義,在於它作為預訓練資料集(pretraining substrate)的角色——像 RT-1-X、RT-2-X、OpenVLA 這類目前具代表性的機器人控制模型,都是以 OXE 作為預訓練資料基礎。以 Transformer 架構為基礎的模型(如 RT-X、Octo),透過在 OXE 這種跨機型資料集上進行預訓練,能夠具備零樣本(zero-shot)或少樣本(few-shot)遷移能力——也就是說,模型即使沒有針對某個特定新機型或新任務訓練過,也能有一定程度的表現,這正是「通用機器人策略」這個研究方向的核心假設。

跟 DROID 資料集的設計對比

目前開放的機器人學習資料集中,OXE 與 DROID 分居設計光譜的兩端:OXE 是一個聯邦式的巨型語料庫,彙集了 33 個研究機構、22 種機型的資料;DROID 則是單一機型、單一標準流程的資料集,完全採用 Franka Panda 機械手臂在數百個真實場景中收集。兩者各有優勢——OXE 提供跨機型的多樣性,DROID 則提供單一機型下更一致、更乾淨的資料品質。

對開發者與研究者的意義

對於想投入機器人學習研究、或想理解 VLA 模型訓練資料基礎的開發者而言,OXE 跟 DROID 是目前最容易取得、也最具代表性的兩個公開資料集——理解它們的設計邏輯差異,有助於判斷一個機器人基礎模型論文所宣稱的「跨機型泛化能力」,實際上是建立在什麼樣的資料基礎之上。