智元开源百万真机数据集!具身智能领域的ImageNet时刻已到来!

2024-12-30 15:01:23     来源:

作为上海模塑申城语料普惠计划中的一份子,智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思,今天重磅发布全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目AgiBot World。这一里程碑式的开源项目,标志着具身智能领域“ImageNet时刻”已到来。

图片1.png

这是智元机器人本年度开源的第三个项目,亦是对智元818发布会承诺的完美兑现。我们将按计划在HuggingFace、Github以及agibot-world.com项目主页上分批上传数据,加速人类迈向通用人工智能的新时代。

项目开源地址

HuggingFace:

https://huggingface.co/agibot-world

Github:

https://github.com/OpenDriveLab/agibot-world

项目主页:

https://agibot-world.com/

AgiBot World是全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集。相比 Google 开源的 Open X-Embodiment 数据集,AgiBot World 长程数据规模高出10倍,场景范围覆盖面扩大100倍,数据质量从实验室级上升到工业级标准!在这个具身数据的世界里,机器人不再只是进行简单的桌面任务,而是进入到人类日常生活的方方面面。

多样任务  十八般武艺样样精通

AgiBot World数据集中涵盖的场景具备多样化和多元化特点,从抓取、放置、推、拉等基础操作,到搅拌、折叠、熨烫等复杂动作,几乎涵盖了人类日常生活所需的绝大多数场景。比如,其中一个视频展示的是机器人在电脑主机中内存条的过程,这需要机器人毫米级精细控制,稍有不慎就可能导致设备损坏,其如神经纤维般灵敏的末端触觉传感器,助力机器人实现了精准的对接;还有试图教会机器人如何用洗碗机的视频——在这条数据中,展现了厨房水池里勺筷碗盘层层堆叠,机器人将杂乱的餐具一一准确无误地整理至洗碗机相应卡槽中,操作流程长且动作十分繁琐。AgiBot World数据集中收录了80多种日常生活中的多样化技能视频,让机器人能够“十八般武艺样样精通”。

图片2.png

图片3.png

图片4.png

图片5.png

全域场景  上得厅堂下得厨房

AgiBot World数据集诞生于智元自建的大规模数据采集工厂与应用实验基地,空间总面积超过4000平方米,包含3000多种真实物品,一方面为机器人大规模数据训练提供场地,另一方面真实复刻了家居、餐饮、工业、商超和办公五大核心场景,全面覆盖了机器人在生产、生活中的典型应用需求。

图片6.png

家居场景再现人类真实住宅布局,包括卧室、客厅、厨房、卫生间等核心空间,可以实现机器人家务清洁、物品整理和厨房任务等。工业场景模拟分拣与物流自动化,复刻工业仓库与生产线,包括分拣系统、打包设备、传输带等,可以实现物料分拣、包装打包、物流搬运等。通过多场景的高度还原与任务设计,AgiBot World为机器人研发和测试构建了实现具身智能的必要条件。

图片7.png

图片8.png

图片9.png

图片19.png

像这样类似的真实场景AgiBot World百万真机数据集中有100多种,家居占40%、餐饮20%、工业20%、商超10%以及办公场景10%,其中80%的任务均为长程任务,任务时长集中在60s-150s之间,并且包含多个原子技能,长程数据是DROID和OpenX-Embodiment 的10倍以上,3000多种物品基本涵盖了这五大场景,同时还在不断丰富中。

图片11.png

场景和任务分布

图片12.png

各个场景物品分类

图片13.png

数据集时长分布

全能硬件   没有金刚钻难揽瓷器活

机器人能够如此灵活智能、胜任多种任务和技能,也得益于智元对于机器人本体的迭代升级——我们为机器人安装了8个环绕式布局的摄像头,让机器人可以实时360度全方位感知周围环境的动态变化;配备6自由度灵巧手,保障动作精准且灵活,同时末端还增加了六维力传感器和高精度触觉传感器,能够感知力的微小变化,做到“拿捏有度”;机器人全身拥有32个主动自由度,能够灵活应对多种复杂任务。

图片14.png

图片15.png

质量把控 严师出高徒

同时,数据集的质量,也是决定机器人能否快速学习的关键。AgiBot World中的数据,都需历经一套严苛的流程与验证链路。在项目之初,我们便邀请学界、工业界、消费者等多方介入提出建议,不断迭代流程设计规划;数据采集质量环节,无论是采集员还是采集质量,均由完善的管理体系和专业的管理团队全程保障;对于采集到的数据本身,将通过端、云两侧严格筛选,自动剔除不符合要求的数据,再由专业的审核员逐帧审核,确保每一个动作都符合任务标准;最后,这些数据还会通过算法进行二次验证,全方位筑牢数据质量防线。

图片16.png

———————————————————————————————

高质量的数据集对于当下具身智能技术的发展尤为重要。现有开源数据集,或多或少都存在采集流程缺乏标准化、机器人构型过时、数据质量格式参差不齐等问题,在机器人策略学习的过程中甚至会带来副作用。

图片17.png

谷歌OXE数据集,任务缺少真实生活场景,本体多样,数据质量和格式参差不齐

智元在此刻开源全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集AgiBot World,是具身智能技术发展的重大突破和里程碑事件,更是推进具身智能通用人工智能(AGI)实现的重要加速器。我们通过汇聚顶尖资源与技术力量,将共同推动具身智能发展新范式,加速人类迈向通用人工智能的新时代,在全球范围内奠定中国在这一前沿领域的领导地位。

图片18.png

未来,智元机器人将陆续开源千万仿真数据,以支持更泛化和更通用的大模型训练;将发布具身基座大模型,可支持模型微调,赋能千行百业;发布全套工具链,实现采集、训练和评测完美闭环;为激发创新的无限潜能,我们还将举办一系列AgiBot World Challenge,欢迎科技爱好者加入我们!

标签:

猜你喜欢

国际航协航空业结算系统正式支持数字人民币交易
全国食药同源产业创新工程暨丹霞铁皮石斛新材料发布会成功举办
中国大陆首场宝可梦欢乐跑落地深圳,释放活力,一起来皮!
微软中国园区荣获大中华区首批 UL2799 废弃物零填埋验证
蘑菇街MCN开启“星耀”招募计划,助力小红书买手通过直播收入翻倍
新浪潮论坛年终特别场:解锁娱乐行业全版图发展密码
双冠加冕,以质取胜:易鑫斩获“第十届企业改进案例大赛”两项大奖
京蒙协作“关爱儿童安全成长”项目在兴安盟科右中旗成功实施
“百联ZX”新番启幕,“次元PLUS”生活方式造趣登场
拓展新赛道、满足新需求,民族饮料企业的创新布局
陈飞宇现身蓉城,盛大揭幕名创优品MINISO LAND成都壹号店
《HarmonyOS第一课》焕新升级,赋能开发者快速掌握鸿蒙应用开发
2024鸿蒙生态学堂·校园行(武汉站):走进十城百校,多所头部高校超2000人参与
沈阳市“无废细胞”名单发布,好丽友入选无废工厂
首届“西部好物节内蒙古行”线下推介会点燃西部发展新引擎
比音勒芬携手先锋代言人丁禹兮,提前陪你跨年
中国体育彩票2025年新年登高健身线上挑战赛 邀你一起登高望远贺新年
汇聚产学研智慧!10家机构共启“共育化工AI复合型人才”倡议行动
中银律师荣登“2024年度LEGALBAND BOB中国律师30强”榜单
敢为先锋,向新出发!比音勒芬携手丁禹兮开启焕新征程
绿色制造再上新台阶,电装中国新添4家国家级绿色工厂
智启新峯 聚势同行,招商商管·北京写字楼渠道及代理行推介会完美收官
华润啤酒成为2025春糖节首席合作伙伴,“啤白”携手共酿消费新活力
历史时刻!宝骏享境首台量产车正式下线
2025科路驰·智领未来新品发布会暨年度盛典圆满举行
科技赋能 锻造品牌新实力|护肤品牌谷雨荣获《人民日报》“品牌创新案例”
浙江卫视王牌IP好友齐聚《加康加年味3》,解锁新春密码!
笃行不怠,步履不停——荣耀交付我店科技2024年度发展答题卷
跨年消费季,长安有心意!全国网上年货节西安专场活动即将开启!
《科普法》修订通过:新时代、新科普、新起点