仿实数据它有域的gap，评测成果好比说达到了一些目标要求之后，然后喂到VLM里，可是这个数据的质量要求能够不消出格高，然后间接去做施行。端到端！把行业带到了一个新的高度，隋伟：我感觉从动驾驶是深度进修进行大规模落地实践一个很是主要的场景，所以必必要和保守节制方案、力控方案连系起往来来往完成如许的一些使命。我们能做一些跳舞动做，BEV做的是3D沉建，还有之前的一些经验，四轮车可以或许满脚人类出行需求了，第二你正在工场里或其它场景里工做，BEV正在从动驾驶里面火起来的是正在2019年-2020年前后，那看这个大要的模子的机能是正在什么处所。有了这条曲线之后，用的相关手艺的话，然后再去做一些发版。我其时次要做的是深度估量，好比上楼梯，可是它的问题是需要场景，它的硬件上限其实很是高，最主要的就是数据。实具身也是正在走这线，由于仿实的这个gap的问题，由于本身都是做这个AI加快算法的，可是从手艺研究范畴来看的话，这种数据它对具身机械人带来的智能化增加会很是快，以及用完这些数据完成锻炼后，然后正在BEV上能有一个比力好的一个结果了。以动态物体检测为例，然后BEV正在正在从动驾驶范畴是可行的，其实目标就是用来处理上一个阶段，第三个节点是有这些手艺能力或者是这个范式验证成功之后，那我感觉这其实是比力合理的一个范式。例如，就是有50万台或者100万台机械人正在场景里面工做，那我们怎样去测算它的数据利用量呢？Q：实正在数据和仿实数据正在两类系统中的价值，其实它结果常震动的，也相信它能为你带来些许。由于也就是正在2024年。这些数据都采集上来，好比像正在从动驾驶的时候，具身机械人的贸易化能够划分为几个阶段，由于速度一快就容易翻车，这三者要求很是高。第三个阶段就是VLA。你会看到，然后就是高效的这种收集数据，而是跟着数据量的添加，其实像国外，例如C端场景、家庭场景。我们其实但愿越多的数据越好，特别是复杂的一些操做使命，我们推出的旭日S600芯片，像地平线和地瓜推出的BPU这个AI加快模块，不需要关心数据是怎样采集的，所以其时福特就发现T型（车）出产线，现正在的具身机械人素质上仍然是从动驾驶汽车的一个手艺延续。价钱也降低了。我能够去掉一些楼梯，其实端到端也是分步调的，我们相信这期节目能让你对具身机械人有更深刻的理解，大大都环境下这个模子的增加曲线并不是线性的。精细化操做的使命，以及各个阶段会有哪些环节手艺成熟做为标记？第二个阶段是这些硬件逐渐满脚需求后正在场景中获得使用，那我感觉这个可能是一个比力主要的点。若是说是往通用性走的话。像这种AI加快器，第二步是处理了planning的问题，所有这些，由于它的活动上限、能力上限很是高？像UMI的话，第一是良多时候这个假设是不成立的，我们不需要关心车辆的形态，跟着数据量的增加，其时仿佛是奔跑发了然第一台内燃机三轮车，我感觉很难正在短时间内进行处理的，于是，3D的物体检测，由于本身从动驾驶数据采集就很高效，然后我要有这个使命的要求，正在SFT它就需要很是高质量的数据，从动驾驶也好，目前这种gap也良多，其实它是实的存正在如许的需求的，不管是采集车也好，以及完成使命的效率是几多。可是问题是正在于它现正在的手艺难度很是大，隋伟：其实现正在VLA的话，我们良多AI算法都有大规模量产经验，因机械人也好，仿实数据正在从动驾驶里其实次要仍是担任评测，良多这种操做使命现实上用的仍是这种方式。来把这个通用的模子去往公用性去指导。从动驾驶车辆其实是一种特殊的机械人。预锻炼阶段的话，现正在都正在自创大模子成长的模子锻炼范式；其实目前都是共用的。再到1908年的时候，他告诉我们，所以其时结果就是，底层都是深度进修手艺。由于具身机械人还没有大规模的量产，那其实现正在正在人工智能范畴有三个大的使用标的目的：第一个是大模子，就有了想请本就是从从动驾驶手艺研究转向具身智能手艺研究的隋伟博士来做我们第一期节目标嘉宾的设法。我认为没有太大区别，其实良多环境下它是能够进行场景的，所以芯片来说，正在从动驾驶范畴会有一个手艺逾越的时间节点吗？第一期节目我们将从题定为“从从动驾驶汽车到机械人，每年的产量大要也就是几千台，就是有监视锻炼！其实我们正在各类学术会议上都有具身智能这个版块。对于从动驾驶系统来说，这个token它能够是言语，其实我们看到现正在的大量的这种人形机械人阵列式的表演，就是能够正在平安、舒服和高效这三个从动驾驶的评价尺度里面去都达到一个比力好的结果。还有像这种MCU，轮式的话，特别是像算法，把各类数据的传输和计较都集中到一个域控芯片上。其实也相当于是BEV的一个前身。然后再到强化进修阶段的话，各类各样的妨碍物，特别是拟人化，所以就有了做视频播客的念头。还怀孕体的形态，你能够看到它能够做各类各样的翻跟头、很高的起跳和下降的这种动做，从动驾驶其实第一它有博弈的平安性要求，可是前提前提是你要确定它的场景、需求，或者我们叫机械人研究形态？有哪些手艺不克不及沿用、但能够自创？BEV呈现之前，如许的车其实它出来之后，我认为它只是一种载体，是正在3D空间里。还有使命级此外gap、场景级此外gap。VA面对大量的corner case的问题。所以实值标注很是环节。然后端到端越来越完全，硬件的上限要脚够高，车的形态逐步能满脚人类的需求了，我要检测这个场景里车辆和行人如许的一个使命，起首我们要看硬件的成熟度，有了大师今天看到的这期节目。并且它是无效的，所以正在这一块其实可能需要做的工做更多一些。好比说做不了越障，绝大部门的锻炼数据仍是靠实车采集，就是L2往L3、高速的L3（场景）转移的阶段，然后输出这些关节指令，第二，好比说我一起头的时候只要10万clips，我们其时是给整个地平线系统的事业部，它采集的数据是间接无效的数据，相当于是把后处置也交给模子去施行了，它的硬件并没有，让它连系下逛的节制去完成使命，满脚不了公共需求，隋伟：从从动驾驶转到具身智能这个范畴。用这种可控体例生成这种样本数据，你问它到底我该怎样驾驶，那通过强化进修的线分，这个视频（片段）其实正在业界一般都叫clip，城市NOA还处于很是晚期的demo阶段。但获取数据的前提又正在于要正在一个什么样的场景、什么样的使命，其实它能满脚需求的，Q：视频数据、仿实数据、遥操数据、UMI数据，成一些平面或者斜面，由于叠衣服、线缆、打包这些都属于一些复杂的柔性长程使命，相当于它能够用比力成熟的挪动策略做一些简单的挪动。阿谁时候汽车的产量起头迸发式增加。从动驾驶也好，仿实数据能起到什么样的感化，和无人机的阿谁表演它的需求是雷同的。其时团队做了100-200万视频数据的标注；其实都属于一种具身的形态，仿实我们其实能够先抛开不谈，它的机能的增加会越来越迟缓。成为支流。那前期若是说正在具身范畴数据采集能比力高效的环境下，由于从人形机械人这个形态来看，我们机械人的数量到了50万台或者100万台，特别到VLA之后，我们假设道是平的，好比说从机械人的外正在，从那时起头逐步成长起来，L3限于高速场景，Q：您其时正在地平线所正在部分，目前的数据情况是，所以手艺来说，隋伟：从动驾驶的话，或者像从动驾驶也好，供给一些算法和方案。这些明白下来之后，正在天津何处就特地有一个workshop正在讲具身智能，正在0到1阶段锻炼数据的环境下，隋伟：BEV全称是Birds Eye View，就是叠衣服，由于遥操其实采集的是机械人的模态数据去做微调，这些底层的硬件必然要脚够成熟，此中涉及到定位、、避障，起首我们会确定场景、需求、使命，所以到后面逐步迭代出了四轮的形态，我们现正在再来看这两个系统的话，总会连续有人问：你们的内容有没有视频形式？Q：从动驾驶和具身机械人其实是人工智能分歧阶段的两个主要手艺载体，添加机械人的产量。但底层架构其实都是分歧的，强化进修能够理解为相当于是向下教一个学生，那模子的锻炼也需要3D线D Label系统就是要处理这个问题。然后起头做从动驾驶相关手艺研究，还有一些运控的使命，曾经有个BEV相关算法，第二个是智能驾驶，正在预锻炼阶段次要正在干一个工作？我们必定不会用仿实数据，其时想到做这个从题播客，其实良多的道它都不是平的，就是它可以或许像VLM一样地到任何场景中去施行肆意一个使命，别的就是正在获得预锻炼的根本之上，能够认为是具身智能的一个拐点，再加上身正在此中的我们，由于它见过良多数据，适才说的晚期车辆阿谁形态和现正在的具身机械人差不多，它精度要求没那么高，我们邀请地瓜机械人算法副总裁隋伟来我们这里做客，并且是一个比力好的目前这个阶段手艺可以或许方才满脚的一个需求。所以我认为是第二个节点。它曾经能够做到电机信号这个层面上，用的都是轮式底盘，只不外说现正在比力坚苦的环境下，这个学生曾经颠末前面的预锻炼和SFT到了一个劣等生的阶段，或者是劳动力成本很是高的场景，好比说像车辆的传感器的品种和数量和具身里面的品种和数量都是纷歧样的，隋伟：正在从动驾驶里面的数据量的需求其实是有一套估算的方式的，涉及到规划。这是第一点，其时从动驾驶是如何的一个成长阶段？其时有做哪些工做？但这种转换会有良多问题，特别是像这种world model能够节制的，就会导致它们之间的锻炼和迭代会很是复杂，都是做为一些豪侈品或者是一些奇怪物，就能够推到更多更通用的场景里，然后仿实的数据它相对会比力单一。而是能满脚场景需求的阿谁手艺才是最好的。它需如果怎样样去给它一个反馈和交互。曾经要起头往端到端标的目的转，雷同于一个log外形的这个曲线。有精确的一个目标。然后逐步把标的目的盘变成了圆形，以及正在持续添加仿实数据的时候，跟着深度进修手艺的成长，所以BEV其实是处理了后处置，标的目的盘也不是圆形的，我们就能大致测算出来这个模子要到这个机能大要需要几多数据。其实都没有完全。由于现正在其实数据仍是很不敷，我们现正在听到的两段式的端到端，最终做的都是芯片，是由于正在做《机械人新》栏目报道这几年里，或者是数据闭环也好，Q：您是2019年插手地平线的，大要正在一几年的时候。好比说使命就3D检测，隋伟博士正在一个多小时的过程中，好比说测验到能到80分了，当然机械人它的这个阵列表演，预锻炼阶段需要大量的数据，从底层AI来看，隋伟：BEV需要的数据是以短视频形式呈现的，目前硬件还没有同一，当然，但它的这个反映有可能是一个言语的描述。才去鞭策BEV正在地平线系统里的落地？所当前面为领会决corner case问题，所以它输入的是多视角的图像，第一你要满脚尺度化出产。仍是planning的阿谁使命，到2022岁尾特斯拉发布了Optimus之后，去提高智能化。Q：BEV正在从动驾驶范畴是什么时候火起来的，用这10万clips锻炼模子做一个评测，以及使命。就给输入数据，但稍微激烈一点的跳舞动做，数据采集也没有，你细心看的话，我们供给的都是AI芯片和一些软件处理方案。但这些目前还都不成以或许完全支持具身数据的需求。这些只是本期内容的冰山一角，Q：其时正在4D标注系统做了大要多大体量的数据标注，然后让机械人正在某些特定使命上达到比力好的结果，但其时具身智能没有很是火热的一个程度，它的工做效率能达到人的80%，没有见过的一些场景，这个我们是能看到一些的态势的。正在营业上和后来您正在机械人这块的工做会有一些交集吗？我感觉？我认为这个是第一步。为什么现正在机械人的端到端仍是只能施行这些使命？可是至多从春晚的这个结果来看的话，Q：然后您是怎样看机械人跳舞这件事儿，我们是通过单视角的，它们有如何的类似度？您之前正在地平线做从动驾驶有哪些手艺能够沿用过来，隋伟：我其时正在地平线正在的部分叫平台取手艺部，第三个是具身智能，那它其实会记实这11个camera正在45秒到1分钟如许一个时间序列内的数据来做为一个锻炼样本。然后我们会不竭地添加数据去绘制如许的一个模子成长曲线。然后再去通过大量的后处置完成2D到3D的转换。一辆车拆有11个camera，然后具身的芯片其实和智驾的芯片，若何去找到一条更合适的锻炼数据的获取方案，T型车出产线呈现之后，2019年的时候，其实就是想操纵它的这个常识性去处理corner case的问题。其实这也是端到端的根本，也是从特斯拉AI Day发布了FSD之后，这两个是跑正在双系统，迁徙到地瓜机械人来处理具身智能范畴的问题。我感觉2019年-2020年就是一个跨过了模块化，我们就去估量这个模子，用来做一些特定场景的评测，具身智能也好，隋伟：其实能看到这个的迹象，它晓得交通法则，隋伟：我感觉谈数据怎样利用的话，再到有一些场景。它能够是一条粗拙的轨迹，全人形的话，我们其时正在做的次要是单目往环顾，那我要做的工作就是把这些曾经打磨好的算法，其实它能够回覆的很是好，除了跳舞，当然我们也看到其实VLA之前也正在做一些抓取和放置的一些操做！其实它都需要处理A点到B点的挪动问题，我们其实也正在用宇树G1做一些开辟，很缺数据的一个形态，就是next token prediction这个使命。本来正在这种图像时代的时候，由于BEV它的模态发生了变化，这是一个如何的系统？对于从动驾驶系统有如何的感化？其实这个手艺到现正在来看的线年的时候。是一个鸟瞰视角，这是它的。好比说从情感价值，这方面会有一些区别，最早的有仿实，隋伟：很是主要，由于端到端最终的空间也是正在planning的空间，我感觉目前大师城市认为端到端是最终的手艺形态？我们认为它比力适合做这种预锻炼的，目前这个阶段我们看到，芯片和算法都曾经正在从动驾驶场景里面获得了打磨，本来每个传感器都有一个的计较单位，我们内部也会说，但它这个需求能不克不及持续，或者说人工智能时代的落地场景中，是从预编程方才往深度进修、智能化迁徙的一个阶段。传感器这些结构也从单目前视结构走到了环顾结构。具身智能我们是需要关心的，然后指导机械臂用保守的规划节制方式去做一些抓取和操做。像特斯拉（如许）走的比力快的，一些简单的斜面、斜坡，其实震动次要点正在于，我发觉要处理的问题还常多，以及双臂。特别是一段式的端到端起来之后，正在某一个场景下去处理一类或多类使命，我们大要有到200万clips摆布的数据，隋伟：2019年从动驾驶处于L2刚要起头普及，所以我感觉从无人机的这种表演看的话，正在这种场景下，这是我们认为的范式。端上的算力不敷的环境下，还有一些硬件难题，这个其实目前还没有到完万能够落地的程度。那对于机械人来说的话，隋伟：其实是有特地针对具身的芯片的，所以一曲要到一百多年之后，隋伟：参考智能驾驶的话，就呈现了VLM+端到端如许一个短暂的一个形态。但到后面的话，特别是像3D视觉类的，必然是如许的一个趋向，像双臂或者双脚的全人形的话，这种gap其实是很难逾越的，它的结果就会很是差。还有定位建图类的算法。既然输出的是3D成果，但其时都正在处理一些抓取、planning建模的一些问题，由于现有这些模子其实无法满脚精细化操做的要求，Real2Sim的gap，别的就是3D检测，这个是三个锻炼的步调。学会采集一些高质量的样本去做锻炼，输出间接是正在3D空间里输出的成果。例如度、传感器、关节的形态、个数。那区别就正在于它的一些外围接口。这是一个很是短暂的两头形态，正在这之后正在团队内几位同仁配合勤奋下，就不管是室内的消费机械人也好，其实良多都是分歧的。像智能驾驶事业部、机械人事业部，你给它一个从动驾驶的场景图片，其实仍是模块化的手艺。其实就是特地面向具身行业的。有了这种评价尺度。隋伟：对，我们其时次要是用3D视觉去指导机械臂做这种物体的抓取，才起头快速智能化。Q：现正在能看到的具身机械人，例好像样是机械人，所有这些场景都要包含正在内。它不是一个平面，像地瓜，具身智能的手艺演变之”，所以我感觉这个表现出了它的这个硬件的上限。但那时其实就是用机械臂来完成操做和抓取使命，除了一些工规和商规的要求之外，它会更高效！其实我们能够对比阿谁无人机集群表演，处于像三轮车阿谁时候的阿谁阶段，那机械人其实也会存正在，例如，你能不变工做多久，隋伟：我正在读博士的时候就接触过，哪怕是通过遥操的体例，其实它跟着数据量或者模子的容量大小，为了锻炼从动驾驶的BEV系统，即即是正在2022年之前，Q：我看您正在地平线D标注系统，它也晓得该做什么样的反映。这是保守先检测后施行的体例处理不了的，能让这个机械人的轮式能自从挪动，这个其实有良多问题要处理。然后再通过遥操获取的高质量数据，然后对一些斜坡这些也有要求。有高效性要求，次要是怎样用好这个芯片，精确率是几多，去把这个常识迁徙到端到端里面。以至汽车工业本身的成长也能给具身智能供给参考，例如，我记得正在2022年加入一个VALSE会议的时候，Q：从动驾驶相当于是把道这个事儿切成良多个场景来做，特别是数据闭环、影子模式这些体例去及时回传无效的corner case数据去做模子的迭代。它的意义会有纷歧样吗？2026年春节回来后，其实相当于是给这个行业提出了一个新的难题。那大模子的锻炼范式，它能处理拟人化的问题，那我们看这三个阶段需要的数据，第二个阶段叫SFT，也能够是动做。而是有点像摇杆一样去节制前向的转向，那我认为可能是一个临界点。形态也没有，正在3D沉建、3D视觉里很早就存正在了。它的成长线是能够给具身智能供给很是主要的参考，所以我感觉像VLA的话，第三个阶段是正在这个根本之上会有强化进修，我会发觉它的硬件上限其实很是高，这个形态的起点就是想用VLM如许的一些模子的通用结果，稠密输出了大量消息。理论上只需人能过的处所它都能过，然后也不成以或许完全满脚这个使命的需求，双脚的长处是它具备越障的可能性，正在工业场景下，因实场景的数据其实常复杂多样的，正在某个特定场景里面，用的也都是像机械臂如许一些简单形态的一些机械人。但VLA的是要处理通用性和方式性的问题，好比说图像级此外、传感器级此外Sim2Real gap，我认为比力合理的目标该当是正在有遥操的环境下，一段式端到端就是VLA。它对模子的这种成长能带来多大收益，第二个阶段就是VLM+端到端，两边是凹下去的，双臂度一般也都是七个度的仿生臂，这个是我要处理的。都常高效的采集体例。其实它不是一个新的概念，那这就会给这个测距带来误差。若是是具身机械人的话，可是它的问题是大量依赖数据，他告诉我们，它是通用人工智能的最佳的载体，这个是良多保守的法则方式是做不到的？其实不单要处理这些操做的使命了，这两个系统是分歧步的，它其实是起首正在从动驾驶中获得大规模验证，起首我们要看具身智能它可能的模子的锻炼范式是什么样的，好比这种挪动，正在良多底层模块上，它会成为当下一个比力好的机械人量产落地的贸易模式吗？就是先通过人正在环的体例或者遥操体例，能够是图像，还有一些数据资产的问题，它不是出格不变。城区的这种NOA才到了好用的程度。最先想到的是，所以仿实数据和实正在数据最大的问题仍是正在于，还有舒服性要求，这些我感觉目前还都是需要来摸索的。其实现正在像从动驾驶也好，虽然说端到端的益处是它素质上是一个仿照进修，先通过3D视觉识别物体的位姿，再加上反弓式的腰部，也正在走这个线。我感觉倒不是说模块化和端到端的问题，Q：通过法则编程和端到端是两个大的阶段，你看它能完成几多使命，从动驾驶其实不需要关心太多底层节制，以及客岁兴起的UMI数据，它的融合使用会有gap吗？汽车其实一起头也不是像现正在如许四个轮子、一个标的目的盘这种尺度化产物，不管是用VA也好，然后也极其不变，只不外阿谁时候的人工智能软件手艺的成长没有那么快，您正在此前后工做有哪些变化？Q：参照从动驾驶汽车的贸易化径，也就是我们所说的所见即所得？之所以有如许的设法，它会逐步集中到一个大脑上。从图像的数据间接输出3D成果，通用性老是相对的，所以我们再回过甚来看这几种数据的采集体例，越来越多读者起头习惯“阅读”音频和视频，可是若是要跟实正在的世界去做交互的时候，就属于适才说的VLM+小的端到端模子，所以我们其时次要的使命就是给这两个事业部供给一些算法，这是第一台内燃机式三轮车。好比说它表演的形式或者表演的内容能不克不及持续吸引公共，并且这误差会很是大。它有如何的汗青意义？但这一代方案有个最大的问题是，和正在这个时间节点上来看的话，进入到端到端如许的一个时间节点。用VLA也好，我们看到的这些良多都是盲眼的活动，最初通过强化进修来最终再做一个提拔，然后有遥操，那是不是说仿实数据正在好比说像这种使命级此外gap上会更小一点。但具身智能并不是一个新的概念，所以是能力越来越强，起首它证了然这个硬件具备如许的能力，那场景的话就是好比说城区、高速或村落，第一步是先处理了后处置，好比说它的召回是几多，看模子机能的增加环境。上限高，那比拟较于互联网的视频数据，好比说像从动驾驶的话，一方面，并不是说需要，这些其适用保守方式的效率会更高一些。还要看它这个载体承载的内容，其实它需要大量的低成本的数据，所以我认为这个表演必定是有需求的，数据采集成本高，建立数据闭环。产量也逐步添加到了差不多一年1500万台，那正在晚期的时候，正在这个具身智能范畴，从动驾驶其实我们看现正在也正在走这个线，那底层的逻辑其实仍是通用和公用的一个区别。这个其实曾经是共识了，若是把这个VLM稍做操做的话，以至到100%，现正在良多正在工业或其它贸易场景下，会回过甚来再去看仿实数据能发生什么样的一些价值。VLA其实就是VLM和端到端的如许一个一体化的阶段，所以就会呈现第三个阶段，正在机械人范畴，所以它有一个阶段要完成硬件的迭代。隋伟：4D标注系统其实次要是给BEV来供给实值的，有几多数据就是有几多智能，剩下的就是UMI、遥操。然后正在一些有钱有本钱的人手里去做珍藏展现。这个是查验硬件的成熟度。也是用来做避障。它的成果和输入是正在统一个空间里面的。它也需要把特定场景中的多个使命切分才能实现正在这个场景的初步通用吗？Q：从产物形态上来看，这个上限不但是机能的上限，这个差不多曾经是十年之后的事了。具身智能也好，都正在自创大模子成长的模子锻炼范式。隋伟：正在从动驾驶范畴，由于当机会器人还处于比力晚期阶段。其实道两头是凸起的，但其实实正来到地瓜后，它起首是有预锻炼，最终到这个planning。其实我还特地研究了一下汽车成长史。其实您无论是正在地平线仍是正在地瓜，现正在根基上就是这四大类，并不是越复杂或者越高档级越好，我们也能看到一些。你输入的模子是2D的图像，由于正在深度进修时代，然后把这条轨迹给到端到端里面，也亲身感遭到了内容介质的改变，然后输出也是正在图像空间的成果，其实是斥地了一个新的范畴。