百度车联网AR方向资深专家：自动驾驶时代的HUD技术展望

12月1日-2日，由盖世汽车主办的“2020第二届车联网与智能座舱大会”隆重召开。本次会议主要围绕车联网、座舱域控制器、车载操作系统OS、OTA、座舱显示等车联网及智能座舱领域热门话题展开探讨，共谋产业未来发展之路。下面是百度车联网事业部AR方向资深专家邓苏南在本次大会上的演讲。

百度车联网事业部AR方向资深专家 邓苏南

非常感谢张总的介绍。今天我想跟大家分享一下自动驾驶时代HUD的技术展望，包括HUD的价值是什么？百度能提供的价值是什么？这个行业趋势是什么？百度的优势和规划又是什么？

先来看一下行业趋势，其实前面张总已经介绍了HUD的硬件，我稍微讲一讲C-HUD、W-HUD和AR-HUD这几者大概的差别。我们的想法跟大家是一致的，C-HUD肯定是一个阶段性的东西，，屏也小、展现的信息也少。W-HUD能展示的东西多一点，是目前的主流产品，但依然是一个过渡产品，未来AR-HUD将是最终的发展方向。

但这三款HUD为什么会存在？它们给用户带来了怎么样的价值？这个是需要我们去深度剖析的，W-HUD成像的范围很小，距离也只有4到5米之间，但是宝马的W-HUD布局了5年，从2013年开始布局到2018年业内首发，一开始他们以为只有1%的选配率，但事实上高达40%到50%，而且用户用过的都说好，好评率达到了99%。这个可能跟大家的印象不一样，之前大家觉得一定要全屏，才能实现用户的终极价值。

但是为什么W-HUD看起来很小，能呈现的信息也很少，却也能给用户提供价值？这给我们的启发是什么？我们分析了下，发现W-HUD虽然小，但是它解决了用户要低头看手机或者屏幕的问题，将用户的注意力集中在驾驶上，它能为用户提供最基础，也最核心的导航信息。这个启示告诉我们，W-HUD已经能够给客户创造价值。

W-HUD的量产情况我们也做了一些调研。让我们来看看它的趋势是什么？车型正从高端向低端下放，宝马原来是7系才搭载，现在下放到5系、3系。2018到2019年之间，我们又看到另外一些豪华车品牌开始上W-HUD，从2019到2020年，国内的一些品牌也开始上W-HUD。所以在未来几年W-HUD还会是主流，并进入全面开花的阶段，它的趋势是从高配向低配，从选配走向标配。现在很多人提到AR-HUD，就觉得应该是全屏或者至少30度到40度，但是如果从W-HUD来看的话，其实10*4度的FOV是够的。我们要思考的是在现有的FOV和成像距离参数下，能够给用户提供怎么样的信息和价值？

AR-HUD的用户价值又在于什么呢？我觉得HUD取代仪表屏是必然的趋势。刚才黄总讲得非常好，车内的屏很多就好吗？功能很多就好吗？是不是功能和亮点越多越好？那什么叫做好？在这里讲一下我们这边的理解，我觉得精准才是好，什么叫精准？当你需要的时候把信息推送给你，并且只推送给你想要的信息。我们在车内如果放很多个屏，用的次数和频率又是怎么样的，你够不够得着、用得到？精准的话，就是为用户及时的提供有用的信息，高效简洁，又不对用户造成干扰。

AR-HUD和W-HUD的差别在哪里？这里有写到两点，因为FOV会大、呈现的信息会大，所以这个信息量大，精准提醒是它一个很大的特点。第二点就是有强交互性。上面一张讲的是你能获取到什么，是讲的信息的概念。昨天听到一位嘉宾说智能驾舱的核心价值是信息和服务，但实际上这两个归根到底还是信息，只是你拿到这个信息需要做什么决策，是你做决策还是汽车做决策，这是一个阶段的问题。如果是你做决策，那可能是L2级别或者是L2+级别的，如果是车做决策，可能是L4级别的自动驾驶。所以我们讲的是这两点，一个是信息，一个是交互。

我们也讲到了智能，什么叫智能？智能最初的概念是像人一样有感官、有思考，智能的体现就是交互。如果人主动获得信息，那很容易理解是不智能的；但如果我们可以通过一些交互，比如说你看一眼或者是你说一句话，汽车就能明白你，减少你的动作，这个就是指智能交互的概念。

AR-HUD的量产情况大家也比较熟知了，就是奔驰的S级，另外就是大众、一汽、广汽和奇瑞，它的趋势是各大车厂都已经在布局，而且是从POC走向量产，布局的时间一般是3到5年，包括奔驰这一款也布局了蛮久，而且是硬软件一起规划。就像刚刚黄总说的，车身在设计阶段就要做一些改造，所以也想跟线上线下的各位车厂大大们说，如果你们有HUD的规划，那现在就要开始了，而且现在就要开始去定点选型，因为这个东西越早进入越有发挥空间。

我们对奔驰的案例做一个分析，因为百度对这个方面还是非常关注的，据我们所知奔驰是大陆提供的软硬件，它的硬件方案是DLP，体积很大，达到了27L。所以奔驰量产最大的意义是让车厂不再纠结于体积，体积可能不是个问题，我们先把它实现，能够引领一个时代的发展，这个是比较大的意义。那是不是已经到来呢？未来1到2年，随着量产的出现，它会慢慢铺开。

这是我们对奔驰发布的视频做的一个功能性的解析，里面有ADAS功能、信息提示功能以及方向指引等等。同时我们把奔驰发布的这一款视频的软件跟百度的功能做了对比，可以说奔驰有的我们都有，奔驰有它的优点，但是百度也有自己的优势。

接下来看一下行业布局，软硬件的布局趋势是怎么样的？在这个方面的探索，我相信百度是走在前面的，我们只想做最前沿的事情。在硬件上我粗浅按照投影方案分为传统方案和第二代的全息光波导方案，传统的方案优点是技术成熟、容易实现，但缺点也很大。全息光波导方案的优点是体积小，是未来发展趋势，但是技术不怎么成熟。如果我们现在谈量产，或者说未来3到5年车厂能不能上HUD，我相信几何方案是比较好的选择。

对于这两代HUD的分析，我们认为第一代HUD的成像是可控的，而且原理简单，发展相对成熟，应该是未来3到5年主流产品的方式，而且奔驰的量产体积很大，其实我们车上也可以不必纠结体积的问题。第二代光波导方式还有全息薄膜方式，发展不成熟，量产还有一定的距离，但各大企业积极布局，像大陆公司收购了欧洲的一家光波导的企业，阿里也有投资瑞士的WAYRAY。

再来看一下软件的趋势， HUD的核心价值是什么呢？第一点就是生态智能化，首先是信息的展现，昨天也有嘉宾把手机类比车机，这个也同样的。HUD可以类比一下智能手机发展，智能手机最开始只有打电话、收发短信的功能，但是现在很少用打电话和发信息功能，我们用的是手机的生态，包括娱乐，听歌、看视频或者打游戏，这个是智能生态。HUD未来一定是以AR导航为基础功能的一个生态化的载体，在这个载体之上，你可以拥有蓝牙电话、音乐，还有一些小程序，可以进行多样化的信息推送，包括刚才讲的精准信息提醒，还有高效简洁的HMI设计等等。

第二点就是交互智能化，获取这些信息是自己手动点按获得，还是它自然而然地给你推送，这有一个智能化的过程。刚才也有嘉宾讲到智能化的核心，5个感官最重要的是听觉和视觉，我们对此也很认同，所以我们觉得语音操控和视觉操控是未来智能化交互的两个重要发展方向。

跟大家分享一个小案例，在另外一些场合我讲这个东西的时候有嘉宾提问说，你们怎么看L4自动驾驶阶段HUD的价值？那我们就要想一个核心的问题，在L4阶段驾驶员真正的需求是什么？就像我们坐公交车一样，可能不需要亲自开车，但希望对信息有所掌控，希望知道如果前面有一辆车过来有危险，车自动踩刹了，你要告诉我为什么；下一个路口到哪一个路口了，该左转还是该右转，你要告诉我是不是要转了，离目的地还有多远。所以即使是在L4自动驾驶阶段，驾驶员一定会有的需求就是对信息的掌控。需要了解，可能不需要实时关注，但是我一抬头需要知道我到了这个地方，也需要知道其它的一些生态信息，比如天气，终点信息等等。

还有HUD大家应该都知道，它只有在主驾位置看，这样可以投射一些驾驶员觉得隐私性比较强的信息，有些客户会问微信信息能不能投在上面？理论上是OK的，因为副驾和后驾位置都看不到HUD投射的信息。

所以AR-HUD的软件比拼的是什么呢？是AI能力和导航能力。导航能力必不可少是因为它是一个基础功能，你不可能一个手机没有打电话的功能。 AI能力就是我们所说的生态智能化以及交互智能化的智能体现。

再看一看百度AR-HUD现状和优势。其实我们AR-HUD发展的很早，我们在2018年就进行了业界首发，然后又进行了好几轮的迭代，我们在上面进行了硬件升级，加了一个VPU，就是一块专门处理图片的芯片，利用这块芯片我们可以加入ADAS功能。在这个基础上，我们又做了多轮能力迭代，目前已经交付了一个POC，以及一个POC转量产，还有多个量产项目在谈。有朋友问我百度到底有没有落地的产品？你们跟多少家车厂有合作？我们现在已经跟数十家品牌进行了深入的合作。

再讲一下百度AR-HUD的优势，可以分为4个点：第一点就是AR导航能力，我们知道AR-HUD最基础的其实是AR导航能力。我可以跟大家普及一下这几个地图之间的关系，基础地图决定了你AR导航能做功能的上限，而AR导航你能做到什么程度又决定了你AR-HUD的上限。AR导航我们迭代比较多，2018到2019年就有3个落地的量产项目，2019年也有3个落地量产项目。

第二点就是我们对AR-HUD这个特殊产品形态进行了技术突破。AR-HUD特殊产品形态是什么意思呢？有人说你能不能把AR导航直接投射到AR-HUD上？不能，因为同样的颜色，投射在室内的屏幕上跟投射在挡风玻璃上，视觉效果完全不一样。在液晶屏幕上AR导航可以做半透明的效果，但是在AR-HUD上最好不要；在AR导航上可以做一些面状信息还有一些很炫酷的效果，但在HUD上不行，因为要保证简洁不遮挡视线。现在业内的一个共识就是， HUD显示的信息不能过于复杂，否则遮挡视线会给用户起到副作用。所以我们的产品都要在实车上实地跑一跑、测一测，因为你不知道你设计的东西投射到前挡风玻璃上是怎样的状态。

第三个就是跟车厂的实战项目里面去打磨我们的产品形态和用户体验。我们做的很多需求是来自项目的需求，而不是天马行空的，因为我们发现越来越多的车厂跟我们有共同的认知，就是要抓住用户的核心体验，AR是增强现实，在转弯的时候要不要把转弯的箭头贴的跟那个弯一模一样？这个重不重要？其实没有那么重要，因为用户要的是你告诉我该转弯的时候转，实时性、精准度比你转弯指示的样式更重要。所以我们其实是有优先级的，这个评判标准就是看用户的核心需求到底是什么，是打中他的要点还是锦上添花。另外我们深圳是有实车的，我们自己改装了一辆车，上面硬软件都有，我们会根据这个实车进行一些迭代，在真实场景里面去做迭代，这个也比较有利于产品的开发。

第四点就是功能迭代或者产品迭代都离不开智能，但智能是需要技术沉淀的，百度在AI方面的技术沉淀有目共睹。另外我们有一个智能驾驶体验中心，这个体验中心提供了一些用户调研，也给我们的产品设计提供了一些策略和建议，后面也会介绍这个部分。

先看一下AR导航产品，刚才讲了AR导航是AR HUD这个产品形态的灵魂，是后续迈向L4阶段的一个重要技术积累。第二是融合定位，百度做HUD软件的优势在哪里？其实是在融合定位这一块，因为我们可以把所有的芯片融合起来，1+1大于2。融合定位里面有惯导，有图像，惯导可以让导航在隧道和高架都得到精准的提醒。也有朋友说HUD想让用户体验特别好，在高峰期前面道路看不到的时候，怎么知道该不该左转或者变道？这个听起来简单，但实际上涉及的点还是蛮多的。首先是给你什么样的信息提示，用什么样的标志告诉你，是用三角形还是箭头，这是HMI层面。第二是策略层面，在转弯多久之前告诉你提示或者告诉你变道，高速场景跟普通道路是不是一样的时间。第三是算法层面，要精准判断你在第几车道，然后给出你精准的定位，才能给出这些提示信息，但精准的提醒和精准的定位要么就上高精地图，要么就是把普通地图利用融合定位做成跟高精地图类似的效果。高精地图大家都觉得好，但是它贵，落地是有一个发展阶段的。我们现在想在普通地图的基础上，把这些硬件的芯片结合起来，给用户一个更精准的提醒，这样既节省了成本，又能够补充高精地图发展之前的gap。

第三个是多样渲染，渲染就是在提供信息的时候渲染成一个3D、2D的效果，但渲染是最上面一层，重点在以怎么样的形式去显示，前面还是要有感知和定位，才能把信息显示的非常清晰。百度的优势是这上述1、2、3都会做。

第二个就是我们的亮点功能，我们有AR-ADAS功能，包括车道线偏离、前车预警、行人预警、交通标识牌等等。大家也知道我们在一些城市已经落地了V2X的示范项目，V2X也是可以加到HUD上的。HUD未来是起到显示屏的作用，但是信息是最关键的一个环节，所以百度在这个方面的积淀都会成为HUD上面显示的一个生态环。

然后是车道级的指引，我们目前是不需要用高精地图的，我们用普通地图再加上多传感器融合，能够起到车道级的定位，并给出相应的指引。第三个就是一个常规的功能。

百度AI能力的介绍分为这几个方面：芯片、算法、大数据建设、内容生态。刚才讲了智能驾舱，智能的灵魂在于“智能”二字，这个肯定离不开AI能力。AI分为语音、视觉、导航定位，这三个是灵魂中的灵魂。导航定位是基础功能，语音和视觉是两个重要的交互形态，如果交互不智能，这个体验就没有办法智能。

在语音上面，我们可以达到声纹识别、车载音节识别，视觉上面我们有量化的模型和专项车载场景训练模型。关于语音和视觉，我想Highlight的是我们进行了场景化训练。语音跟小度音箱交互，这是居家场景，但是移到车上，可能这个专项场景是很多友商没有做到的。这个是针对场景里面具体问题具体突破，比如你面临的场景是狭小空间，四五个人坐在车里，后排交谈，你跟车机互动会受到干扰，这个时候您要怎么解决？

再比如说视觉，你在室内人脸识别比较好做，因为光线很正常，你坐在那儿是静止的。但是在车载环境里面， ADAS摄像头对外，要探测的物体是移动的。移动物体、高速场景，阴雨天、黑夜怎么解决，这些都要进行专项场景训练。所以我们车联网的定位是把这些高精尖的技术场景化，我们做的东西是专门为车载场景而生的产品形态。

导航定位方面，我们有领先的车道级、亚米级的高精度定位，这个缓解了客户对高精的需求压力。还有我们语义SLAM的发展，目前也是为我们后期做一些新功能提供了技术积淀。

再者就是我们AI大数据的建设，在语音方面我们知道要训练一个比较好的语音效果，需要有数据库，我们的语音里面有六百万条语音数据模型，导航覆盖方面，我们是1000万公里道路里程覆盖，1.5亿全球POI，数据量行业领先。在ADAS数据方面，我们有中国最大的数据采集车队，AI赋能生产线高度自动化，还有中国首个全要素高精审图号公司。

在AI生态上，也是从这三个方面去讲，语音、视觉和地图。语音有边听边说全双工，用户可以一边听音乐、有声书，然后免唤醒。我们也支持一些方言，所以语音和视觉上面我们可以看到，我们介绍的重点是场景化，比如说视觉我们也是支持车内车外十多种任务识别，覆盖人脸、手势、车辆、行人等等。地图也是行业唯一基于AI和大数据独创的实时路况预测等功能，准确度和路况实时精准性是业内第一。刚才讲的那个精准提醒，其实是有一个问题的，比如说我们开车最怕什么？最怕走错路口，所以这个提醒的及时性和精准性就很重要，这个也是导航的一个重点。

再讲一下百度智能驾驶体验中心，这个跟我们今天的主题会更加契合一些，这个体验中心的常规功能包括产品体验、策略咨询、用户行为研究分析，还有一些前瞻性的交互性创新设计，包括空间造型的工业设计，商业品牌重塑等等，它们专注在交互等方面，并且基于此跟国内高校合作产生了一系列的学术论文，其中一个成果相信大家会比较感兴趣，就是基于无人驾驶体感的模型评估。有嘉宾讲到我们要在智能驾驶里面讲究体验的舒适性以及体验的感觉比较好，但是这个感觉有哪些指标来衡量呢？我们把智能驾驶体验中心拆解出来，分了三层。包括整体维度上的舒适度，从这个舒适度可以进一步拆分，看具体来自哪些方面，可以来自体感、安全感、智能感。第二层，这三个感知方面我们又拆分成更细节的这些点，这些研究成果也有发表在一些高质量的论文上面。

最后再讲一下AR-HUD方面百度的一些规划。在产品上的规划我们还是集中在HUD的核心价值上，核心的产品能力除了刚才说的智能生态和交互，目前3到5年我们所要聚焦的中心还有它的指引性、安全性，也就是ADAS相关功能和沉浸性。我们刚才讲HUD分为2D、3D，那是2D好还是3D好，怎么样让驾驶员科技感最明显，所以我们的产品目标集中在指引性、安全性和娱乐性方面。

在这个基础上，我们也进行了相应的技术规划，包括云端技术、车道定位和精准化的绑路，所有这些都是为了之后能够实现更精准、更好的用户体验做准备。我的演讲就先到这里，非常感谢大家！