科大讯飞“飞鱼OS”首发：智能架构开放分三个部分

产品+未来布局两条线让行业用户对科大讯飞充满期待。

过去三年，科大讯飞智能车机系统的开发成果丰硕，从飞鱼1.0到飞鱼2.0软硬一体的智能车机系统，已经在6个车厂的多个车型中量产。但是，如今智能网联汽车已经成为常态，各家汽车厂商都希望拥有个性化的人机互联系统，以此表现出差异化。

基于此，为满足不同厂商的需求，为他们提供软件或硬件的服务，在科大讯飞1024开发者节“AI+车载分论坛”上，科大讯飞面向行业正式发布了一款软硬分离的飞鱼OS车机系统。

同时，科大讯飞智能汽车发布了 “悦听计划”和“汽车生态开发者基金”，试图让更多合作伙伴一起构建汽车生态服务。

本文将重点分析科大讯飞飞鱼OS这款产品和科大讯飞智能汽车未来的布局，以此来探索中国如何以智能网联汽车为纽带，最终实现智能化汽车的终极目标。

飞鱼OS：通过双层级+多生态实现软硬分离

科大讯飞智能汽车事业部总经理刘俊峰谈到了飞鱼OS未来的使命：“在2016年的时候，我们发布了飞鱼智行品牌，这个品牌是希望面向于未来的智能车机系统来构建一整套的从应用到技术到服务的完整的平台产品结构。但是这条路确实不好走，前三年我们用自己的软硬结合的方式来走，现在我们采用软硬分离的方式。后面我们希望真正把这样一套软件系统变成可以能够向全行业开放的一个应用平台。”

刘俊峰

据了解，科大讯飞结合整个汽车的使用场景和相应的汽车后台服务，整合成最新的一个iflyos AUTO版本，科大讯飞正式把它命名为飞鱼OS。飞鱼OS拥有更强大的架构能力和开发能力，给用户带来更加美好的体验。

那么，作为一套软硬分离的系统，它是如何实现的呢？据悉，科大讯飞通过双层级+多生态的模式建立起飞鱼OS软硬分离的能力，为了更好的满足不同客户的需求，为此专门拆分了两个层级，LITE版和PLUS版。并且通过飞鱼OS可以快速实现集成和对接。PLUS版比lite版更深度定制系统的framework层，甚至一些hal,kernel层的部分模块。

但是，仅仅将软硬分离的外界对接工作做好还不够，科大讯飞考虑到每一家车厂的车联网服务能力差异较大。于是，科大讯飞通过对后台能力的兼容和拓展，可以为车厂定制兼容更大的多生态集合，从而保证用户在手机上常用服务和能力能够很好的展现在车机上。

具体来看，在最终的用户体验效果上，科大讯飞主要做了3点提升。

• 全闭环的汽车智能语音交互核心技术。包含语音合成、声源定位、窄带波束、声纹识别、智能打断、语音唤醒、语音识别、自然语言理解、听歌识曲。整体组合核心技术，为用户带来更好的效果体验。

• 多音区方案。随着车内更大空间的趋势，满足车内更多人的智能体验需求，科大讯飞实现了车内的多音区方案，以保障能够支持后排乘客更好的使用智能语音。同时更好的声音品质也是配合最终效果的一个非常重要的维度，同时科大讯飞启动了娱乐系统主机音效升级技术探索。科大讯飞智能事业部高级产品总监汪华锋介绍到：“多音区给整车带来了更多的服务场景，比如用户说打开车窗，这个时候打开的车窗其实是坐在用户身边的一个车窗的打开。”这种场景的实现得益于四麦方案，可以兼容2+3/2+3+2/2+2+3座椅布局。

• 从能听会说到察言观色。除了从声音维度的优化提升外，科大讯飞开放了车内车外的视觉感知能力，从而让驾驶更安全，爱车更懂你。比如，在现场科大讯飞的产品经理和设计师做了一个简单的视频，模拟了几个场景。可以实现信息记忆、情绪安抚、疲劳检测等有乐趣的功能。像是在情绪安抚这一功能演示中，智能机器人主动发出“这段路有点堵，主人别烦躁哦，我给你精选了一些好听的新歌”的语音来调节车主烦躁的心情。

以上为飞鱼OS从功能角度来看所做的三大升级。从技术角度看，飞鱼OS增强了汽车听、说、看三个维度的能力，听的部分在声纹识别和降噪模块的基础上增加了多音区能力；说的部分，在技能平台、AIUI的基础上，增加了XTTS和音效；看的部分，在360环视的基础上，飞鱼OS增加了人脸识别和疲劳识别能力。

更值得行业用户开心的是，飞鱼OS智能架构面对全行业开放。

飞鱼OS智能架构开放三个部分

汪华锋在论坛现场正式宣布：“科大讯飞面对全行业重磅发布 “悦听计划””。“让每一句反馈、音符都倾心悦耳。”这个计划将通过合成发音人、音效等技术，为整车提供更倾心悦耳的声音。科大讯飞也期待有兴趣的合作伙伴一起加入。这就是飞鱼OS智能开放架构。

汪华锋

飞鱼OS智能开放架构主要分3个部分：汽车AI技能开放平台、硬件开放和运营组件开放。

• 汽车AI技能开放平台。科大讯飞目前在汽车上已经上线的有47项，主要包括7大类场景的技能。汪华锋表示：“未来，我们希望更多的细分场景由我们的开发者进来合作，在这个平台上完善更多的汽车优秀技能。”为了给开发者提供更好的支撑，汽车AI技能定制平台可以支撑开发者或客户的技能1s上线，实时生效。最重要的是，这个平台可以帮助客户或开发者能有效的收集用户数据并且通过智能化分析，优化和不断打磨自己设计的技能，从而为用户提供更好的技能服务。

• 硬件开放平台。通过硬件平台的开放，接入车机硬件、座舱硬件、后装设备，第三方智能驾驶、辅助驾驶接口，客户和合作伙伴可以快速集成和使用。通过平台的整合，让合作伙伴能更轻松的实现智能互联和最优秀的人机交互解决方案。

• 运营组件开放。过去很多科大讯飞的合作伙伴已经建立了非常好的合作模式，合作伙伴很多都开放了API，车载系统也早已实现了去APP化，为了更多合作伙伴的诉求，讯飞还开发了场景模型和各种生态接入接口，为合作伙伴提供相关运营组件通道，让服务智能找人、直达用户。

对科大讯飞而言，在从单纯的智能语音能力提供商积极转型为整车智能化方案提供商的进程中，其核心技术计算机视觉领域算法也取得的长足进步。Cityscapes评测结果就是最好的佐证。

科大讯飞刷新Cityscapes评测全部两项任务世界纪录

Cityscapes评测任务是由奔驰主推，提供在驾驶领域进行效果和性能测试的图像分割数据集。该评测任务关注真实场景下的道路环境理解，用于评估参与测试的算法在城区场景语义理解方面的性能。相比其他自动驾驶领域的测试数据集，Cityscapes任务难度更高，更加贴近自动驾驶等当下热门需求。

近年来Cityscapes热度不断攀升。截至目前，评测已经吸引了包括谷歌、英伟达、三星、腾讯和香港中文大学等近百家国内外优秀创新企业和顶尖学术机构的参与。在Cityscapes任务所应用的数据集中，包含了5000张精细标注的图像和20000张粗略标注的图像，这些图像包含50个城市的不同场景、不同背景、不同街景，以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注。

近日，科大讯飞2018年获得的第七个世界第一来了：在国际自动驾驶领域权威评测任务Cityscapes中，科大讯飞团队以明显优势刷新了全部两项子任务的世界纪录。Cityscapes评测集有两项任务：像素级（Pixel-level）图像场景分割与实例级（Instance-level）图像场景分割。完成这两项任务都需要超强的技术水平。比如在第二个任务中需要区分图像中的车辆和行人，还要将车辆中不同的汽车进行区分和标注。

结果示意图：左-原图，中-语义分割结果图，右-实例分割结果图

不断优化的算法，为不同工作模式和不同传感器配置的智能化车辆提供了“看得清、认得准”的核心能力：

1. 可行驶区域的判断更加精准。意味着车辆在做出驾驶路线决策时有精度更高的依据，可以更好地将图像和激光雷达等感知设备返回的结果进行综合校验判断，从而避免因单一传感器缺陷而产生交通事故的可能性。

2. 物体类别和形状判断更加精准。意味着车辆对于当前驾驶环境中其他交通参与者的属性和具体形状有更精确的判断，在面对有些激光雷达难以识别的物体属性和难以区分的物体实例时，车辆可以通过视觉感知这一更加直观且完整的方案来大幅度地降低事故出现的概率。

专注智能汽车十多年，科大讯飞早已成长为汽车智能语音的业界第一，截止到2018年9月底，科大讯飞智能汽车服务在线用户量已经达到了620万，用户月活已经达到了92%，说明整个行业的语音交互体验越来越被用户所接受。

但是，即使语音的体验已经变得很成熟，服务已经很丰富，但用户的需求一直在变。从用户的需求层次去分析，新时期用户有3大痛点。

首先是手机的使用习惯。音乐、导航、餐饮等服务在车机上的使用习惯仍需培养。另一个痛点是同质化。行业里越来越多的相似产品诞生，千篇一律，毫无个性，和新兴消费人群匹配度不高。第三是用户心里的汽车智能化不是仅是车机，而是整个汽车。

基于此，科大讯飞总结了汽车生态智能和人机交互系统的发展方向。

现场展示的搭载飞鱼人机交互系统的智能化汽车

科大讯飞智能汽车未来布局

科大讯飞智能汽车未来布局包括生态智能和人机交互系统两个方面。生态智能包括整车生态智能和服务生态智能。整车生态智能包括智能化打通车控、多屏、驾驶、甚至车外的交通道路协调。服务生态智能则是和出行、娱乐、生活、保修等进行进一步整合形成服务智能。

比如整车生态，科大讯飞已经实现了很多车身控制功能，如车窗、天窗、滤光板、加湿器、氛围灯、行车记录仪、座椅姿态等。未来还会有更多人性化功能的出现。

科大讯飞的人机交互系统大升级-未来的三个方向：

1. 多模态交互：就是将多种传感器，比如麦克风、触摸屏、摄像头等技术，融合人工智能识别和理解技术，实现的多场景呈现和交互的能力。在多场景下，采用多种交互方式融合，从而给用户提供更加接近人类的沟通方式，比如我们本次增加的疲劳识别、人脸识别等能力就是为了让多模态交互做到更好的。

2. 多乘客交互：多乘客交互是科大讯飞在行业里首次提出并开创，目前第一步已经在蔚来汽车ES8上实现落地，首个场景是当我们后排的乘客说“打开车窗”，这时候在这位乘客的一侧的窗户会被打开，但不会影响其他人的车厂。该能力从技术上是基于整车多乘客需求，2或4麦空间定位技术，即使同时说出指令，也互不影响，为每位乘客量身定制专属服务。

3. 情感化交互：讯飞希望能够让每一个人都有一个自己的AI.虚拟个人助理，人机交互一定会往类人的多情感方向发展，所以讯飞依托人工智能技术，用情感化设计语言和拟人化设计打造的具有更加懂我能力的个人虚拟助理。ES8上的nomi就采用了科大讯飞智能汽车业务的人工智能技术打造出来的。

基于对未来智能汽车的布局，科大讯飞认为，从当前产业格局维度看，汽车制造业跟交通行业、通信、IT产业、未来运营服务及供应商、第三方以及云计算、大数据、人工智能等都在结合应用，打造智能网联汽车的新生态，呈现“多方参与、竞争合作，你中有我、我中有你”的复杂态势。

为此，刘俊峰谈到：“从产业的格局去看，应该共建一个共生共长型的去中心化生态系统。该系统不同于某一车厂、某一互联网公司主导的生态系统，它应更开放、更从用户需求和习惯出发。

在去中心化的生态中，每个企业都是促进者或开发者，且业务一定能更快速的落地，相应的业务的成功落地会带来更多的用户选择，生态就自然会增长了。”

在合作模式方面，从客户和供应商的买卖关系、双边关系摆脱出来，建立更多的多边模式。客户和供应商的关系更多是客户和合作伙伴关系，且除了客户和合作伙伴，合作伙伴之间也应该建立更紧密的联系，从而共同成长、加速产业落地。

那么，在这个去中心化的生态系统中，科大讯飞的角色如何定位？刘俊峰告诉车云：“我们定位做一名生态的促进者，将科大讯飞让车能听会说、能看会思考的强大AI能力要开放出去，让更多的生态伙伴接入，让整车更智能，从而加速整个行业的变革。另外，我们还要做一名做体验升级的促进者，聚集汽车和用户之间的产品体验，将OTA服务、自动驾驶、智能操作系统、道路安全监控、智能硬件、数据服务、远程控制、出行服务、智能语音交互、互动娱乐等功能服务于车厂和广大用户。”

车云小结：

科大讯飞在1024开发者节为汽车行业用户带来了诚意满格的产品，同时也对未来智能汽车如何打造差异化竞争力提出了解决方案。产品+未来布局两条线让行业用户对科大讯飞充满期待。