借助多模态深度语义理解技术，深思考打造汽车数字座舱“AI大脑”

2019-09-01 10:04:44来源：亿欧

理想中的智能汽车应该是什么样子？

——“懂用户，有温度”理应成为必备条件之一。

在大家的设想中，未来的智能汽车不再是冷冰冰的机器，而将成为家、公司外的第三生活空间，能够识别和解码人类的表情、语言乃至情感，并作出正确反馈。

因此，数字座舱随即成为众多相关企业的重点研发方向。深思考、未动科技等初创企业，博世、采埃孚等国际Tier1，以及众多车企都是研发大军之一。

目前，由于语音交互、手势交互等AI技术的成熟度还不够高，所以大多数企业将中控大屏作为优先落地的部分。但实际上，如何使汽车真正理解人，才是最能体现智能汽车未来模样的关键，也是企业接下来需要深耕与突破的方向。

在人机交互领域，过去企业专注的都是单纯的语音识别或图像识别方面的工作，但这些技术只停留在使机器听见或看见层面，无法更深层次“读懂人”。当下，这种情况正在发生变化。

2019世界人工智能大会上，深思考CEO兼AI算法科学家杨志明博士在演讲中表示，车内的人机交互正从简单语音识别走向深度语义理解，从视觉听觉等单一信号识别走向多模态信息的融合，从简单的指令走向智能人机交互。

换句话说，人机交互分为两个境界：一是基于人类已发出的指令，机器识别并完成工作；二是机器能够在人类发出指令之前，读懂人的心思并预测指令内容，主动完成工作。两种境界之间，多模态深度语义理解成为关键。

杨志明认为，当前汽车内的多项服务分布在不同的应用中，订餐厅、订酒店等操作十分繁琐，语音助手也没有实现统一的融合和交互。因此，用户对多模态、一站式智能人机交互方式的需求更为迫切，只有融合了包括硬件上的HUD、液晶显示屏、中控CID，以及软件上的语音识别、语义理解、车载信息娱乐系统、ADAS等技术，形成数字座舱AI“大脑”，才能全面而深入理解车内外各种场景，提供更好的人机交互服务。

对此，深思考基于多模态深度语义理解技术，在识别语音和视觉信号的同时，对多模态信息做统一的语义理解，构建数字座舱的AI“大脑”，打造AI交互机器人。

行车前期，深思考数字座舱AI“大脑”可以将AI引擎与RPA（机器人流程自动化）相结合，减少用户在简单工作上的消耗时间，提升车内人机交互体验。如AI一旦识别用户正在上班途中，就能完成自动播报工作安排、自动预订会议室、会餐地点、机票酒店等服务。具体到订餐场景，该系统能通过机器人自动调用餐厅的预订接口完成预定，避免中间人工预订可能产生的误解与麻烦，实现一站式服务。

行车过程中，深思考数字座舱AI“大脑”能够实现车路协同、车车协同智能交互。具体而言，深思考数字座舱AI“大脑”可以实时感知和理解前方路况和周围车辆驾驶行为。如当前方发生交通事故、拥堵缓行或周围车辆存在变道倾向时，AI在感知后可以语音提醒用户，降低意外发生概率。

当抵达某一地点时，智能交互机器人可以自动判断下一个目的地类型，如停车场、酒店等场景，随后根据V2X信息为用户进行智能导航和推荐。

在行车场景外，深思考数字座舱AI“大脑”还可以将智能家居与车辆信息融合同步。其通过车载系统连接智能家居，可实现对智能家居的远程控制。同时，可以语音提醒用户日程安排，并提供适合建议或决策。

不难看出，深思考数字座舱AI“大脑”将多模态深度语义理解技术贯穿用户行车始终。从用户进入车辆，到行驶过程中，再到抵达目的地后，深思考能够持续为用户提供预定、导航推荐、危险提醒、智能家居控制等服务，打造行车一站式服务闭环，以此增加用户粘性。

以上场景非常令人期待，深思考之所以能够做到这一点，是因为深思考具备多模态深度语义理解核心技术。这是深思考的研发重点，也是其技术壁垒。近日在由中国计算机学会（中国计算机领域最权威学会）、中国中文信息学会（人工智能自然语义理解最权威学会）和百度公司联合举办的“2019机器阅读理解竞赛”上。经过全球2502个团队长达2个月的激烈角逐，深思考人工智能在两项评测指标中均登顶全球榜首，成功夺取全球冠军。