打造多模态交互学习体验 玩瞳科技要用AI视觉赋能儿童绘本阅读

多模态人机交互是下一代人机交互的发展趋势。融合听觉、视觉甚至触觉、嗅觉、味觉的多模态交互方式，无论表达的信息量和还是沟通效率，都比单一模式的交互方式更具优势，且形象生动。

聚焦到垂直领域，以语音交互为主的智能音箱是近几年来人机交互产品化竞争最激烈的赛道之一。从巨头到创业公司，无不将其视为抢夺下一代智能家居入口的核心利器。

其中由智能音箱演化而来的智能故事机则是其中增长最快的一个细分品类。

今年4月，亚马逊推出了一款儿童版智能音箱Echo Dot Kids Edition，尽管在硬件配置方面和标准的Echo Dot无任何差异，但在软件层面，比如其语音识别、儿童读物等都是针对儿童场景进行量身打造。国内方面，阿里、百度、出门问问、喜马拉雅等巨头和创业公司也纷纷针对儿童市场推出了相关产品。

儿童智能音箱的爆火，进一步带动了智能语音技术向更多应用场景的扩散——但由于语音交互的方式过于单一，对用户来说缺乏直观感受，因此，被赋予“视觉识别能力”的智能故事机成为下一个被关注的市场。

“离开‘视觉’的人机交互方式是不完善的”，玩瞳科技VisionTalkCEO黄勇在接受笔者采访时表示，因此，围绕视觉交互在教育领域的应用，黄勇和团队通过连接智能交互终端＋书本＋学习行为，构建了一套“AI慧读交互系统”。

黄勇介绍，目前这套系统当前主要围绕儿童早期阅读展开，通过视觉故事机的形式陪伴、辅助儿童阅读。

例如，“当孩子打开书本，视觉交互终端就能自动识别并引导他进行自主阅读。如果遇到不懂的字句或知识点，只需轻点书本上的图文，视觉交互终端就能通过摄像头采集，通过AI算法将相关数据变为机器能够识别的指令传到云端，并对内容进行定位、提取和识别，实时解决孩子学习过程中遇到的问题”。

玩瞳科技致力于成为教育AI视觉领域的“安卓”，并已完成了从芯片原厂SDK集成、IDH标案到知名品牌客户的签约布局，通过为客户提供端＋云的整体解决方案，赋予其产品“AI慧读”的能力。

玩瞳科技成立于2015年下半年，并在成立之初获得英诺天使基金的融资；2017年4月再次东方富海Pre-A轮融资。

黄勇告诉笔者，团队一直专注于图像视觉技术在儿童及教育领域的落地，而相关的算法一旦走出实验室到具体的场景，真正的考验是工程化能力。有太多的细节需要去考虑，比如“一本童书或者教材在刚出版印刷完成时是干净整洁的，但是一到了实际使用中各种墨迹、皱褶、卷曲等干扰情况都会出现，这些都是需要解决和落地的最后一公里问题”，黄勇表示，这也是玩瞳科技在一直不断突破和累积的能力。

现阶段，团队独有的CLSR算法能够实现在40种教育场景光线环境下保持稳定、可靠的成像，并且基于前期数十万张图像的训练，达到了97%的识别率，能够有效解决遮挡、光线、污染或书页卷曲等干扰。

与此同时，团队还在不断增加图像训练库的覆盖面，并计划在2019年年中建成全球最大的少年儿童图书出版物的图像训练库。

据悉，基于玩瞳科技团队在工程化落地上的努力，这套“AI慧读交互系统”已得到了业内合作伙伴认同。如全志科技基于V3芯片、国科微基于7102系列芯片、君正基于T20系列选择采用了玩瞳的技术，推出了视觉故事机嵌入式解决方案。玩瞳科技的方案不仅能够在Android平台使用，还能够在低算力、高性价比的Linux平台上广泛使用。

小黄人陪伴机器人由咪咕公司与玩瞳科技等联合推出

玩瞳科技现有60人的规模，CEO黄勇具有多年ICT集成业务经营和2B类业务渠道建设经验，曾负责从零开始筹建覆盖中小企业的渠道体系，并在两年时间完成了200家快捷服务中心的建设。于近期加入团队的COO杨雪峰曾是一号公路资本的管理合伙人，并在早期投资了享物说、作文纸条、摩登世纪、小鹿森林等项目。在任全国前五教育培训集团卓越教育的首席投资官期间，还主导了一系列在教育科技领域的创业项目和VC基金的投资。

基于多年的行业从业经验，杨雪峰认为，“从纸质阅读到效率提升的数字化阅读辅助工具，再到强调效果的多模态交互下的AI Tutor，这是一个逐渐演进的过程，视觉技术会扮演非常重要的角色，特别在某种特定可控的学习场景下，能够产生有巨大价值的信息流，形成数据闭环，最终推动该场景下的学习体验和效果”。

另外，杨雪峰也希望玩瞳科技作为一家深圳的创业公司，在保证高质量交付的基础上发挥深圳华强北的cost-down精神，通过算法技术融合产业链，交付性价比极高的慧读学习产品，解决早期教育公平问题，特别是留守儿童早期阅读习惯的养成。“这是为什么我决定全职加入玩瞳的根本原因。教育的初心是为了减少教育资源分配上的不公平，而科技能够帮助我们更好地实现这一目的”，他表示。

火火兔的畅销带屏故事机I6S系列将采用Vision Talk的AI慧读系统

据黄勇透露，玩瞳科技目前已获得部分预售意向订单，并与国内知名教育电子产品优学派、早教机品牌火火兔对接明年销售计划，预计将在明年第一季度联合火火兔推出基于其“AI慧读交互系统”的故事机。