AI在智能手机中的地位—移动的大脑？

智能手机已逐渐进入产品成熟期，手机厂商在硬件规格的竞争也越趋激烈，使得软件应用逐渐成为实现差异化的新途径，厂商除了将触角延伸至IoT领域之外，若能开发自家独特的AI软件应用，也有助于加强消费者黏着度。

例如，Apple近来强调转型软件与生态系厂商，Google也持续开发更多AI软件应用服务，并优先搭载于自家Pixel手机。 智能手机已进入产品成熟期，厂商积极强化AI应用 2019年全球智能手机生产数量呈现年衰退，主要是因为手机渗透率逐渐达到饱和且进入产品成熟期，虽仍有曲面屏、多镜头与屏下指纹等硬件创新，但并未明显提升消费者体验，故无法有效带动换机潮产生。 因此Apple已宣布积极转型为软件与生态系厂商，持续扩展「生态系服务」，推出iTunes Store、App Store、Apple Pay、Apple Music、iCloud、Apple News+（新闻订阅）、TV+（串流影音）、Apple Arcade（游戏订阅）与Apple Card（信用卡）等服务。 

Apple Music，source：Apple

在手机软件应用服务明显发力的还有Google，于2019年12月9日宣布推出全新策略「Feature Drop」，将藉由AI功能优化应用服务，以持续提升新旧款Pixel手机消费者使用体验，象是自动过滤骚扰电话、照片与视讯通话时背景虚化等，且这些更新不侷限于最新款Pixel手机，而将视硬件需求开放给不同机型使用。 观察现有手机厂商进展，归纳出以下几项目前较为主流的AI手机应用：

 (一) 图像识别

随着AI算法提升，相机功能变得更为强大，衍生出更多脸部识别应用，使得图像识别在目前AI手机应用中最为广泛。 

健康管理

Johnson & Johnson旗下Neutrogena于2020年初发布新版Neutrogena Skin360，借由AI算法的增强，达到不需外挂硬件即可检测黑眼圈、皱纹、细纹、光滑度与黑斑等。除了肤质检测外，借由与实时天气数据结合，提供8周个性化相关护肤方案，并提供Johnson & Johnson相关保养品建议，建构整个肤质管理生态圈。 目前搭载Kirin 990机型的华为Mate 30和荣耀V30也推出芯心兼容App，透过手机镜头捕捉心脏收缩和舒张引起的面部吸收光照差异之微弱信号，并利用AI技术估算出人体的心率和呼吸率等数据。 整体来说，智能手机受惠于AI相机算法改善，因而有机会打入健康管理市场，改变过去须配合智能手环和智能手表等其他穿戴装置才能使用的模式。若未来手机能提供更精准的检测结果，再配合大数据分析提供进阶健康照护建议，将可进一步扩展商机。 

视讯强化与拍照

Google推出「语义图像分割(Semantic Image Segmentation)」技术，将语义标签（如道路、天空、人与狗等）分配给输入图像的每个画素，更精确定位物体轮廓，并开源其语义图像分割模型DeepLab-v3+。 随着语义图像分割发展持续进步，Google也推出旧照片和视讯通话皆可背景虚化的功能，以做出景深效果，让视讯通话时人像更清晰。此外，荣耀V30手机已实装AI视频全景替换功能，在视讯通话时可以随时替换背景且背景可动。而Qualcomm也于Qualcomm Snapdragon Summit 2019年展示视讯通话时将头像卡通化的功能，增添个人特色。 此外，Google充分运用Pixel 4前镜头广角功能，搭配AI算法加强人脸识别，因此视讯通话时不论人物如何移动，人脸将永远置于荧幕中央，或当视讯同时存在两个人时，可确保同时入镜。 在拍照功能上，CIS芯片大厂Sony主打实时人眼对焦(Eye AF)，强调双眼是构成一幅绝佳肖像不可或缺的元素，且此实时眼部侦测自动对焦功能已拓展到动物世界，可自动侦测并追踪动物双眼，而人眼追焦功能目前已在vivo X30 Pro上实装，预期有机会获得更多手机品牌采用。 

隔空操作

2019年陆续有3支智能手机以隔空手势操作为主要卖点：LG G8 ThinQ手势操作名为「Air Motion」，借由前镜头搭载ToF镜头，实现更精准脸部识别与手势识别操作功能，例如想要截图可透过在屏幕幕前做出五指并拢和抓取动作；若在手机屏幕前左右挥舞，可呼叫音乐和简讯等功能；若要调节音量则进行扭转旋钮动作。 华为Mate 30 Pro同样以前镜头搭载ToF镜头，操作时只要在前镜头前方张开手掌，接着做出捏合姿势就可屏幕截图，上下挥动手掌就能滑动页面。

▲Google Pixel 4手势功能「Motion Sense」，source：Google

Google Pixel 4手势功能则称作「Motion Sense」，采用Project Soli技术（运用微型雷达监测空中手势动作的感测技术），在Pixel 4前置镜头模块中搭载1块雷达芯片，其会先发射电磁波，波束会在用户产生动作后反射回手机的传感器，再根据波束变化侦测用户双手动作，从而实现手势操作。 此外，Samsung旗下C-Lab也于CES 2020展示隔空打字新技术SelfieType，不同于前几年的雷射键盘需另外搭载投影红外线的硬件，三星仅透过手机前置镜头和AI人工智能追踪用户双手，即可在桌面上出现隐形键盘。 不过，整体来说手势操作现阶段仍以手机厂商展示自身技术为主，实际上的应用有限，某些功能在设定或操作上也略为复杂，使得手势操作目前仍不普及。 

智能防偷窥

华为Mate 30 Pro推出防偷窥功能，借由前镜头支援3D人脸识别，可保护使用者隐私。当前镜头识别有其他人出现在侦测范围内，此时屏幕的讯息和行事历等将自动上锁，主要仍是借由前镜头与AI搭配人脸识别完成隐私保护。 

(二)实时语音识别与自然语言处理

语音识别和自然语言处理的最新AI应用，主要为实时语音转字幕与实时翻译，随着AI运算功能加强，可实时在终端装置完成，不需将信息先传到云端再回传终端装置。 语音转字幕与翻译虽然实务上早就能做到，但过往受限于AI运算能力不足，需先回传云端处理后再传给终端装置。例如Google云端硬盘早已提供语音转字幕功能，但需先登入，再播放音档让Google云端进行处理，也就是需要透过Google强大的云计算能力才得以完成，不仅需使用网络流量造成不便，且容易造成隐私困扰。

Google Pixel 4 Live Caption功能，source：Google

不过，Google Pixel 4已率先实装Live Caption功能（目前仅支援英文语音转英文字幕），强调实时语音转字幕不需使用任何连网数据，所有音频和字幕都在终端装置处理，也不会储存或发送给Google；小米集团旗下的Redmi K30 5G版也实装中文语音转中文字幕功能。实时翻译功能方面，Qualcomm在Qualcomm Snapdragon Summit 2019中，已展示如何只透过手机、不需经过云端回传即可完成实时翻译（离线亦能实时翻译）。 整体来说，不用透过云端就可达成实时语音转字幕与实时翻译，主要因手机芯片的AI运算能力加强，例如Google的Live Caption功能刚推出时仅能于Pixel 4使用，目前也仅下放至Pixel 3机型，而Qualcomm展示Snapdragon 865实时翻译功能，主要也是为了强调其AI运算能力的强大。实时语音转字幕与实时翻译由于不用透过云端，可降低延迟、减少频宽需求并提高App使用方便性，同时安全性也更高，避免隐私外流风险。

(三)  其他应用

Google Pixel 4也藉由Google Assistant进行语音识别以自动过滤骚扰电话(Call Screen)，过程中不需使用任何网络流量，但会计入电话费（此功能目前只支援英文，限美加地区使用。）若是未知电话，Google Assistant可以在电话响起前就自动屏蔽；若是一般电话，则透过Google Assistant接听并询问来电者身分和来电原因，只要判定是语音自动电话或骚扰电话，就会挂断；若判定不是，手机就会响铃并显示来电者的回覆。 此功能也会根据手机的联络人决定是否过滤来电，若不想过滤特定号码，就要将号码储存为联络人。手机还可根据Google骚扰电话数据库中的号码侦测语音自动电话和骚扰电话，因此在初次设定时仍需网络连线，设定完毕才可关闭连线。  AI应用将持续带动手机硬件提升 总结来看，近期市场出现越来越多前镜头结合AI的应用，尤以提供手势或脸部识别为主的机型，基本上都需搭ToF感测模块或雷达以提供更好识别能力。

此外，Google提供视讯人脸置中和同时2人入镜功能，也都依赖前镜头广角功能，一般主摄镜头在视野受限下无法足够取景。预期未来前镜头的规格会持续升级，象是画素提升或引入微距镜头等，以实现更多AI应用。 不过，AI运用最主要还是仰赖处理器的AI运算能力，随着AI引擎持续改善，可以改善原本需回传云端处理再传回终端装置的状况，终端装置于离线时即可提供许多AI运用，不仅降低延迟也减少频宽需求，使App在应用上更方便，更不须使用网络或依赖云资源，进而提高安全性。