浅谈人工智能在手机中的应用

这两年人工智能一直非常的火，已经上市的公司寒武纪、科大讯飞，快要上市的云从、旷视，正在排队上市的思必驰，准备赴港上市的商汤，以及这两年在资本市场上非常火的地平线、燧原、爱芯元智都在人工智能领域中勇闯自己的市场。

人工智能是做什么的呢？其实目前人工智能主要还是以机器视觉为主。之前的机器视觉主要是做一些人脸识别、虹膜识别、车辆检测等功能，那事实上，这些功能都可以简单的分成以下几个方向：

1.     图像分类：Image Classification

2.     目标检测：Object Detection

3.     语义分割：Semantic Segmentation

4.     实例分割：Instance Segmentation

5.     目标跟踪：Object Tracking

   
   

一、图像分类

图像分类主要是将图像中的物体类别判断出来。一般来讲，图像分类不需要给出物体所在位置，也不需要判断所含物体的数量。如下面几张BigGAN自动生成的图像，图像分类只需要告知是狗，山水，蝴蝶和面包即可。

二、目标检测

若需要精确定位出某一物体所在的位置，则需要用目标检测算法。通过目标检测，可以准确的从下图中，找到猫脸的位置。

三、语义分割

语义分割主要是对图像中所有像素点进行分类，并将同类别的像素点打上相同的标签。下图中左图将人进行了分割。右图则是将街景进行分割，对图像中的车，灯杆，树木等分别采用了不同颜色进行进行标注。

四、实例分割

语义分割会为图像中的每个像素分配一个类别，但是同一类别之间的对象不会区分。而实例分割，只对特定的物体进行分类。这看起来与目标检测相似，不同的是目标检测输出目标的边界框和类别，实例分割输出的是目标的Mask和类别。

五、目标跟踪

目标跟踪，是指在特定场景跟踪某一个或多个特定感兴趣对象的过程。

这个过程基本分三步：找到目标物体，对目标物体进行实例分割，在后续帧中找到目标物体，实现相应的目标跟踪。

这个具体过程，从下图中博尔特参加男子百米短跑的例子，就很容易理解。

那既然人工智能，能做这么多事，人工智能在手机上都能有哪些应用呢？

人脸识别

自从2017年，iPhone X支持人脸识别后，人脸识别技术在手机上开始蓬勃发展。本文不在这讨论人脸识别的安全性，也不在这讨论Apple采用的结构光技术，仅仅是说明一下人脸识别基本是什么样的一个识别流程：

    A. 传感器先将图像给到处理单元

    B. 先通过目标检测，找到脸

    C. 进行人脸对齐，找到五官位置

    D. 人脸校准和相速度度量，做判断和决策

相册分类

这个基本就是通过图像分类，就可以实现的。对用户有一定帮助，但是目测作用并不大。

语音唤醒，AI 音频降噪，语音识别

小米的小爱同学，Apple的Siri 都是这方面的楷模，很受用户的欢迎。 本文主要偏视觉方面，语音相关的就不多介绍了。

图像分割

这个双摄是能做到一定的效果，但若通过人工智能的图像分割，可以将需要目标物体更完美的与周边物体分割出来。

通过图像分割，可以实现背景虚化，更换背景等功能。

美颜+虚拟化妆

这个基本是在人脸识别基础上，增加的功能。通过目标检测定位，找到人脸的关键点，再在这些关键点上，进行美颜或虚拟化妆。

文字OCR

文字OCR 较早的应用就是名片识别。不过现在这个功能越来越广泛，比如对笔记进行文字OCR，对pdf文件OCR之类的。这两年，人工智能对OCR的关注非常大，相关的算法也进行了非常大的演进，相关的识别准确率也是越来越高。

除了上述几种人工智能的应用外，这两年也陆续开始其他方向的应用

AI HDR

宽动态最主要是为了解决拍照中，同时有亮度过高和亮度过低的部分，通过HDR技术，使得整体亮度均衡。最简单的场景就是黑人和白人同时拍照。

若整体亮度拉高，黑人清楚，但白人就过曝了；但若整体亮度拉低，白人清楚，黑人则看不清了。

通过AI HDR，可以做到比传统HDR 更好的效果，并且有机会通过一些算法，对运动物体进行保护，避免因为HDR的多帧合成，运动物体产生拖影问题

（上图来自华为P30宣传样张）

AI视频降噪

摄像头Senor的感光器件包含模拟部分，所以信号中的噪声很难避免，ADC器件本身也会引入噪声。当光线较暗时，为了调高亮度，整个系统需要将信号放大，这样噪声也跟着放大。传统的降噪主要是WNR（小波降噪）和3DNR。而通过训练，在降噪前，将整个画面进行分割，根据物体特性做专门的降噪，效果会比传统3DNR效果要好。

AI SR（Super Resolution）

超分辨率技术（Super-Resolution, SR）是指从观测到的低分辨率图像重建出相应的高分辨率图像。此技术可以帮助一些模糊的图像，输出清晰的影像。

下图左边是原图，右边是x4的SR 效果

从下图可以看出，各家针对SR也开发出了各种算法， 有好有坏。相信SR算法很快就会有非常优的解法。

AI Depth

AI Depth主要作用就是测量出拍摄物体的高度，长度，以及到摄像头的距离。

这个功能实现后，除了最直接的作用：为物体测距测长度外，还可以帮助用户做出更准确的物体分割，从而实现更好的拍照虚化，换背景等功能。

不过此功能若想准确，跟传统Depth测法一样，还是需要双camera加持。

可以看出来，随着人们的研究，算法也层出不穷，这些都对主控SoC 提出了更高的考验。高通最新SoC SM8450和联发科天玑2000 都是基于 v9 架构半定制，1个X2 超大核 + 3个A710 大核 + 4个A510 小核的8核配置，4nm工艺。在此同时，高通和联发科也不忘升级NPU性能增加算力。

当然我们也看到最终客户，一方面担心高通，联发科的NPU算力不够，或者担心芯片发热问题，OPPO，VIVO，小米等纷纷自研，或和第三方联合开发PreISP，从而增加算力，实现一些自由算法。相信我们很快很看到自己的智能手机拥有越来越多的智能化应用。