性别/年龄AI看手就知道

随着深度学习的技术发展，越来越多的深度学习应用也进入到我们的世界。 其中最为普遍的就是人脸识别，包括微软也推出了Cognitive Face API，可以透过人脸来识别身分，甚至可以用来判断性别与年龄。

各位以为用人脸识别性别年龄就很厉害了吗？ 这篇文章要来让各位瞧瞧深度学习的黑科技可以黑到甚么程度。 只要透过手的照片，就能够知道性别与年龄，透过卷积神经网络就能做到这么神奇的效果。

本文将从数据到模型，透过微软的深度学习框架CNTK以及脸书的深度学习框架Pytorch，来实作根据手的照片来判断人的性别与年龄。 以下解说部分张贴的皆为CNTK代码，并附上两个框架代码。

首先关于使用的数据来自Google，他提供了一组数据包含了11,000张手部的照片(图1)，同时包含手的主人的性别年龄与种族。 我们将会撷取里面的性别(类别)与年龄(连续)数据来作为输出变量，手部图片作为输入特征。

图1 Google提供了一组数据包含了11,000张手部的照片。

由于下载后还要自己整理图片有些许麻烦，因此我也已做好图片的懒人包，将图片数据向量化，以及比对好卷标档的结果，并以Pickle文件格式储存。

图2为解析完的结果，列表内的每个项目也是一个子列表，里面分别包含两个Ndarray，第一个是形状3×64×64的向量代表图档。 请注意，CNTK与Pytorch都是CHW格式：信道×高×宽。 另一个则是形状为3的向量，里面三个数值分别为id(数值相同代表是同一个人的不同角度的手)、年龄(介于0~100)以及性别(0是表示女性，1是表示男性)。

图2 Google手部图片分析后的结果

CNTK与Pytorch的图片格式要求是一样的，在各家深度学习框架中，仅有Tensorflow的排列顺序相反。 向量维度的排列是CHW(信道×高×宽)，颜色的排列顺序是BGR(蓝绿红)，也就都是依照字母顺序排列。

关于图片与向量的转换方法如下：

def img2array(img: Image):

arr=np.array(img).astype(np.float32)

arr=arr.transpose(2, 0, 1)#转成CHW

arr=arr[::-1] #颜色排序为BGR

return np.ascontiguousarray(arr)

def array2img(arr: np.ndarray):

sanitized_img=arr[::-1]#转成RGB

sanitized_img=np.maximum(0, np.minimum(255, np.transpose(arr, (1, 2, 0))))#转成HWC

img=Image.fromarray(sanitized_img.astype(np.uint8))

return img

为了供给建模使用的数据读取器，同时也因为我想要毕其功于一役，让两种框架都可以一次适用，所以我写了一个通用的读取器来供应每个Minibatch所需要的数据。 其中读取图片时，我将图片向量除以255，而且读取年龄时，我将数值除以100，都是为了确保数据可以介于0~1之间，以方便收敛。 在这个范例中因为篇幅关系暂时不放数据增强(Data Augmentation)。 利用函数，每次调用都可以回传图片以及所需要卷标。 此外，要注意的是打乱图片顺序这个步骤很重要，Google的数据是有按照性别排序的。

在这里要示范的卷积神经网络骨干网络用的是我最近很推崇的一篇文章所介绍的新架构「DenseNet」，原始论文出处为「Densely Connected Convolutional Networks」。

传统的卷积网络都是线性的，但当层数越多时，就有可能发生梯度弥散的问题，造成模型无法收敛。 正因如此，微软亚洲院2015年发展出的残差神经网络(ResNet)就使用了跳转连接(Skip Connection)，以有效的将梯度挹注到后面神经层，这样模型就可以做出超深的架构，也不用担心难以收敛。

微软2015年就以152层的ResNet获得了当年的imageNet冠军。 但是深度学习在训练的过程中，当卷积神经网络将梯度传送到后层的时候，都会发生特征被随机遗失，这样这个特征就再也传不下去而无用了。 为了解决这个问题，DenseNet的基本概念就是，每一层的特征都会传送到后面的「每」一层，这样就可以有效的确保讯号不被丢失。

图3 ResNet架构

DenseNet的基本结构称之为稠密单元(Dense Block)，它有几个重要的超参数：

·k：稠密单元层数

·n_channel_start：初始信道数

·glowth_rate：信道成长数

以图4为例，假设下图是一个k=4(向下传递4次，所以共5层)，初始信道数32，成长数为16的Dense Block，分别计算每一层的输入信道数(从前面传进来)：

图4 5层架构的Dense Block

X1：32+16(来自于X0)=48

X2：48+16(来自于X1)=64

X3：64+16(来自于X0)+16(来自于X1)=96

X4：96+16(来自于X0)+16(来自于X1)+16(来自于X2)=144

Growth Rate有就是每次会传递多少信道到后面的层数，以上面说明案例固定数值为16，但该卷积层的信道数比这数字更大，因此等于是强迫每个卷积层要做一次特征选取，将特征精选之后传至后方。 这种「Save the Best for Last」的精神，可以高度保全有效特征，以强化模型的收敛。 DenseNet就是利用多个DenseBlock构成的网络(图5)。

另外，CNTK与Pytorch都没有默认的DenseNet，所以笔者用自定义网络的方式实作了两个框架下的DenseNet。 在该实作中，由于图片只有64×64，经不起太多次图片缩小，因此使用了5层k=4的Dense Block。 同时，笔者也测试过3层，收敛速度快，但是结果测试集落差很大，显著过拟合。 由于想要同时预测性别与年龄，CNTK一个很神奇的特性就是可以在一个主要骨架下，同时接两个输出，只需要使用Combine函数，就可以将两个输出合并。 未来更只要做一次预测，就能产出两个预测结果，而且训练时也只要训练一次，而且骨干部分特征选取流程不需要做两次，是不是很方便呢。 但如果你是使用其他框架就只好做两个模型了。

预测性别部分，使用的是长度为2的向量，最后一层全连接层活化函数使用Softmax已进行分类。 预测年龄部分，由于读取数据时已经将年龄除以100，因此年龄分布为0~1之间的常态分布，因此使用Sigmoid函数效果较好。

最后的训练过程可以透过另一个函数来控制。 首先宣告输入变量以及两个输出变量(性别与年龄)，然后宣告模型、损失函数以及正确率指针。 优化器使用的是Adam，然后每50个Minibatch就用测试集测试一次。

笔者使用gtx-1080(minibatch size=64)跑完第3个epoch的结果如图6，可以看出年龄误差只有1.8%，性别目前仍有20.31%的错误率，看来手真的藏不住年龄啊！ 这个模型若是希望提升其泛化效果，应该要在输入数据加入数据增强。

图6 使用gtx-1080(minibatch size=64)跑完第3个epoch的结果