今日播报!基于卷积神经网络的人脸表情识别应用--AR川剧变脸（一）

2023-01-08 16:51:24 来源：博客园

1、摘要

本项目将在Android上实现一种通过识别表情类别，从而给人脸戴上不同样式脸谱的AR软件，效果如下：

通过深度学习和Keras训练一个人脸表情识别的卷积神经网络，然后使用TensorFlow Lite转换为tflite文件，部署到Android平台。

想要实现这样一个软件，核心就是两部分：1）使用卷积神经网络训练一个人脸表情识别模型，2）将训练好的模型移植到Android平台，同时在Android实现脸谱AR效果，并结合表情识别模型的识别结果，渲染不同的脸谱样式

(资料图)

本文讲第一部分，如何使用Keras训练一个人脸表情识别的卷积神经网络。

第二部分见：基于卷积神经网络的人脸表情识别应用--AR川剧变脸（二）

2、数据集处理

数据集我们使用FER2013PLUS人脸表情识别数据集，大概有35000张图片，每张图片是48*48分辨率的灰度图。

下图展示7个表情类别的数据集样本量，可以看出类别 angry、happy、sad、surprised、normal 这 5 种表情数量较多，而 disgust、fear这 2 种表情较少。

在实验中为了防止出现过拟合现象需要进行数据集扩充，提高模型的泛化能力。数据增强是指对输入的图像进行随机的图像处理，比如旋转、位移、光照强度、裁剪等，对于计算机而言，经过位移后的图像和原图像是两幅不同的图像，但具有相同的标签，从而扩充了已有的数据集。而通过使用大量不同的数据集来训练网络，进一步提高深度模型的泛化能力，使得网络即不过拟合也不欠拟合，达到最佳状态。

模型的实际使用常见是自由场景，自由场景中光照亮度的不同会影响模型的性能，添加随机光照，同时为了扩充数据集和对非正常角度人脸的识别增加随机旋转、随机聚焦和水平翻转。下图展示对一张 48*48 尺寸，表情为 happy 的灰度图进行随机亮度、随机旋转、随机聚焦和随机水平翻转的效果。可以看出，小型数据集借此技术可以实现数十倍的规模扩充，而数据集规模的提升可以提升网络的泛化能力和鲁棒性，提高网络在场景下的识别准确率。

在Keras中，我们需要使用数据加载器加载数据，最大化硬件利用率，幸运的是Keras已经提供了方法，我们直接使用即可：

def getDenerator(fer2013plus_path="datasets/fer2013plus", batch_size=32):    """我们传递数据集的位置和batch_size，然后函数返回用于训练和测试的数据加载器，用于训练时投喂数据    :param fer2013plus_path:fer2013plus数据集目录    :param batch_size:    :return:    """    train_datagen = ImageDataGenerator(    # 定义数据增强的方式        brightness_range=(0.7, 1.3),  # 随机亮度        featurewise_center=False,        featurewise_std_normalization=False,        rotation_range=10,  # 随机旋转        zoom_range=(0.7, 1.3),  # 聚焦        horizontal_flip=True)  # 水平翻转            train_generator = train_datagen.flow_from_directory(fer2013plus_path+"/train",  # 告诉Keras图片的位置                                                        target_size=(48, 48),# 将图片缩放到指定大小                                                        color_mode="grayscale",# 因为是灰度图                                                        batch_size=batch_size,# 一次性加载多少图片，越大训练越快，但是需要更多的显存                                                        class_mode="categorical")        test_datagen = ImageDataGenerator()  # 水平翻转    test_generator = test_datagen.flow_from_directory(fer2013plus_path+"/test",                                                      target_size=(48, 48),                                                      color_mode="grayscale",                                                      batch_size=batch_size,                                                      class_mode="categorical")    return train_generator,test_generator

3、模型设计

模型设计参考VGG网络，也就是Conv+Conv+Pool式的堆叠。

如下图是VGG的结构，可以看出就是Conv+Conv+Pool式的堆叠，最后使用全连接层，实现1000类别的分类。但是我们人脸表情识别数据集比较小，仅有3万多张图片，模型太大容易过拟合，所以以VGGNet为蓝本，设计一个比较小的模型，如下图所示，也是conv+conv+pool式，但是更小。

因为我们的表情是7中分类，所以输出的全连接层长度是7。

在Keras中定义模型结构其实而很简单，代码如下：

def getVXSlim():    model = Sequential()    # block1    model.add(Conv2D(64, (5, 5), input_shape=(48, 48, 1), activation="relu", padding="same"))    model.add(Conv2D(64, (5, 5), activation="relu", padding="same"))    model.add(BatchNormalization())    model.add(MaxPooling2D(pool_size=(2, 2)))    # block2    model.add(Conv2D(128, (5, 5), activation="relu", padding="same"))    model.add(Conv2D(128, (5, 5), activation="relu", padding="same"))    model.add(BatchNormalization())    model.add(MaxPooling2D(pool_size=(2, 2)))    # block3    model.add(Conv2D(256, (3, 3), activation="relu", padding="same"))    model.add(Conv2D(256, (3, 3), activation="relu", padding="same"))    model.add(BatchNormalization())    model.add(MaxPooling2D(pool_size=(2, 2)))    # single conv    model.add(Conv2D(64, (3, 3), padding="same"))    # classifier    model.add(Flatten())# 将多维的数据展成一列，可以理解为将图像展开成一列    model.add(Dense(7))# 堆叠一个全连接层，长度为7    model.add(BatchNormalization())    model.add(Dense(7))# 堆叠一个全连接层，长度为7    # config    model.add(Activation("softmax"))# 最后使用softmax激活函数，将输出转换为概率    model.compile(loss="categorical_crossentropy", metrics=["accuracy"], optimizer="adam")  # 定义优化器    return model

在上面的代码中使用了Conv2D、BatchNormalization、MaxPooling2D、Dense：

Conv2D：提取特征，将图像分解为多个特征的组合
BatchNormalization：将数据的分布变换为正态分布，再映射到其他分布，可以加快模型的训练速度
MaxPooling2D：可以缩减图像的尺寸
Dense：全连接层，用于综合所有特征进行判断类别

4、训练

其实到这里，最重要的数据加载和模型定义就写好了，就可以开始训练了。训练了100个轮次，然后开始训练。从图中可以看到，训练集精度和损失在 45epoch 左右进入缓慢优化阶段，在 70epoch左右趋于稳定。测试集精度和损失在 45epoch 左右趋于稳定，最终测试集精度达到 83%，损失低于 0.3，取得了较好的表情识别效果。

都说深度学习是黑盒，我们来看看训练出来的模型的可视化效果。在可视化中间输出部分，通过卷积网络的每层都会输出结果，通过将结果可视化可以看到输入图片在网络中的流动形式，在这里展示第 3 层的 max_pooling2d、第 4 层的conv2d_2 和第 8 层的 conv2d_4 的输出结果。在图中可以看出，在开始阶段实际上是各种边缘检测器的集合，在这一阶段，激活几乎保留了输入图像中所有的信息。在第二幅中，虽然仍有边缘检测的痕迹，但是此时更加像是对某些局部部位的特征检测，随着层数的加深，中间激活的结果变得越来越抽象，也更加难以直观地理解。在第三层中几乎无法和原图联系起来。所以抽象是卷积神经网络的一大能力，而这种能力也正是人类所拥有的。

我们将本文设计的模型和VGG9，以及mini_Xception进行对比：从图中可以看出，本文的VXSlim网络的验证集精度最高，达到了 83%，VGG9 达到了 82%，mini_Xception 最低，只有79%

那么本文的模型在7种表情类别上的效果如何？可以看到最好的是开心类别，正确率达到了91%！

我们把每一个类的正确识别率用曲线表示，可以看到本文设计的模型在7种类别上的正确率都是最高的，很nice！

5、效果展示

通过摄像头进行表情识别效果展示

代码资源：链接：https://pan.baidu.com/s/1Y0xWDmz_lg04PTiukoBVgQ?pwd=ozn5提取码：ozn5

关键词：神经网络可以看出水平翻转