文章目录
表情和微表情的关系（Q1）、人脸表情识别和三维人脸识别的关系（Q2）
part1三维人脸表情识别
1《人脸表情识别综述》
摘要：
人脸表情特征提取成为人脸表情识别的重要研究课题。主要针对人脸表情特征提取和表情分类方法进行了归纳， 详细介绍了这两方面的主要算法及改进，并分析比较了各种算法的优势与不足，给出了人脸表情识别方面仍然存在的挑战及不足。
1、引言
定义了人类的6种基本表情： 高兴 （Happy） 、 生气 （Angry） 、 吃惊 （Surprise ） 、恐惧 （Fear） 、 厌恶 （Disgust） 和悲伤 （Sad）
2 人脸表情识别的一般步骤
2.1 图片采集
根据图像来源可以分为静态图像与动态图像，在人脸表情识别中一般采集正面的单人面部的图片， 人脸表情识别实验中常采用专业人脸表情图像库， 如： JAFFE、 CK/CK +、 MMI、 Yale、AR、 BU-3DFE、 清华大学人脸表情视频数据库、 BHU人脸表情数据库、 CAS-PEAL 人脸数据库。
2.2 图片预处理
图片预处理主要分为两个方面： 除去原图的复杂背景、 图像归一化，人脸检测技术的发展为人脸表情识别中如何除去原图的复杂背景提供了很好的解决方案。
1基于人脸恒定特征的方法， 通过阈值在 HSV 色彩空间中对人体肤色区域进行肤色分割， 并采用相对重要性滤波及自适应区域归并， 最终将人脸从复杂背景中提取出来。2基于知识的快速人脸检测方法——广义几何投影方法， 通过符合人脸生理结构特征的人脸镶嵌图模型， 针对人脸图像的灰度和边缘信息进行多级检测步骤， 从而提取出人脸的区域。3基于模板匹配的人脸检测方法， 通过人脸肤色混合高斯模型对人脸进行分割， 并利用自适应模板匹配及二次匹配算法来减少类肤色背景的影响， 从而实现过滤掉复杂背景的效果。4基于统计方式的马尔科夫模型的人脸识别， 建立马尔科夫模型并通过采样窗对人脸图像进行采样及离散余弦变换， 提取变换后的系数作为观察向量， 最后进行训练便得到一个人的HMM。以上四种类型的人脸检测的方法可以实现除去原图复杂背景的目的。
由于图像采集的方式不同， 所产生的图片格式及大小有所差异， 为了图片在利用过程中的方便性， 通常需要对原始图片进行归一化处理。1几何归一化也称为位置校准， 其思想是利用图像的不变矩寻找一组不变量参数使其能够避免其他的变换函数对图像变换的影响。它将有助于矫正由于成像距离或人脸姿势变化所造成的尺寸差异和角度倾斜， 并以此解决人脸尺度变化和人脸旋转问题。具体包括人脸尺度归一化、 平面人脸旋转矫正 （歪头） 、 深度人脸旋转矫正 （扭脸） 三个环节。实现几何归一化后还可以通过拟合平面法、 自商图法、Tan提出的算法等方法来解决由于光照不均造成的灰度差异大的问题， 即2灰度归一化。经过多个步骤的配合最终完成原始图片的归一化处理。
2.3 人脸表情特征提取
经典的特征提取算法所该具备的几个条件：（1） 将人脸表情的最本质特征完整地表示出来（2） 将与表情无关的干扰信息如光照、 背景及噪声去除掉（3） 将图像维数降低， 选取合适的数据结构， 减小存储量（4） 将不同类别的表情特征进行较好的区分。
符合上述条件的特征提取算法， 往往分为三个步骤进行实现：首先是原始特征的生成、特征降维和提取、 特征分解。 以达到降低维数， 去除噪声干扰， 得到对分类更为有利的特征数据。
2.3.1 主成分分析法 （PCA）
2.3.2 局部二值模式 （LBP）
2.3.3 其他提取算法
根据提取对象的不同， 特征提取主要分为基于运动和基于形变两类。
前者用于动态图片， 一类是基于帧内特征的方法， 另一类为基于序列特征的方法。
后者由形状跟纹理的不同出发点又分为基于模型和基于图像两种。
动态图片：光流法、特征点追踪法。
静态图片：1基于模型： 主动轮廓法 （Snake ）、ASM、AAM。2基于图像： Gabor、弹性图匹配法、Fisher判别、自动提取基准点。
2.4 人脸表情分类
人脸表情分类包括表情识别与表情描述， 表情识别是对面部信息的编码； 表情描述分为情感映射与基本情感。其最终目的是判断提取的特征所对应的表情类别。
2.4.1 BP神经网络
2.4.2 k-最近邻学习法
2.4.3 其他分类算法
所提及到的算法根据分类器选择和设计是否利用时间条件分为时空域与空域两类。
时空域：隐马尔科夫模型算法 （HMM）
空域：支持向量机方法（SVM）、相关向量机（RVM）、AdaBoost算法、Fisher线性判别分析 （FDA）
3 人脸表情识别的进一步挑战
（1） 由于每个人的差异性， 人脸外貌、 表情、 肤色等都有可能不同， 具有模式的可变性。
（2） 各种算法往往需要将人脸上存在的人为表情作为前景提出之后才能发挥作用。
（3） 即使手工提取出人脸作为前景， 但是人脸上依然可能存在的眼睛、 胡须等附属物的影响无法排除， 鲁棒性差。
（4） 存在于三维现实生活空间中的人脸往往会受到光照而产生灰度变化。
2《Systematic review of 3D facial expression recognition methods》
3《基于神经网络的三维人脸表情识别》
摘要：
目前研究者已经对基于二维图像的人脸表情进行了大量的研究，但是由于人脸图像在采集过程中受到光照、姿态、表情、遮挡物等环境因素影响较大，因而人脸表情识别技术的识别率仍然有待提高。三维数据采集设备的出现与快速发展，推动着研究者对三维数据研究的快速发展。基于三维数据的人脸表情识别可以极大地克服在获取二维人脸图像时的人脸姿态、光照变化等方面的问题。
本文主要工作：
首先对三维人脸数据进行预处理，对数据进行三维栅格化，生成有序的三维人脸点云数据，为提取人脸表情深度图做准备。
其次在特征提取阶段，直接通过深度信息获取三维人脸关键点信息。利用三维人脸关键点信息将三维人脸点云数据进行归一化和中心化，将具有表情变化的三维人脸点云减去中性脸成分获得三维人脸差分成分。进而生成人脸表情深度差分图，并将其作为三维人脸表情特征。
最后在人脸表情特征学习和分类阶段，设计自己的卷积神经网络模型，利用Bosphorus人脸数据库做测试。
1 绪论
1.1研究背景和意义
人脸表情合成与分析是心理学、计算机视觉和计算机图形学领域内一个重要的研究课题。计算机生成面部动画和表情识别在许多领域的应用日益剧增，如在语言学、娱乐、法医、安防和人机交互等方面。人工选取的特征向量受到光照、形变、角度等外界因素变化的影响较大，抗干扰性较低。在三维人脸表情识别中应用卷积神经网络，也是对深度学习的推广。
1.2 三维人脸数据库
针对不同存储形式的三维人脸数据（人脸的深度数据、面部轮廓线数据、点与点之间的连接关系、曲面点的三维坐标等），在进行识别算法设计的时候要考虑其不同。CHANG BU-3DFE BU-4DFE ICT-3DRFE Bosphorus
1.3 三维人脸表情识别的发展现状
心理学领域，基于人类的6种原型表情开发了一套面部动作编码系统（FACS）来检测面部的细微变化，将面部分割为46个运动单元。
计算机方面，基于图像的人脸表情识别，用光流估计法追踪人脸面部的表情运动单元，同样适用于三维识别中 。
三维人脸表情识别流程：三维人脸数据获取、数据预处理、特征提取、特征分类。目前的研究重点为特征提取阶段，特征提取方法大致可分为三类：静态三维人脸表情识别、基于形状模型的三维人脸表情识别和动态三维人脸表情识别。
1.3.1 静态三维人脸表情识别
Q&A
1、如何生成有序的三维人脸点云数据？
2、什么是人脸表情深度图？
3、如何生成人脸表情深度差分图？
4、什么是人脸模型的顶点、特征点、AU信息？
4《基于自动提取特征点的三维人脸表情识别》
摘要：
提出一种基于自动提取三维及二维特征点（Q1）的三维人脸表情识别算法．该算法采用在三维点云、深度图像以及三维点云对应的二维特征图像上分别自动获得特定特征点，并将非点云上获得的特征点映射回三维点云以获得全部需用特征点的方法． 基于这些自动获取的特征点(Q2)得到三维欧氏距离组成25 维特征向量以待分类， 通过运用支持向量机作为分类器(Q3)。
引言：
本文提出了基于自动提取人脸特征点的表情分类识别算法， 其中 12 个特征点从三维点云及其对应的深度图像上自动获得;由于数据库点云分辨率和特征提取难度等原因， 另外 8 个特征点由数据库中对应于点云的二维特征图像获得并映射回三维点云．
1 特征点自动提取
算法流程：先获取三维人脸点云、深度图像，及其对应的二维特征图像->自动定位20个三维特征点->选取特征点间25个欧氏距离作为特征向量->使用SVM分类六种表情。
1.1 三维特征点的提取
通过一个连续的过程来获得三维点云上的12 个特征点。
鼻尖点、鼻翼端点、内眼角点及外眼角点、上下嘴唇中点及下巴点、嘴角点
1.2 二维特征图像上特征点的提取
左右眼上下眼皮中心点、左右眉毛内外边界点
2 特征向量
由上一节自动获取的 20 个特征点， 选取 25 个点与点之间的三维欧氏距离组成 25 维向量作为特征。之所以选择距离向量作为特征， 是因其具有FACS （人脸运动单元编码系统(facial action unit coding system，FACS)）的类似特性。
3 实验结果及对比
4 结论
part2三维人脸表情获取及3D重建
1《三维人脸表情获取及重建技术综述》
摘要：
将现有的研究工作分为两大类：一是基于可控环境的三维人脸获取及重建技术；二是基于非可控环境的三维人脸获取及重建技术。
从照片或视频中重建人脸面部表情， 由于深度信息缺失、 拍摄设备参数和拍摄环境未知， 是目前极具挑战的研究难点。
1 三维人脸表情获取及重建技术分类
2 基于可控环境的三维人脸表情获取与重建技术
2.1 基 于 标 志 点 的 人 脸 表 情 捕 捉 系 统
2.2 基于多视点立体技术(Multi-View Stereo) 的人脸表情获取与重建
2.3 基 于 结 构 光 系 统 (Structured Light System) 的人脸表情获取与重建
2.4 基于 Light Stage 系统的人脸表情获取与重建
3 基于非可控环境的三维人脸表情重建技术
3.1 基础技术概述
3.2 基于 RGB-D 相机的三维人脸表情重建
3.3 基于双目相机的三维人脸表情重建
3.4 基于单张图像或图像集的三维人脸表情重建
3.5 基于单目视频的三维人脸表情重建
4 存在的问题及发展趋势
目前待解决的问题：
