|
表情捕捉一般用什么evaluation：
- 部分论文没有定量指标，只放效果图
- 基于 landmark 的方法，可以计算预测的landmark 和 landmark label 之间的偏差，如RMSE（Production-Level Facial Performance Capture Using Deep Convolutional Neural Networks）
- 不基于 landmark 的方法，如ExpNet采用的方法是，先估计表情参数，在这个任务下游接一个情绪分类任务，假设“更好的表情估计意味着更好的情绪分类”，用下游任务的准确率去判断孰优孰劣（下游模型只用了k=5的KNN）。
类比一下图像质量评价：
- 有参考：一般用PSNR，SSIM 这类，PSNR是逐像素计算距离，SSIM则是综合考虑了三个方面。
- 半参考。
- 无参考。
不存在一枝独秀的量化指标，每个指标都只能从某一方面去评判，就像观察事物的其中一个角度。根据之前的研究经验，模型参数量和量化指标之间没有非常必然的联系（否则轻量化模型结构和模型压缩蒸馏剪枝就没有做的余地了），事实上很多模型的参数量是带有冗余的。只有在类似的模型架构下，如EfficientNet系列，是参数量越大效果越好。另外，模型参数量和性能之间有个边际效应递减的问题。
下面贴点无参考图像质量评估的东西：
https://blog.csdn.net/qq26983255/article/details/103129407
https://blog.csdn.net/Du_Shuang/article/details/83591251
https://blog.csdn.net/qq26983255/article/details/100674659
图像模糊度的评价
1.基于边缘分析的方法
1.1 一般来说, 图像模糊会造成边缘展宽, 因此有很多模糊估计算法以分析边缘的宽度为基础.
1.2 为排除噪声和某些孤立点的影响, 许多算法对边缘进行了数据拟合和阈值处理。
1.3 根据阶跃边缘估计线扩散函数和点扩散函数, 以点扩散函数的半径作为图像模糊度的度量。
缺点：基于边缘分析进行模糊度评价方法的优点是概念直观、计算相对简便, 后续的方法考虑了人眼视觉的特点; 其缺点是对图像内容有一定的依赖性, 当原始图像中缺少锐利边缘时会导致估计不准确.
2.基于变换域的方法
考虑到各种变换域对图像特征表示的有效性,以及图像模糊在频率域具有一定的表现形式 (比如高频信号衰减), 有许多方法在不同的数据变换域, 如离散余弦变换 (Discrete cosine transform,DCT)、离散小波变换 (Discretewavelet transform,DWT) 进行模糊评价, 有些算法综合利用空间域和变换域信息.
优点：基于变换域的模糊度评价方法综合了图像的频域特性和多尺度特征, 有些方法同时利用了空间信息, 与单一利用边缘信息相比, 对模糊度的估计具有较好的准确性和鲁棒性。
3.基于像素统计信息的方法
有些模糊度评价算法虽然在空间域进行估计,但不进行局部边缘展宽分析, 而是依赖于图像像素的一些统计信息及其相对变化。
比如图像模糊时相邻灰度差异的方差会变小, 通过全图抽样和分块计算差异方差后, 根据它们是否满足一定阈值条件，及相互之间的关系。将图像的模糊程度分为整体锐利、平均质量、整体模糊等三类。
优缺点：基于像素的模糊度评价方法的优点是利用了图像的统计信息, 鲁棒性好; 缺点是忽略了像素的位置信息, 图像中的噪声 (尤其是脉冲噪声) 会形成较强的梯度值, 从而对估计造成较大的影响.
传统的无参考图像质量评价方法，如Brenner 梯度函数、Tenengrad 梯度函数、Laplacian 梯度函数以及图像信息熵函数等，在一定程度上可以判断出图像清晰度的层次，但是对于不同类型或者场景的图像可能会出现重大失误。但是对于同一张图片进行了不同级别的distortion，还是能够分辨出来的。因此在特定场景下，例如图像的对焦，还是有一定的应用场景。
BRISQUE：No-Reference Image Quality Assessment in the Spatial Domain
BRISQUE，根据其全称可知，它是在空间域内的这一种无参考图像质量评估算法。该算法将一张图像（各种失真和程度）表示成一个由人工设计的特征向量，然后使用支持向量机SVM进行分类。特征向量的长度为36，每张图片需要经过两次提取，每次提取18个特征元素，第二次提取在原图的基础上进行缩放0.5倍。其提取特征向量的方法大致经过， 从图像中提取mean subtracted contrast normalized (MSCN) coefficients，亮度去均值对比度归一化系数，将MSCN系数拟合成asymmetric generalized Gaussian distribution(AGGD)非对称性广义高斯分布。
RankIQA：Learning from Rankings for No-reference Image Quality Assessment
siamese(孪生) 网络以及迁移学习的应用
DIQA：Deep CNN-Based Blind Image Quality Predictor
由于人工打分的数据集数量太小，该方法同rankIQA一样，也是经历过两个阶段的训练。第一阶段只需要确定一对图片的相关信息是不同程度的失真即可。并且训练的数据需要图像归一化。该归一化可以理解成高频信息的提取。并且通过深度学习来提取失真图像的高频信息丢失部分。通过这种思想的原因在于，1：图像的失真对其低频信息影响不大，2：人眼视觉系统对图像的低频信息的改变不太敏感。所以整个深度学习的训练过程参与数据不是原图像，而是图像提取的高频信息。图像的高频信息可以通过使用边缘检测算子对边缘信息提取的方法，也可以使用原图减去原图的高斯模糊图（图像进行高斯模糊后，丢失了高频信息）的间接方法。
|