根据一张正脸照片,用软件程序生成其他表情的技术难度大么

1. 获取脸部五官和轮廓特征点推荐一个开源软件Active Shape Models with Stasm(我没研究过它的协议)原始照片:根据一张正脸照片,用软件程序生成其他表情的技术难度大么
【根据一张正脸照片,用软件程序生成其他表情的技术难度大么】
识别出的脸部特征点集(仔细看那些小点):根据一张正脸照片,用软件程序生成其他表情的技术难度大么

这个库最大的优点是提供了已经训练好的模型,可以直接拿来用。2. 生成目标表情特征点集获得五官和脸部轮廓的特征点之后,就可以用它们来描述人脸表情了。所以,如果要生成新的表情,就需要先确定新表情的特征点集。手动的做的话,没啥技术上的东西要说的,只要手动拖一下特征点的位置就可以了。下面说自动的方法,分两种情况。第一种是,表情的类型发生改变,比如把没表情的脸变成笑脸。这需要你预先定义好笑脸的特征点位置,其实看起来也比较手动,但由于你不可能预先获得所有脸型的脸的笑脸的特征点位置,所以,你会需要对人脸特征点位置做归一化。懂的同学应该知道这很容易。第二种是,表情的类型不发生改变,但要做夸张效果。自动夸张是比较难的,这个问题在学术界也没有得到很好的解决。说到底,这是一个用计算机程序去模拟画家画画的过程,夸张是一个很难描述和定义清楚的概念,而且,擅长对人脸做夸张处理的画家一般也都不会写程序,所以你很难让画家精确地把他的夸张风格用程序能够听懂的语言描述出来。不过即使如此,目前的研究还是倾向于赞同一个比较公认的原则:对显著的特征进行夸张。比如,长脸的人的脸夸张后应该更长。不过只知道这样还是不够的,因为更长到底应该是多长呢?像这样定量的问题艺术家肯定很难回答。于是,一部分研究者依旧孜孜不倦地向艺术家讨教夸张的真谛,想要把它们翻译成程序。而另一部分研究者,则另辟蹊径,用机器学习的方法来教程序自动地去学习艺术家的夸张风格。不过作为商业产品来说,可以从最简单最可靠的方法开始做。首先,你需要一个夸张样本库。每个样本由没夸张的人脸上的特征点集和夸张后的人脸特征点集组成。为了建立这个样本库,你可以找画家来画夸张后的人脸,然后手动标出夸张后的特征点。这里比较费钱。从另一个角度来看的话,这个样本库也可以分为一个真实人脸样本库和夸张人脸样本库。接着,在算法上,最简单的方法就是,对一张新的人脸,根据特征点的坐标,从真实人脸样本库中搜索最相似的样本,把它对应的夸张人脸的特征点集作为这张新脸夸张后的特征点集。当然,这样直接拿来用的话,效果可能不是很好,但作为原型系统来说,差不多够了。3. 根据目标表情的特征点集对原始的照片做变形就像你说的那样,这需要做非线性的变形。现在我们已知了一个图像和变形前后的特征点集,我们需要根据特征点的移动来生成非线性的变形。在学术界,这个问题已经研究得比较透彻了,但据我所知,没有比较靠谱的开源库来做这个。在PS里有类似的变形操作,可以用来做前期的方法验证。推荐一下这三种算法:free form deformation , as-rigid-as-possible deformation , moving least deformation 。排序是按照时间早晚来的。下面给个实验结果,是自动对照片进行夸张的结果,微软02年的时候做的,方法当然不是我上面说的那样简单,但流程是类似的。不同的地方在于,现在你只需要照片,不需要做卡通风格的表情,微软的方法还可以做卡通风格的夸张表情。根据一张正脸照片,用软件程序生成其他表情的技术难度大么

Reference Sadimon S B, Sunar M S, Mohamad D, et al. Computer generated caricature: a survey//Cyberworlds (CW), 2010 International Conference on. IEEE, 2010: 383-390. Sederberg T W, Parry S R. Free-form deformation of solid geometric models//ACM Siggraph Computer Graphics. ACM, 1986, 20(4): 151-160. Igarashi T, Moscovich T, Hughes J F. As-rigid-as-possible shape manipulation//ACM Transactions on Graphics (TOG). ACM, 2005, 24(3): 1134-1141. As-Rigid-As-Possible Shape Manipulation Schaefer S, McPhail T, Warren J. Image deformation using moving least squares//ACM Transactions on Graphics (TOG). ACM, 2006, 25(3): 533-540. Liang L, Chen H, Xu Y Q, et al. Example-based caricature generation with exaggeration//Computer Graphics and Applications, 2002. Proceedings. 10th Pacific Conference on. IEEE, 2002: 386-393.


推荐阅读