Smart appearance是如何实现动态的背景处理的呢？动态的人像要如何抓取呢？

我们特此跟联想研究院的专家进行了交流，接下来本文将围绕“美颜”技术和动态背景处理技术展开。

下面是揭秘时间……

01 背景更换

Smart appearance通过从背景中分割用户来对每个视频帧进行处理。背景分割任务，主要分为数据、模型、损失、训练、推理、后处理 6个部分。在创建模型时，主要技术难点在于如何提高模型的泛化能力，通过搜集开源数据集及自行制作数据集，自制数据集采用简单场景下采集，成熟算法自动标注并结合复杂背景生成新样本的方式进行扩增，进而扩大训练集的丰富性。

在后期处理时，图像分割算法如果直接应用到视频上，会存在明显的人像边缘抖动问题，严重影响用户体验。如何抑制分割结果的抖动，研发人员对模型进行了改进，增加了时域一致性损失，改进了模型的输入，加强了前后帧间的联系，并对模型输出的结果进行后处理，最终得到稳定的人像分割结果。

02 “美颜”技术

“美颜”技术是一项将深度学习、图像处理和图形学融合，包含人脸检测、人脸关键点定位、磨皮、美白、美型等多项内容的技术。接下来，我们分别介绍美颜当中涉及技术的概念、难点。

about  人脸关键点

一般而言，人脸关键点检测算法需要基于人脸检测算法，利用人脸检测器的检测结果得到图像中所包含的人脸目标位置信息，再分别对每一个人脸目标执行人脸关键点的估计任务，继而得到各个人脸目标的面部关键点信息。对于模型所面对的挑战而言，与人脸检测算法类似，同样面临着人脸光照、姿态、遮挡、表情等因素的影响，导致其在不同应用场景下的性能不同。可选择解决方案同样可参考人脸检测网络结构中所涉及的方法，提升网络对特征的提取能力。

除了模型本身的检测效果的提升，还可通过一些前后处理操作，提升与优化模型的体验效果。例如：为降低关键点抖动性问题，可引入人脸跟踪算法，实时跟踪人脸目标，选择性地更新人脸检测框或关键点位置信息。且同时检测其运动状态，保证在人脸有相对大幅度运动的时候，使得关键点也能够及时地匹配上人脸的位置。

在获取到人脸关键点信息后，即可知晓人脸各个主要部位的位置信息，通过后续功能的设计，进而实现对人脸完成美白、瘦脸、贴纸动画等效果的渲染任务。

about  磨皮

目前关于磨皮方法有很多，在PhotoShop中，通常使用高反差保留、双边滤波、高低频等方法来实现磨皮操作。在磨皮中，我们既要平滑点与点之间的灰度差异，同时还要保持皮肤原有的一些细节。Smart appearance的研发人员采用不同的方法，通过大量的实验，最终得到最优的方式，能够在使皮肤变得更加光滑的同时，尽可能地保留下巴边界、眉毛细节。

about 美白