给大家介绍一款由腾讯游戏智迹团队开发的创新技术——AniPortrait。这款技术能够通过音频和参考肖像图片生成高质量的肖像动画。无论是静态图片还是视频，AniPortrait都能实现逼真的面部再现，使动画效果更加生动。山楂在使用中，尤其对面部再现功能印象深刻，这个功能能够精准捕捉参考视频的表情变化，并将其迁移到新的肖像上，非常适合虚拟主持人或数字人物的创作。rame class="video_iframe rich_pages" data-w="1032" data-ratio="2" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FKmXPKA19gW8icOo4rXRvs9CJCqw9t80Y2AicZQDru6Usiam2prNUBTfNtavR2iaRaOLXPVMWI3ibaHUFCvuQ84JvZhg%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3396568434757369861" data-vidtype="2" allowfullscreen="" frameborder="0" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3396568434757369861">rame>
rame class="video_iframe rich_pages" data-w="1030" data-ratio="1.996124031007752" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2FKmXPKA19gW8icOo4rXRvs9CJCqw9t80Y2OdlpYHrg5fFHSZ5WyIBe275LhoPaHy3jzIRHhdnHegicKQzfoNXyc9Q%2F0%3Fwx_fmt%3Djpeg" data-mpvid="wxv_3396568922840137728" data-vidtype="2" allowfullscreen="" frameborder="0" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3396568922840137728">rame>
要使用 AniPortrait，首先需要配置一个符合要求的计算环境。推荐使用 Python 3.10 版本及 CUDA 11.7。具体操作步骤如下：运行以下命令来安装必要的 Python 库：
pip install -r requirements.txt
需要下载预训练权重文件，并将它们放置在 https://mp.weixin.qq.com/pretrained_weights 目录下。这些权重包括去噪网络、参考图像网络、姿态引导器、动作模块、音频转网格模型、音频到姿态模型和 FILM 网络等多个组件。具体权重文件和下载路径如下：StableDiffusion V1.5
sd-vae-ft-mse
image_encoder
下载并整理好权重文件后，可以在配置文件（如 https://mp.weixin.qq.com/config/prompts/animation.yaml）中指定权重文件的路径。AniPortrait 提供了多种命令行工具，支持不同的动画生成需求。通过指定动画配置文件，并使用 -acc 参数来加速视频生成。命令如下：
python -m scripts.pose2vid --config https://mp.weixin.qq.com/configs/prompts/animation.yaml -W 512 -H 512 -acc
添加源面部视频和参考图像，通过以下命令生成面部动画：
python -m scripts.vid2vid --config https://mp.weixin.qq.com/configs/prompts/animation_facereenac.yaml -W 512 -H 512 -acc
在配置文件中添加音频和参考图像后，运行以下命令生成音频驱动的视频动画：
python -m scripts.audio2vid --config https://mp.weixin.qq.com/configs/prompts/animation_audio.yaml -W 512 -H 512 -acc
用户还可以通过 HuggingFace Spaces 上的 Gradio 界面体验 AniPortrait 的 Web 演示。运行以下命令即可启动本地演示：
