CodeFormer

CodeFormer是一款由南洋理工大学S-Lab开发的强大AI工具，主要用于视频去码、图片修复和人脸修复等应用场景。该工具具有人脸清晰化修复、人脸色彩化和人脸去马赛克等功能，通过独特的网络架构实现人脸变换。 CodeFormer的特点和优势： 1.广泛适用性：CodeFormer能够处理多种退化的人脸图像，包括但不限于模糊、马赛克、噪声、遮挡等。 2.特征保持性：在处理和修复人脸图像时，CodeFormer能够保持人脸的原始特征和表情，避免产生失真或过度平滑的效果。 3.强大的泛化能力：CodeFormer能够适应不同的人脸形状、肤色、发型和背景，确保在各种情况下都能提供稳定的性能。 4.高效性：CodeFormer能够快速地生成高质量的人脸图像，无需大量的计算资源或训练数据，提高了工作效率。 CodeFormer在人脸修复方面表现出色，官方给出的测试对比图证明了这一点。用户可以轻松下载并安装CodeFormer源码，并使用PyTorch框架进行运行和测试。 要测试CodeFormer工具，用户只需下载源码并按照说明安装PyTorch框架。然后，通过命令行界面输入相应的参数，即可进行人脸清晰化修复、人脸色彩化和人脸去马赛克等操作。 话不多说，先上一张效果图： 然而，CodeFormer的人脸去马赛克算法仅支持白色遮挡，对于其他颜色的遮挡则无法完全修复。这可能是该工具的一个小小的不足之处，但在大多数情况下，这并不会影响其整体性能和效果。 实操教程 目前有几种方式供大家使用。 第一种是直接上 Github[3] 按照 README 文档配置环境，加载模型权重推理，懂的都懂，此处省略。 第二种是通过 Web[4]端直接访问，作者已将该模型打包至抱抱脸平台上，有兴趣的读者可以直接线上使用。 第三种是通过 GUI[5]可视化界面直接在本地运行，无惧隐私泄漏，无须安装配置编译环境，一键运行。 1.下载压缩包，解压到本地目录。 2.准备好两个文件夹，一个输入文件夹存放待复原的图片，另一个是输出文件夹存放修复好的图片。 选择相应的功能，目前支持对人脸(抠好的)、人体(内置了人脸检测和对齐模型)、视频的推理。 本项目基于 DeepFaceLab 和 CodeFormer 完成，其中人脸检测模型基于 retinaface 和 yolov5，背景增强基于 RealESRGAN_x2plus 模型权重。需要注意的是，全图清晰化针对的是全身进行复原，建议使用完之后对截取过的人脸再使用一遍人脸图清晰化的功能。