小 200 行 Python 代码制作一个换脸程序


Posted in Python onMay 12, 2020

小 200 行 Python 代码制作一个换脸程序

简介

在这篇文章中我将介绍如何写一个简短(200行)的 Python 脚本,来自动地将一幅图片的脸替换为另一幅图片的脸。

这个过程分四步:

  • 检测脸部标记。
  • 旋转、缩放、平移和第二张图片,以配合第一步。
  • 调整第二张图片的色彩平衡,以适配第一张图片。
  • 把第二张图像的特性混合在第一张图像中。

1.使用 dlib 提取面部标记

该脚本使用 dlib 的 Python 绑定来提取面部标记:

小 200 行 Python 代码制作一个换脸程序

Dlib 实现了 Vahid Kazemi 和 Josephine Sullivan 的《使用回归树一毫秒脸部对准》论文中的算法。算法本身非常复杂,但dlib接口使用起来非常简单:

PREDICTOR_PATH = "/home/matt/dlib-18.16/shape_predictor_68_face_landmarks.dat" 
detector = dlib.get_frontal_face_detector() 
predictor = dlib.shape_predictor(PREDICTOR_PATH) 
def get_landmarks(im): 
  rects = detector(im, 1) 
  if len(rects) > 1: 
    raise TooManyFaces 
  if len(rects) == 0: 
    raise NoFaces 
  return numpy.matrix([[p.x, p.y] for p in predictor(im, rects[0]).parts()])

get_landmarks()函数将一个图像转化成numpy数组,并返回一个68×2元素矩阵,输入图像的每个特征点对应每行的一个x,y坐标。

特征提取器(predictor)需要一个粗糙的边界框作为算法输入,由一个传统的能返回一个矩形列表的人脸检测器(detector)提供,其每个矩形列表在图像中对应一个脸。

2.用 Procrustes 分析调整脸部

现在我们已经有了两个标记矩阵,每行有一组坐标对应一个特定的面部特征(如第30行的坐标对应于鼻头)。我们现在要解决如何旋转、翻译和缩放第一个向量,使它们尽可能适配第二个向量的点。一个想法是可以用相同的变换在第一个图像上覆盖第二个图像。

将这个问题数学化,寻找T,s 和 R,使得下面这个表达式:

小 200 行 Python 代码制作一个换脸程序

结果最小,其中R是个2×2正交矩阵,s是标量,T是二维向量,pi和qi是上面标记矩阵的行。

事实证明,这类问题可以用“常规 Procrustes 分析法”解决:

def transformation_from_points(points1, points2): 
  points1 = points1.astype(numpy.float64) 
  points2 = points2.astype(numpy.float64) 
  c1 = numpy.mean(points1, axis=0) 
  c2 = numpy.mean(points2, axis=0) 
  points1 -= c1 
  points2 -= c 
  s1 = numpy.std(points1) 
  s2 = numpy.std(points2) 
  points1 /= s1 
  points2 /= s2 
  U, S, Vt = numpy.linalg.svd(points1.T * points2) 
  R = (U * Vt).T 
  return numpy.vstack([numpy.hstack(((s2 / s1) * R, 
                    c2.T - (s2 / s1) * R * c1.T)), 
             numpy.matrix([0., 0., 1.])])

代码实现了这几步:

  • 将输入矩阵转换为浮点数。这是后续操作的基础。
  • 每一个点集减去它的矩心。一旦为点集找到了一个最佳的缩放和旋转方法,这两个矩心 c1 和 c2 就可以用来找到完整的解决方案。
  • 同样,每一个点集除以它的标准偏差。这会消除组件缩放偏差的问题。
  • 使用奇异值分解计算旋转部分。可以在维基百科上看到关于解决正交 Procrustes 问题的细节。
  • 利用仿射变换矩阵返回完整的转化。

其结果可以插入 OpenCV 的 cv2.warpAffine 函数,将图像二映射到图像一:

def warp_im(im, M, dshape): 
  output_im = numpy.zeros(dshape, dtype=im.dtype) 
  cv2.warpAffine(im, 
          M[:2], 
          (dshape[1], dshape[0]), 
          dst=output_im, 
          borderMode=cv2.BORDER_TRANSPARENT, 
          flags=cv2.WARP_INVERSE_MAP) 
  return output_im

对齐结果如下:

小 200 行 Python 代码制作一个换脸程序

3.校正第二张图像的颜色

如果我们试图直接覆盖面部特征,很快会看到这个问题:

小 200 行 Python 代码制作一个换脸程序

这个问题是两幅图像之间不同的肤色和光线造成了覆盖区域的边缘不连续。我们试着修正:

COLOUR_CORRECT_BLUR_FRAC = 0.6 
LEFT_EYE_POINTS = list(range(42, 48)) 
RIGHT_EYE_POINTS = list(range(36, 42)) 
def correct_colours(im1, im2, landmarks1): 
  blur_amount = COLOUR_CORRECT_BLUR_FRAC * numpy.linalg.norm( 
               numpy.mean(landmarks1[LEFT_EYE_POINTS], axis=0) - 
               numpy.mean(landmarks1[RIGHT_EYE_POINTS], axis=0)) 
  blur_amount = int(blur_amount) 
  if blur_amount % 2 == 0: 
    blur_amount += 1 
  im1_blur = cv2.GaussianBlur(im1, (blur_amount, blur_amount), 0) 
  im2_blur = cv2.GaussianBlur(im2, (blur_amount, blur_amount), 0) 
  # Avoid divide-by-zero errors. 
  im2_blur += 128 * (im2_blur <= 1.0) 
  return (im2.astype(numpy.float64) * im1_blur.astype(numpy.float64) / 
                        im2_blur.astype(numpy.float64))

结果如下:

小 200 行 Python 代码制作一个换脸程序

此函数试图改变 im2 的颜色来适配 im1。它通过用 im2 除以 im2 的高斯模糊值,然后乘以im1的高斯模糊值。这里的想法是用RGB缩放校色,但并不是用所有图像的整体常数比例因子,每个像素都有自己的局部比例因子。

用这种方法两图像之间光线的差异只能在某种程度上被修正。例如,如果图像1是从一侧照亮,但图像2是被均匀照亮的,色彩校正后图像2也会出现未照亮一侧暗一些的问题。

也就是说,这是一个相当简陋的办法,而且解决问题的关键是一个适当的高斯核函数大小。如果太小,第一个图像的面部特征将显示在第二个图像中。过大,内核之外区域像素被覆盖,并发生变色。这里的内核用了一个0.6 *的瞳孔距离。

4.把第二张图像的特征混合在第一张图像中

用一个遮罩来选择图像2和图像1的哪些部分应该是最终显示的图像:

小 200 行 Python 代码制作一个换脸程序

值为1(显示为白色)的地方为图像2应该显示出的区域,值为0(显示为黑色)的地方为图像1应该显示出的区域。值在0和1之间为图像1和图像2的混合区域。

我们把上述过程分解:

  • get_face_mask()的定义是为一张图像和一个标记矩阵生成一个遮罩,它画出了两个白色的凸多边形:一个是眼睛周围的区域,一个是鼻子和嘴部周围的区域。之后它由11个像素向遮罩的边缘外部羽化扩展,可以帮助隐藏任何不连续的区域。
  • 这样一个遮罩同时为这两个图像生成,使用与步骤2中相同的转换,可以使图像2的遮罩转化为图像1的坐标空间。
  • 之后,通过一个element-wise最大值,这两个遮罩结合成一个。结合这两个遮罩是为了确保图像1被掩盖,而显现出图像2的特性。

最后,使用遮罩得到最终的图像:

output_im = im1 * (1.0 - combined_mask) + warped_corrected_im2 * combined_mask

小 200 行 Python 代码制作一个换脸程序

总结

到此这篇关于小 200 行 Python 代码制作一个换脸程序的文章就介绍到这了,更多相关python 换脸程序内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python中requests模块的使用方法
Apr 08 Python
Python异常处理操作实例详解
May 10 Python
使用Django启动命令行及执行脚本的方法
May 29 Python
从请求到响应过程中django都做了哪些处理
Aug 01 Python
攻击者是如何将PHP Phar包伪装成图像以绕过文件类型检测的(推荐)
Oct 11 Python
python 使用正则表达式按照多个空格分割字符的实例
Dec 20 Python
python的turtle库使用详解
May 10 Python
python 基于dlib库的人脸检测的实现
Nov 08 Python
python 回溯法模板详解
Feb 26 Python
python实现将两个文件夹合并至另一个文件夹(制作数据集)
Apr 03 Python
Python requests模块session代码实例
Apr 14 Python
Django中的AutoField字段使用
May 18 Python
python3用PyPDF2解析pdf文件,用正则匹配数据方式
May 12 #Python
Python如何根据时间序列数据作图
May 12 #Python
python logging.info在终端没输出的解决
May 12 #Python
你应该知道的Python3.6、3.7、3.8新特性小结
May 12 #Python
python将logging模块封装成单独模块并实现动态切换Level方式
May 12 #Python
Python PyQt5模块实现窗口GUI界面代码实例
May 12 #Python
从0到1使用python开发一个半自动答题小程序的实现
May 12 #Python
You might like
PHP随机数生成代码与使用实例分析
2011/04/08 PHP
CentOS下PHP安装Oracle扩展
2015/02/15 PHP
javaScript 判断字符串是否为数字的简单方法
2009/07/25 Javascript
javascript圆盘抽奖程序实现原理和完整代码例子
2014/06/03 Javascript
对 jQuery 中 data 方法的误解分析
2014/06/18 Javascript
JS实现的用来对比两个用指定分隔符分割的字符串是否相同
2014/09/19 Javascript
JS实现的生成随机数的4个函数分享
2015/02/11 Javascript
js仿微博实现统计字符和本地存储功能
2015/12/22 Javascript
JavaScript基础——使用Canvas绘图
2016/11/02 Javascript
vue-awesome-swiper滑块插件使用方法详解
2017/11/27 Javascript
浅谈 Vue 项目优化的方法
2017/12/16 Javascript
vue如何解决循环引用组件报错的问题
2018/09/22 Javascript
基于JavaScript实现每日签到打卡轨迹功能
2018/11/29 Javascript
基于node简单实现RSA加解密的方法步骤
2019/03/21 Javascript
jquery简单实现纵向的无缝滚动代码实例
2019/04/01 jQuery
从0到1搭建element后台框架优化篇(打包优化)
2019/05/12 Javascript
nodejs二进制与Buffer的介绍与使用
2019/07/11 NodeJs
微信小程序实现电影App导航和轮播
2020/11/30 Javascript
python基于mysql实现的简单队列以及跨进程锁实例详解
2014/07/07 Python
Python实现CET查分的方法
2015/03/10 Python
在Python的Django框架中调用方法和处理无效变量
2015/07/15 Python
在Python的Django框架中为代码添加注释的方法
2015/07/16 Python
VSCode配合pipenv搞定虚拟环境的实现方法
2020/05/17 Python
Django框架实现在线考试系统的示例代码
2020/11/30 Python
python二维图制作的实例代码
2020/12/03 Python
浅析几个CSS3常用功能的写法
2014/06/05 HTML / CSS
详解CSS3中强大的filter(滤镜)属性
2017/06/29 HTML / CSS
Falconeri美国官网:由羊绒和羊毛制成的针织服装
2018/04/08 全球购物
Ray-Ban雷朋瑞典官方网站:全球领先的太阳眼镜品牌
2019/08/22 全球购物
幼儿发展评估方案
2014/06/11 职场文书
高三复习计划
2015/01/19 职场文书
2016教师校本研修心得体会
2016/01/08 职场文书
高中语文教材(文学文化常识大全一)
2019/08/13 职场文书
《悬崖边的树》读后感2篇
2019/12/02 职场文书
Django如何与Ajax交互
2021/04/29 Python
python使用openpyxl库读写Excel表格的方法(增删改查操作)
2021/05/02 Python