小 200 行 Python 代码制作一个换脸程序


Posted in Python onMay 12, 2020

小 200 行 Python 代码制作一个换脸程序

简介

在这篇文章中我将介绍如何写一个简短(200行)的 Python 脚本,来自动地将一幅图片的脸替换为另一幅图片的脸。

这个过程分四步:

  • 检测脸部标记。
  • 旋转、缩放、平移和第二张图片,以配合第一步。
  • 调整第二张图片的色彩平衡,以适配第一张图片。
  • 把第二张图像的特性混合在第一张图像中。

1.使用 dlib 提取面部标记

该脚本使用 dlib 的 Python 绑定来提取面部标记:

小 200 行 Python 代码制作一个换脸程序

Dlib 实现了 Vahid Kazemi 和 Josephine Sullivan 的《使用回归树一毫秒脸部对准》论文中的算法。算法本身非常复杂,但dlib接口使用起来非常简单:

PREDICTOR_PATH = "/home/matt/dlib-18.16/shape_predictor_68_face_landmarks.dat" 
detector = dlib.get_frontal_face_detector() 
predictor = dlib.shape_predictor(PREDICTOR_PATH) 
def get_landmarks(im): 
  rects = detector(im, 1) 
  if len(rects) > 1: 
    raise TooManyFaces 
  if len(rects) == 0: 
    raise NoFaces 
  return numpy.matrix([[p.x, p.y] for p in predictor(im, rects[0]).parts()])

get_landmarks()函数将一个图像转化成numpy数组,并返回一个68×2元素矩阵,输入图像的每个特征点对应每行的一个x,y坐标。

特征提取器(predictor)需要一个粗糙的边界框作为算法输入,由一个传统的能返回一个矩形列表的人脸检测器(detector)提供,其每个矩形列表在图像中对应一个脸。

2.用 Procrustes 分析调整脸部

现在我们已经有了两个标记矩阵,每行有一组坐标对应一个特定的面部特征(如第30行的坐标对应于鼻头)。我们现在要解决如何旋转、翻译和缩放第一个向量,使它们尽可能适配第二个向量的点。一个想法是可以用相同的变换在第一个图像上覆盖第二个图像。

将这个问题数学化,寻找T,s 和 R,使得下面这个表达式:

小 200 行 Python 代码制作一个换脸程序

结果最小,其中R是个2×2正交矩阵,s是标量,T是二维向量,pi和qi是上面标记矩阵的行。

事实证明,这类问题可以用“常规 Procrustes 分析法”解决:

def transformation_from_points(points1, points2): 
  points1 = points1.astype(numpy.float64) 
  points2 = points2.astype(numpy.float64) 
  c1 = numpy.mean(points1, axis=0) 
  c2 = numpy.mean(points2, axis=0) 
  points1 -= c1 
  points2 -= c 
  s1 = numpy.std(points1) 
  s2 = numpy.std(points2) 
  points1 /= s1 
  points2 /= s2 
  U, S, Vt = numpy.linalg.svd(points1.T * points2) 
  R = (U * Vt).T 
  return numpy.vstack([numpy.hstack(((s2 / s1) * R, 
                    c2.T - (s2 / s1) * R * c1.T)), 
             numpy.matrix([0., 0., 1.])])

代码实现了这几步:

  • 将输入矩阵转换为浮点数。这是后续操作的基础。
  • 每一个点集减去它的矩心。一旦为点集找到了一个最佳的缩放和旋转方法,这两个矩心 c1 和 c2 就可以用来找到完整的解决方案。
  • 同样,每一个点集除以它的标准偏差。这会消除组件缩放偏差的问题。
  • 使用奇异值分解计算旋转部分。可以在维基百科上看到关于解决正交 Procrustes 问题的细节。
  • 利用仿射变换矩阵返回完整的转化。

其结果可以插入 OpenCV 的 cv2.warpAffine 函数,将图像二映射到图像一:

def warp_im(im, M, dshape): 
  output_im = numpy.zeros(dshape, dtype=im.dtype) 
  cv2.warpAffine(im, 
          M[:2], 
          (dshape[1], dshape[0]), 
          dst=output_im, 
          borderMode=cv2.BORDER_TRANSPARENT, 
          flags=cv2.WARP_INVERSE_MAP) 
  return output_im

对齐结果如下:

小 200 行 Python 代码制作一个换脸程序

3.校正第二张图像的颜色

如果我们试图直接覆盖面部特征,很快会看到这个问题:

小 200 行 Python 代码制作一个换脸程序

这个问题是两幅图像之间不同的肤色和光线造成了覆盖区域的边缘不连续。我们试着修正:

COLOUR_CORRECT_BLUR_FRAC = 0.6 
LEFT_EYE_POINTS = list(range(42, 48)) 
RIGHT_EYE_POINTS = list(range(36, 42)) 
def correct_colours(im1, im2, landmarks1): 
  blur_amount = COLOUR_CORRECT_BLUR_FRAC * numpy.linalg.norm( 
               numpy.mean(landmarks1[LEFT_EYE_POINTS], axis=0) - 
               numpy.mean(landmarks1[RIGHT_EYE_POINTS], axis=0)) 
  blur_amount = int(blur_amount) 
  if blur_amount % 2 == 0: 
    blur_amount += 1 
  im1_blur = cv2.GaussianBlur(im1, (blur_amount, blur_amount), 0) 
  im2_blur = cv2.GaussianBlur(im2, (blur_amount, blur_amount), 0) 
  # Avoid divide-by-zero errors. 
  im2_blur += 128 * (im2_blur <= 1.0) 
  return (im2.astype(numpy.float64) * im1_blur.astype(numpy.float64) / 
                        im2_blur.astype(numpy.float64))

结果如下:

小 200 行 Python 代码制作一个换脸程序

此函数试图改变 im2 的颜色来适配 im1。它通过用 im2 除以 im2 的高斯模糊值,然后乘以im1的高斯模糊值。这里的想法是用RGB缩放校色,但并不是用所有图像的整体常数比例因子,每个像素都有自己的局部比例因子。

用这种方法两图像之间光线的差异只能在某种程度上被修正。例如,如果图像1是从一侧照亮,但图像2是被均匀照亮的,色彩校正后图像2也会出现未照亮一侧暗一些的问题。

也就是说,这是一个相当简陋的办法,而且解决问题的关键是一个适当的高斯核函数大小。如果太小,第一个图像的面部特征将显示在第二个图像中。过大,内核之外区域像素被覆盖,并发生变色。这里的内核用了一个0.6 *的瞳孔距离。

4.把第二张图像的特征混合在第一张图像中

用一个遮罩来选择图像2和图像1的哪些部分应该是最终显示的图像:

小 200 行 Python 代码制作一个换脸程序

值为1(显示为白色)的地方为图像2应该显示出的区域,值为0(显示为黑色)的地方为图像1应该显示出的区域。值在0和1之间为图像1和图像2的混合区域。

我们把上述过程分解:

  • get_face_mask()的定义是为一张图像和一个标记矩阵生成一个遮罩,它画出了两个白色的凸多边形:一个是眼睛周围的区域,一个是鼻子和嘴部周围的区域。之后它由11个像素向遮罩的边缘外部羽化扩展,可以帮助隐藏任何不连续的区域。
  • 这样一个遮罩同时为这两个图像生成,使用与步骤2中相同的转换,可以使图像2的遮罩转化为图像1的坐标空间。
  • 之后,通过一个element-wise最大值,这两个遮罩结合成一个。结合这两个遮罩是为了确保图像1被掩盖,而显现出图像2的特性。

最后,使用遮罩得到最终的图像:

output_im = im1 * (1.0 - combined_mask) + warped_corrected_im2 * combined_mask

小 200 行 Python 代码制作一个换脸程序

总结

到此这篇关于小 200 行 Python 代码制作一个换脸程序的文章就介绍到这了,更多相关python 换脸程序内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python遍历数组的方法小结
Apr 30 Python
Python使用回溯法子集树模板解决爬楼梯问题示例
Sep 08 Python
python一行sql太长折成多行并且有多个参数的方法
Jul 19 Python
python实现的MySQL增删改查操作实例小结
Dec 19 Python
在Python中字典根据多项规则排序的方法
Jan 21 Python
Django 模型类(models.py)的定义详解
Jul 19 Python
pygame实现俄罗斯方块游戏(基础篇2)
Oct 29 Python
python实现简单日志记录库glog的使用
Dec 13 Python
python使用梯度下降和牛顿法寻找Rosenbrock函数最小值实例
Apr 02 Python
python如何求100以内的素数
May 27 Python
解决Python paramiko 模块远程执行ssh 命令 nohup 不生效的问题
Jul 14 Python
Python3如何使用tabulate打印数据
Sep 25 Python
python3用PyPDF2解析pdf文件,用正则匹配数据方式
May 12 #Python
Python如何根据时间序列数据作图
May 12 #Python
python logging.info在终端没输出的解决
May 12 #Python
你应该知道的Python3.6、3.7、3.8新特性小结
May 12 #Python
python将logging模块封装成单独模块并实现动态切换Level方式
May 12 #Python
Python PyQt5模块实现窗口GUI界面代码实例
May 12 #Python
从0到1使用python开发一个半自动答题小程序的实现
May 12 #Python
You might like
网站加速 PHP 缓冲的免费实现方法
2006/10/09 PHP
dedecms后台验证码总提示错误的解决方法
2007/03/21 PHP
php+mysql不用递归实现的无限级分类实例(非递归)
2014/07/08 PHP
php函数传值的引用传递注意事项分析
2016/06/25 PHP
Laravel5.5 手动分页和自定义分页样式的简单实现
2019/10/15 PHP
Js 获取当前日期时间及其它操作实现代码
2021/03/04 Javascript
csdn 博客中实现运行代码功能实现
2009/08/29 Javascript
HTML node相关的一些资料整理
2010/01/01 Javascript
js实现拉伸拖动iframe的具体代码
2013/08/03 Javascript
如何创建一个JavaScript弹出DIV窗口层的效果
2013/09/25 Javascript
jQuery实现日期联动效果实例
2016/07/26 Javascript
使用jQuery5分钟快速搞定双色表格的简单实例
2016/08/08 Javascript
JS动态加载脚本并执行回调操作
2016/08/24 Javascript
微信小程序 实战小程序实例
2016/10/08 Javascript
用jQuery实现可输入多选下拉组合框实例代码
2017/01/18 Javascript
简单实现AngularJS轮播图效果
2020/04/10 Javascript
underscore之function_动力节点Java学院整理
2017/07/11 Javascript
vue 中swiper的使用教程
2018/05/22 Javascript
使用node搭建自动发图文微博机器人的方法
2019/03/22 Javascript
微信小程序全局变量改变监听的实现方法
2019/07/15 Javascript
vue和iview实现Scroll 数据无限滚动功能
2019/10/31 Javascript
基于vuex实现购物车功能
2021/01/10 Vue.js
[01:50]2014DOTA2西雅图邀请赛 专访欢乐周宝龙
2014/07/08 DOTA
在Python中使用__slots__方法的详细教程
2015/04/28 Python
Python使用Tkinter实现机器人走迷宫
2018/01/22 Python
Python实现的大数据分析操作系统日志功能示例
2019/02/11 Python
六行python代码的爱心曲线详解
2019/05/17 Python
Python3爬虫中识别图形验证码的实例讲解
2020/07/30 Python
Nobody Denim官网:购买高级女士牛仔裤
2021/03/15 全球购物
会计与审计专业大专生求职信
2013/10/03 职场文书
汽车销售顾问求职自荐信
2014/01/01 职场文书
我的理想演讲稿
2014/04/30 职场文书
幼儿园健康教育方案
2014/06/14 职场文书
初婚初育证明范本
2014/11/24 职场文书
勤俭节约倡议书范文
2015/04/29 职场文书
女人创业励志语录,句句蕴含能量,激发你的潜能
2019/08/20 职场文书