用Python获取摄像头并实时控制人脸的实现示例


Posted in Python onJuly 11, 2019

实现流程

从摄像头获取视频流,并转换为一帧一帧的图像,然后将图像信息传递给opencv这个工具库处理,返回灰度图像(就像你使用本地静态图片一样)

程序启动后,根据监听器信息,使用一个while循环,不断的加载视频图像,然后返回给opencv工具呈现图像信息。

创建一个键盘事件监听,按下"d"键,则开始执行面部匹配,并进行面具加载(这个过程是动态的,你可以随时移动)。

面部匹配使用Dlib中的人脸检测算法来查看是否有人脸存在。如果有,它将为每个人脸创建一个结束位置,眼镜和烟卷会移动到那里结束。

然后我们需要缩放和旋转我们的眼镜以适合每个人的脸。我们将使用从Dlib的68点模型返回的点集来找到眼睛和嘴巴的中心,并为它们之间的空间旋转。

在我们实时获取眼镜和烟卷的最终位置后,眼镜和烟卷从屏幕顶部进入,开始匹配你的眼镜和嘴巴。

假如没有人脸,程序会直接返回你的视频信息,不会有面具移动的效果。

默认一个周期是4秒钟。然后你可以通过"d"键再次检测。

程序退出使用"q"键。

这里我将这个功能抽象成一个面具加载服务,请跟随我的代码一窥究竟吧。

1.导入对应的工具包

from time import sleep

import cv2
import numpy as np
from PIL import Image
from imutils import face_utils, resize

try:
  from dlib import get_frontal_face_detector, shape_predictor
except ImportError:
  raise

创建面具加载服务类DynamicStreamMaskService及其对应的初始化属性: 

class DynamicStreamMaskService(object):
  """
  动态黏贴面具服务
  """

  def __init__(self, saved=False):
    self.saved = saved # 是否保存图片
    self.listener = True # 启动参数
    self.video_capture = cv2.VideoCapture(0) # 调用本地摄像头
    self.doing = False # 是否进行面部面具
    self.speed = 0.1 # 面具移动速度
    self.detector = get_frontal_face_detector() # 面部识别器
    self.predictor = shape_predictor("shape_predictor_68_face_landmarks.dat") # 面部分析器
    self.fps = 4 # 面具存在时间基础时间
    self.animation_time = 0 # 动画周期初始值
    self.duration = self.fps * 4 # 动画周期最大值
    self.fixed_time = 4 # 画图之后,停留时间
    self.max_width = 500 # 图像大小
    self.deal, self.text, self.cigarette = None, None, None # 面具对象

按照上面介绍,我们先实现读取视频流转换图片的函数: 

def read_data(self):
  """
  从摄像头获取视频流,并转换为一帧一帧的图像
  :return: 返回一帧一帧的图像信息
  """
  _, data = self.video_capture.read()
  return data

接下来我们实现人脸定位函数,及眼镜和烟卷的定位: 

def get_glasses_info(self, face_shape, face_width):
  """
  获取当前面部的眼镜信息
  :param face_shape:
  :param face_width:
  :return:
  """
  left_eye = face_shape[36:42]
  right_eye = face_shape[42:48]

  left_eye_center = left_eye.mean(axis=0).astype("int")
  right_eye_center = right_eye.mean(axis=0).astype("int")

  y = left_eye_center[1] - right_eye_center[1]
  x = left_eye_center[0] - right_eye_center[0]
  eye_angle = np.rad2deg(np.arctan2(y, x))

  deal = self.deal.resize(
    (face_width, int(face_width * self.deal.size[1] / self.deal.size[0])),
    resample=Image.LANCZOS)

  deal = deal.rotate(eye_angle, expand=True)
  deal = deal.transpose(Image.FLIP_TOP_BOTTOM)

  left_eye_x = left_eye[0, 0] - face_width // 4
  left_eye_y = left_eye[0, 1] - face_width // 6

  return {"image": deal, "pos": (left_eye_x, left_eye_y)}

def get_cigarette_info(self, face_shape, face_width):
  """
  获取当前面部的烟卷信息
  :param face_shape:
  :param face_width:
  :return:
  """
  mouth = face_shape[49:68]
  mouth_center = mouth.mean(axis=0).astype("int")
  cigarette = self.cigarette.resize(
    (face_width, int(face_width * self.cigarette.size[1] / self.cigarette.size[0])),
    resample=Image.LANCZOS)
  x = mouth[0, 0] - face_width + int(16 * face_width / self.cigarette.size[0])
  y = mouth_center[1]
  return {"image": cigarette, "pos": (x, y)}

def orientation(self, rects, img_gray):
  """
  人脸定位
  :return:
  """
  faces = []
  for rect in rects:
    face = {}
    face_shades_width = rect.right() - rect.left()
    predictor_shape = self.predictor(img_gray, rect)
    face_shape = face_utils.shape_to_np(predictor_shape)
    face['cigarette'] = self.get_cigarette_info(face_shape, face_shades_width)
    face['glasses'] = self.get_glasses_info(face_shape, face_shades_width)

    faces.append(face)

  return faces

刚才我们提到了键盘监听事件,这里我们实现一下这个函数: 

def listener_keys(self):
  """
  设置键盘监听事件
  :return:
  """
  key = cv2.waitKey(1) & 0xFF
  if key == ord("q"):
    self.listener = False
    self.console("程序退出")
    sleep(1)
    self.exit()

  if key == ord("d"):
    self.doing = not self.doing

接下来我们来实现加载面具信息的函数: 

def init_mask(self):
  """
  加载面具
  :return:
  """
  self.console("加载面具...")
  self.deal, self.text, self.cigarette = (
    Image.open(x) for x in ["images/deals.png", "images/text.png", "images/cigarette.png"]
  )

上面基本的功能都实现了,我们该实现画图函数了,这个函数原理和之前我写的那篇用AI人脸识别技术实现抖音特效实现是一样的,这里我就不赘述了,可以去github或Python中文社区微信公众号查看。

def drawing(self, draw_img, faces):
  """
  画图
  :param draw_img:
  :param faces:
  :return:
  """
  for face in faces:
    if self.animation_time < self.duration - self.fixed_time:
      current_x = int(face["glasses"]["pos"][0])
      current_y = int(face["glasses"]["pos"][1] * self.animation_time / (self.duration - self.fixed_time))
      draw_img.paste(face["glasses"]["image"], (current_x, current_y), face["glasses"]["image"])

      cigarette_x = int(face["cigarette"]["pos"][0])
      cigarette_y = int(face["cigarette"]["pos"][1] * self.animation_time / (self.duration - self.fixed_time))
      draw_img.paste(face["cigarette"]["image"], (cigarette_x, cigarette_y),
              face["cigarette"]["image"])
    else:
      draw_img.paste(face["glasses"]["image"], face["glasses"]["pos"], face["glasses"]["image"])
      draw_img.paste(face["cigarette"]["image"], face["cigarette"]["pos"], face["cigarette"]["image"])
      draw_img.paste(self.text, (75, draw_img.height // 2 + 128), self.text)

既然是一个服务类,那该有启动与退出函数吧,最后我们来写一下吧。

简单介绍一下这个start()函数, 启动后根据初始化监听信息,不断监听视频流,并将流信息通过opencv转换成图像展示出来。
并且调用按键监听函数,不断的监听你是否按下"d"键进行面具加载,如果监听成功,则进行图像人脸检测,并移动面具,
并持续一个周期的时间结束,面具此时会根据你的面部移动而移动。最终呈现文章顶部图片的效果.

def start(self):
  """
  启动程序
  :return:
  """
  self.console("程序启动成功.")
  self.init_mask()
  while self.listener:
    frame = self.read_data()
    frame = resize(frame, width=self.max_width)
    img_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    rects = self.detector(img_gray, 0)
    faces = self.orientation(rects, img_gray)
    draw_img = Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
    if self.doing:
      self.drawing(draw_img, faces)
      self.animation_time += self.speed
      self.save_data(draw_img)
      if self.animation_time > self.duration:
        self.doing = False
        self.animation_time = 0
      else:
        frame = cv2.cvtColor(np.asarray(draw_img), cv2.COLOR_RGB2BGR)
    cv2.imshow("hello mask", frame)
    self.listener_keys()

def exit(self):
  """
  程序退出
  :return:
  """
  self.video_capture.release()
  cv2.destroyAllWindows()

最后,让我们试试:

if __name__ == '__main__':
  ms = DynamicStreamMaskService()
  ms.start()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python生成pdf文件的方法
Aug 04 Python
python简单读取大文件的方法
Jul 01 Python
由浅入深讲解python中的yield与generator
Apr 05 Python
python+selenium实现京东自动登录及秒杀功能
Nov 18 Python
使用python生成目录树
Mar 29 Python
对numpy中轴与维度的理解
Apr 18 Python
Python简单I/O操作示例
Mar 18 Python
用Pelican搭建一个极简静态博客系统过程解析
Aug 22 Python
Pycharm 2019 破解激活方法图文详解
Oct 11 Python
pyecharts在数据可视化中的应用详解
Jun 08 Python
Keras 实现加载预训练模型并冻结网络的层
Jun 15 Python
Python学习之包与模块详解
Mar 19 Python
python实现LBP方法提取图像纹理特征实现分类的步骤
Jul 11 #Python
Python用字典构建多级菜单功能
Jul 11 #Python
Python + OpenCV 实现LBP特征提取的示例代码
Jul 11 #Python
python切片的步进、添加、连接简单操作示例
Jul 11 #Python
python 日期排序的实例代码
Jul 11 #Python
Python qqbot 实现qq机器人的示例代码
Jul 11 #Python
python的一些加密方法及python 加密模块
Jul 11 #Python
You might like
PHP防止sql注入小技巧之sql预处理原理与实现方法分析
2019/12/13 PHP
javascript 简单高效判断数据类型 系列函数 By shawl.qiu
2007/03/06 Javascript
Javascript技巧之不要用for in语句对数组进行遍历
2010/10/20 Javascript
A标签触发onclick事件而不跳转的多种解决方法
2013/06/27 Javascript
JS动态增加删除UL节点LI及相关内容示例
2014/05/21 Javascript
nodejs实现黑名单中间件设计
2014/06/17 NodeJs
浅析jquery如何判断滚动条滚到页面底部并执行事件
2016/04/29 Javascript
如何解决手机浏览器页面点击不跳转浏览器双击放大网页
2016/07/01 Javascript
简单实现jQuery级联菜单
2017/01/09 Javascript
基于原生js运动方式关键点的总结(推荐)
2017/10/01 Javascript
前端必备插件之纯原生JS的瀑布流插件Macy.js
2017/11/22 Javascript
微信小程序使用map组件实现获取定位城市天气或者指定城市天气数据功能
2019/01/22 Javascript
vue+vant实现商品列表批量倒计时功能
2020/01/13 Javascript
JavaScript Window窗口对象属性和使用方法
2020/01/19 Javascript
JS实现单张或多张图片持续无缝滚动的示例代码
2020/05/10 Javascript
Python语言实现机器学习的K-近邻算法
2015/06/11 Python
详解Python中的Cookie模块使用
2015/07/06 Python
Python执行时间的计算方法小结
2017/03/17 Python
python matplotlib 注释文本箭头简单代码示例
2018/01/08 Python
selenium2.0中常用的python函数汇总
2019/08/05 Python
django中使用POST方法获取POST数据
2019/08/20 Python
Python单元测试及unittest框架用法实例解析
2020/07/09 Python
Python过滤序列元素的方法
2020/07/31 Python
如何使用 Python 读取文件和照片的创建日期
2020/09/05 Python
美国CVS药店官网:CVS Pharmacy
2018/07/26 全球购物
纯净、自信、100%的羊绒服装:360Cashmere
2021/02/20 全球购物
高中学生干部学习的自我评价
2014/02/21 职场文书
2015年志愿者服务工作总结
2015/04/20 职场文书
2015年教研室工作总结范文
2015/05/23 职场文书
2015年度对口支援工作总结
2015/07/22 职场文书
2016元旦主持人经典开场白台词
2015/12/03 职场文书
CSS3通过var()和calc()函数实现动画特效
2021/03/30 HTML / CSS
详解Django中 render() 函数的使用方法
2021/04/22 Python
为了顺利买到演唱会的票用Python制作了自动抢票的脚本
2021/10/16 Python
Python+Tkinter制作专属图形化界面
2022/04/01 Python
Python 避免字典和元组的多重嵌套问题
2022/07/15 Python