Face++ API实现手势识别系统设计


Posted in Python onNovember 21, 2018

        通过普通摄像头拍摄出的照片来进行识别是存在很大的困难的,但是有困难才能找到更好的方法去解决。在百度上大致找了一下手语识别的案例,很少。API只是看到了Face++发布的手势识别,在我写文章的时候又看到了百度发布的手势识别API,之后会尝试去进行使用。

        这次使用的是Face++的API,Face++的API是在之前发现的,功能上的话还是比较强大的,但是没有离线版本,需要将数据进行上传,然后对JSON进行解析得到结果。

Face++ API实现手势识别系统设计

这是官网给出的一个Demo,识别率挺不错的,最后给出的是一个在20种手势上的分布概率,接下来我们自己调用一下API分析自己的手势。

1. 查看官方的API。找到Gesture API,先看一下是怎么说的。

Face++ API实现手势识别系统设计

调用参数:

Face++ API实现手势识别系统设计

Face++ API实现手势识别系统设计

官方还给出了一些调用错误返回的参数的说明,有兴趣的可以去官网看一下。

还给出了一个使用命令行调用API的实例:

Face++ API实现手势识别系统设计

从实例上不难看出,向 https://api-cn.faceplusplus.com/humanbodypp/beta/gesture 发送请求,默认的参数有 api_key,api_secret,image_file。api_key和api_secret可以通过控制台进行生成。

Face++ API实现手势识别系统设计

接下来开始写代码的调用,Python版本的,其他版本的类似。

我们将API封装成一个类 Gesture:

Face++ API实现手势识别系统设计

将其中的key和secret替换成自己的就可以使用:

'''
# -*- coding:utf-8 -*-
@author: TulLing
'''
import requests 
from json import JSONDecoder 
 
gesture_englist = ['big_v','fist','double_finger_up','hand_open','heart_d','index_finger_up','ok','phonecall','palm_up','rock','thumb_down','thumb_up','victory']
gesture_chinese = ["我最帅",
   "拳头,停下",
   "我发誓",
   "数字5",
   "比心",
   "数字1",
   "好的呢,OK",
   "打电话",
   "手心向上",
   "爱你,520",
   "差评,不好的",
   "好评,Good,很棒",
   "胜利,开心"]
# 将字典排序
def sort_dict(adict):
 return sorted(adict.items(),key= lambda item:item[1])
 
class Gesture(object):
 def __init__(self):
 self.http_url = 'https://api-cn.faceplusplus.com/humanbodypp/beta/gesture'
 self.key = '*****'
 self.secret = '******'
 self.data = {"api_key":self.key,"api_secret":self.secret}
 
 
 # 获取手势信息
 def get_info(self,files):
 response = requests.post(self.http_url,data=self.data,files=files)
 req_con = response.content.decode('utf-8')
 req_dict = JSONDecoder().decode(req_con)
 #print(req_dict)
 if('error_message' not in req_dict.keys()) and (len(req_dict['hands'])):
 # 获取
  hands_dict = req_dict['hands']
  #print(type(hands_dict))
  # 获取到手的矩形的字典
  gesture_rectangle_dict = hands_dict[0]['hand_rectangle']
  # 获取到手势的字典
  gesture_dict = hands_dict[0]['gesture']
  
  return gesture_dict,gesture_rectangle_dict
 else:
  return [],[];
 
 # 获取到手势文本信息
 def get_text(self,index):
 return gesture_chinese[index]
 
 # 获取到手势对应的概率
 def get_pro(self,gesture_dict,index):
 # print(gesture_dict)
 if(gesture_dict is None or gesture_dict == []):
  return 0
 return gesture_dict[gesture_englist[index]]
 
 # 获取到手势的位置
 def get_rectangle(self,gesture_rectangle_dict):
 if(gesture_rectangle_dict is None or gesture_rectangle_dict == []):
  return (0,0,0,0)
 x = gesture_rectangle_dict['top']
 y = gesture_rectangle_dict['left']
 width = gesture_rectangle_dict['width']
 height = gesture_rectangle_dict['height']
 return (x,y,width,height)

封装好了Gesture类后接下来就是调用:先将官方给出的手势的图片保存起来,为了方便只保留单手的手势,然后生成随机数读取手势图片,我们去模仿手势,后台显示是正确手势的概率以及具体的位置,如果图像中没有手势则概率为0,位置为(0,0,0,0)。

'''
# -*- coding:utf-8 -*-
@author: TulLing
'''
import sys
sys.path.append("../gesture/")
 
import os
import random
import cv2 as cv
import time
import LearnGesture
 
def gestureLearning():
 os.system("cls")
 print("进入学习手势模式!")
 print("我们有13个手势,来和我学吧!(每次结束后可以选择输入 Q\q 退出!)")
 while(True):
 pic_num = random.randint(0,12) # 生成显示的图片的编号(随机数: 0 - 13)
 print(pic_num)
 pic_path = '../gesture/pic/gesture' + str(pic_num) + ".jpg" # 生成图片路径
 
 pic = cv.imread(pic_path) # 加载图片
 pic = cv.resize(pic,(120,120))
 cv.imshow("PIC",pic) # 显示要学习的手势
 
 print("即将打开摄像头,你有5秒种的时间准备手势,5秒种保持手势!")
 write_path = "../gesture/pic/test.jpg"
 cap = cv.VideoCapture(1)
 while(True):
  _,frame = cap.read()
  cv.imshow("Frame",frame)
  key = cv.waitKey(10)
  if(key == ord('Q') or key == ord('q')):
  cv.imwrite(write_path,frame)
  cv.waitKey(200)
  cap.release()
  cv.destroyAllWindows()
  break
  
 # 此处应该有手势识别
 files = {"image_file":open(write_path,'rb')}
 gesture = LearnGesture.Gesture()
 
 # 获取到手势文本
 ge_text = gesture.get_text(pic_num)
 # 获取手势信息
 gesture_dict,gesture_rectangle_dict = gesture.get_info(files)
 # 获取手势的概率
 ge_pro = gesture.get_pro(gesture_dict,pic_num)
 # 获取到手势的坐标
 ge_rect = gesture.get_rectangle(gesture_rectangle_dict)
 print("您学习的手势是:",ge_text)
 print("相似度达到:",ge_pro)
 print("具体位置:",ge_rect)
 
 
 # print("一轮学习结束,是否继续学习?(Y/N)")
 # 退出程序,回到主菜单或者继续
 commend = input("一轮学习结束,是否继续学习?(Y/N):")
 print(commend)
 
 if( commend == 'N' or commend == "n"):
  break
gestureLearning()

Face++ API实现手势识别系统设计

图片保存的路径:./pic/

运行结果:

Face++ API实现手势识别系统设计

显示的随机手势

Face++ API实现手势识别系统设计

模仿的手势(打个码,主要看手)

点击Q后:

Face++ API实现手势识别系统设计

手势做的有点不标准,但是没关系,系统可以运行。

调用Face++API的文章到此结束。代码打包后会上传。之后会修改链接地址。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中关于时间和日期函数的常用计算总结(time和datatime)
Mar 08 Python
Python入门教程之if语句的用法
May 14 Python
python自带的http模块详解
Nov 06 Python
windows系统下Python环境搭建教程
Mar 28 Python
python的Tqdm模块的使用
Jan 10 Python
详解用Python实现自动化监控远程服务器
May 18 Python
Django REST framework内置路由用法
Jul 26 Python
Django自带的加密算法及加密模块详解
Dec 03 Python
NumPy排序的实现
Jan 21 Python
Python生成器实现简单"生产者消费者"模型代码实例
Mar 27 Python
Python plt 利用subplot 实现在一张画布同时画多张图
Feb 26 Python
OpenCV-Python直方图均衡化实现图像去雾
Jun 07 Python
详解django自定义中间件处理
Nov 21 #Python
pygame游戏之旅 添加游戏界面按键图形
Nov 20 #Python
pygame游戏之旅 添加游戏介绍
Nov 20 #Python
pygame游戏之旅 计算游戏中躲过的障碍数量
Nov 20 #Python
pygame游戏之旅 添加碰撞效果的方法
Nov 20 #Python
pygame游戏之旅 如何制作游戏障碍
Nov 20 #Python
用Python编写一个简单的CS架构后门的方法
Nov 20 #Python
You might like
很实用的一个完整email发送程序
2006/10/09 PHP
PHP中使用glob函数实现一句话删除某个目录下的所有文件
2014/07/22 PHP
PHP整合PayPal支付
2015/06/11 PHP
PHP抓取远程图片(含不带后缀的)教程详解
2016/10/21 PHP
php中的异常和错误浅析
2017/05/03 PHP
PHP将英文数字转换为阿拉伯数字实例讲解
2019/01/28 PHP
非常不错的一个javascript 类
2006/11/07 Javascript
Javascript面向对象编程(三) 非构造函数的继承
2011/08/28 Javascript
使用jquery解析XML的方法
2014/09/05 Javascript
javascript强制点击广告的方法
2015/02/06 Javascript
JS+CSS实现大气清新的滑动菜单效果代码
2015/10/22 Javascript
实例代码详解javascript实现窗口抖动及qq窗口抖动
2016/01/04 Javascript
AngularJS使用ngOption实现下拉列表的实例代码
2016/01/23 Javascript
JavaScript实现窗口抖动效果
2016/10/19 Javascript
javaScript中定义类或对象的五种方式总结
2016/12/04 Javascript
javascript添加前置0(补零)的几种方法
2017/01/05 Javascript
nodejs基础应用
2017/02/03 NodeJs
浅谈JS验证表单文本域输入空格的问题
2017/02/14 Javascript
vue中实现methods一个方法调用另外一个方法
2018/02/08 Javascript
vue resource发送请求的几种方式
2019/09/30 Javascript
jQuery实现聊天对话框
2020/02/08 jQuery
JavaScript接口实现方法实例分析
2020/05/16 Javascript
wxpython学习笔记(推荐查看)
2014/06/09 Python
Python导入oracle数据的方法
2015/07/10 Python
django 将model转换为字典的方法示例
2018/10/16 Python
python中将zip压缩包转为gz.tar的方法
2018/10/18 Python
基于wxPython的GUI实现输入对话框(1)
2019/02/27 Python
python3+PyQt5 实现Rich文本的行编辑方法
2019/06/17 Python
基于django传递数据到后端的例子
2019/08/16 Python
安装2019Pycharm最新版本的教程详解
2019/10/22 Python
Python 如何创建一个线程池
2020/07/28 Python
python实现单机五子棋
2020/08/28 Python
面试求职的个人自我评价
2013/11/16 职场文书
自行车广告词大全
2014/03/21 职场文书
2014年调度员工作总结
2014/11/19 职场文书
2015年社区反邪教工作总结
2015/10/14 职场文书