使用Python开发冰球小游戏


Posted in Python onApril 30, 2022

介绍

大家好,今天和各位分享一下如何使用 mediapipe+opencv 制作桌上冰球的交互式小游戏。先放张图看效果。

规则如下:左手控制白色球拍;右手控制紫色球拍;球拍只能上下移动;红色圆形就是冰球;球碰撞到上下两侧的蓝色边框,和两侧的球拍就会反弹;如果球进入了黄色区域,游戏结束;下面的粉色计数板,记录左右两侧各击球多少次。

使用Python开发冰球小游戏

1. 文件配置

1.1 导入工具包

pip install opencv_python==4.2.0.34  # 安装opencv
pip install mediapipe  # 安装mediapipe
# pip install mediapipe --user  #有user报错的话试试这个
pip install cvzone  # 安装cvzone
 
# 导入工具包
import cv2
import cvzone
from cvzone.HandTrackingModule import HandDetector  # 导入手部检测模块

21个手部关键点坐标如下:

使用Python开发冰球小游戏

1.2 素材图片准备

开始之前,先准备球桌的图片,球的图片,球拍的图片。我是用PPT画的图,球和球拍的图片一定要保存成 .png 格式的。放在同一个文件夹中以备读取。

使用Python开发冰球小游戏

2. 手部关键点检测、素材导入

2.1 方法介绍

(1) cvzone.HandTrackingModule.HandDetector()手部关键点检测方法

参数:

mode: 默认为 False,将输入图像视为视频流。它将尝试在第一个输入图像中检测手,并在成功检测后进一步定位手的坐标。在随后的图像中,一旦检测到所有 maxHands 手并定位了相应的手的坐标,它就会跟踪这些坐标,而不会调用另一个检测,直到它失去对任何一只手的跟踪。这减少了延迟,非常适合处理视频帧。如果设置为 True,则在每个输入图像上运行手部检测,用于处理一批静态的、可能不相关的图像。

maxHands: 最多检测几只手,默认为 2

detectionCon: 手部检测模型的最小置信值(0-1之间),超过阈值则检测成功。默认为 0.5

minTrackingCon: 坐标跟踪模型的最小置信值 (0-1之间),用于将手部坐标视为成功跟踪,不成功则在下一个输入图像上自动调用手部检测。将其设置为更高的值可以提高解决方案的稳健性,但代价是更高的延迟。如果 mode 为 True,则忽略这个参数,手部检测将在每个图像上运行。默认为 0.5

它的参数和返回值类似于官方函数 mediapipe.solutions.hands.Hands()

MULTI_HAND_LANDMARKS: 被检测/跟踪的手的集合,其中每只手被表示为21个手部地标的列表,每个地标由x, y, z组成。

MULTI_HANDEDNESS: 被检测/追踪的手是左手还是右手的集合。每只手由label(标签)和score(分数)组成。 label 是 'Left' 或 'Right' 值的字符串。 score 是预测左右手的估计概率。

(2)cvzone.HandTrackingModule.HandDetector.findHands() 找到手部关键点并绘图

参数:

img: 需要检测关键点的帧图像,格式为BGR

draw: 是否需要在原图像上绘制关键点及识别框

flipType: 图像是否需要翻转,当视频图像和我们自己不是镜像关系时,设为True就可以了

返回值:

hands: 检测到的手部信息,由0或1或2个字典组成的列表。如果检测到两只手就是由两个字典组成的列表。字典中包含:21个关键点坐标(x,y,z),检测框左上坐标及其宽高,检测框中心点坐标,检测出是哪一只手。

img: 返回绘制了关键点及连线后的图像

(3)cv2.addWeighted()图像融合

将两张图像按一定比例融合在一起,需要两张图像的size和通道数相同

两张图像按一定比例融合: cv2.addWeighted(图像1, 权重1, 图像2, 权重2, 亮度偏置)

相当于 y = a x1 + b x2 + c,其中 a、b 代表权重,c 代表亮度上提亮多少

2.2 代码展示

首先 cv2.imread() 中的参数 cv2.IMREAD_UNCHANGED 是指用图片的原来格式打开,包含Alpha通道。即以不改变图片的方式打开,图片是彩色那么读进来就是彩色,图片是灰度图那么读进来就是灰度图,读进来的图片的shape如下:

使用Python开发冰球小游戏

该部分代码主要负责手部关键点检测,融合背景图像和视频帧图像

import cv2
import cvzone
from cvzone.HandTrackingModule import HandDetector  # 导入手部检测模块
 
#(1)捕获摄像头
cap = cv2.VideoCapture(0)  # 0代表电脑自带的摄像头
cap.set(3, 1280)  # 读入的图像的宽
cap.set(4, 720)   # 读入的图像的高
 
 
#(2)文件配置
# 导入所有需要对图片文件
imgDesk = cv2.imread('games/desk.jpg')  # 球桌的图片
imgBall = cv2.imread('games/ball.png', cv2.IMREAD_UNCHANGED)  # 球的图片
imgBlock1 = cv2.imread('games/block1', cv2.IMREAD_UNCHANGED)  # 球拍的图片
imgBlock2 = cv2.imread('games/block2', cv2.IMREAD_UNCHANGED)  # 球拍的图片
# 调整球桌图片的size
imgDesk = cv2.resize(imgDesk, dsize=(1280,720))
 
 
#(3)参数设置
# 接收手部关键点识别的方法,最小手部检测模块置信度0.8,最多检测2只手
detector = HandDetector(detectionCon=0.8, maxHands=2)
 
 
#(4)处理帧图像
while True:
 
    # 返回是否读取成功,以及读取后的帧图像
    success, img = cap.read()  # 每次执行读取一帧
    
    # 图片翻转呈镜像关系,1代表左右翻转,0代表上下翻转
    img = cv2.flip(img, flipCode=1)
    
    # 手部关键点检测,返回每个只手的信息和绘制后的图像
    hands, img = detector.findHands(img, flipType=False)  # 上面翻转过了这里就不用翻转了
 
    # 将球桌图片和视频帧图像融合在一起, 两张图的shape要相同
    # 给出每张图片的融合权重, 亮度偏置为0,这样就变成了半透明的显示形式
    img = cv2.addWeighted(img, 0.3, imgDesk, 0.7, 0)
 
    
    #(5)添加桌球的图片,将imgBall放在球桌img的指定坐标位置
    img = cvzone.overlayPNG(img, imgBall, (100,100))
    
    # 图像展示
    cv2.imshow('img', img)
    # 每帧滞留1ms后消失
    k = cv2.waitKey(1)
    # ESC键退出程序
    if k & 0XFF==27:
        break
 
# 释放视频资源
cap.release()
cv2.destroyAllWindows()

效果图如下:

使用Python开发冰球小游戏

3. 关键点处理、球拍移动

3.1 方法介绍

这部分主要完成两项工作,第一是左右手分别控制左侧和右侧的球拍,第二个是球以一定的速度移动。

(1)控制球拍

hand['bbox'] 中包含了手部检测框的左上角坐标和检测框的宽高,使用手掌中心点的 y 坐标来控制球拍的上下移动。由于两个球拍的shape是相同的,因此只要获取一个球拍的高度 h1 即可。使用掌心中点 y 坐标控制球拍中点的 y1 坐标,公式为:y1 = (y + h) // 2 - h1 // 2

接着使用 cvzone.overlayPNG() 就可以将球拍图片覆盖在原图片的指定区域,其中坐标参数是指覆盖区域的左上角坐标。固定横坐标,只上下移动。

(2)球移动

首先要规定球的移动速度 speedx, speedy = 10, 10 代表球每一帧沿x轴正方向移动10个像素,沿y轴正方向移动10个像素,那么球的初始合速度方向是沿图片的正右下角移动

如果球碰撞到了球桌的上下边框,就反弹。speedy = -speedy。代表x方向每帧移动的步长不变,y方向每帧移动的方向反转,即入射角等于出射角。

3.2 代码展示

在上述代码中补充

import cv2
import cvzone
import numpy as np
from cvzone.HandTrackingModule import HandDetector  # 导入手部检测模块
 
#(1)捕获摄像头
cap = cv2.VideoCapture(0)  # 0代表电脑自带的摄像头
cap.set(3, 1280)  # 读入的图像的宽
cap.set(4, 720)   # 读入的图像的高
 
 
#(2)文件配置
# 导入所有需要对图片文件
imgDesk = cv2.imread('games/desk.jpg')  # 球桌的图片
imgBall = cv2.imread('games/ball.png', cv2.IMREAD_UNCHANGED)  # 球的图片
imgBlock1 = cv2.imread('games/block1.png', cv2.IMREAD_UNCHANGED)  # 球拍的图片
imgBlock2 = cv2.imread('games/block2.png', cv2.IMREAD_UNCHANGED)  # 球拍的图片
# 调整球桌图片的size
imgDesk = cv2.resize(imgDesk, dsize=(1280,720))
# 调整球拍的size
imgBlock1 = cv2.resize(imgBlock1, dsize=(50,200))
imgBlock2 = cv2.resize(imgBlock2, dsize=(50,200))
 
 
#(3)参数设置
# 接收手部关键点识别的方法,最小手部检测模块置信度0.8,最多检测2只手
detector = HandDetector(detectionCon=0.8, maxHands=2)
 
# 球的默认位置
ballpos = [100, 100]
 
# 球的移动速度,每帧15个像素
speedx, speedy = 10, 10
 
 
#(4)处理帧图像
while True:
 
    # 返回是否读取成功,以及读取后的帧图像
    success, img = cap.read()  # 每次执行读取一帧
    
    # 图片翻转呈镜像关系,1代表左右翻转,0代表上下翻转
    img = cv2.flip(img, flipCode=1)
    
    # 手部关键点检测,返回每个只手的信息和绘制后的图像
    hands, img = detector.findHands(img, flipType=False)  # 上面翻转过了这里就不用翻转了
 
    # 将球桌图片和视频帧图像融合在一起, 两张图的shape要相同
    # 给出每张图片的融合权重, 亮度偏置为0,这样就变成了半透明的显示形式
    img = cv2.addWeighted(img, 0.4, imgDesk, 0.6, 0)
    
    
    #(5)处理手部关键点,如果检测到手了就进行下一步
    if hands:
        
        # 遍历每检测的2只手,获取每一只手的坐标
        for hand in hands:
            
            # 获取手部检测框的左上坐标xy,宽高wh
            x, y, w, h = hand['bbox']
            
            # 获取球拍的宽高
            h1, w1 = imgBlock1.shape[0:2]
            
            # 球拍的中心y坐标,随着掌心移动
            y1 = (y + h) // 2 - h1 // 2
 
            # 如果检测到了左手
            if hand['type'] == 'Left':
                
                # 左侧的球拍x轴固定,y坐标随左手掌间中点移动
                img = cvzone.overlayPNG(img, imgBlock1, (55,y1))
                
            # 如果检测到了右手
            if hand['type'] == 'Right':
                
                # 右侧的球拍x轴固定,y坐标随右手掌间中点移动
                img = cvzone.overlayPNG(img, imgBlock2, (1280-55,y1))
                      
    #(6)改变球的位置
    # 如果球的y坐标在超出了桌面的上或下边框范围,调整移动方向
    if ballpos[1] >= 600 or ballpos[1] <= 50:
        
        # y方向的速度调整为反方向,那么x方向和y方向的合速度方向调整了
        speedy = -speedy
 
    ballpos[0] = ballpos[0] + speedx  # 调整球的x坐标
    ballpos[1] = ballpos[1] + speedy  # 调整球的y坐标
 
    
    #(5)添加桌球的图片,将imgBall放在球桌img的指定坐标位置
    img = cvzone.overlayPNG(img, imgBall, ballpos)
    
    # 图像展示
    cv2.imshow('img', img)
    # 每帧滞留1ms后消失
    k = cv2.waitKey(1)
    # ESC键退出程序
    if k & 0XFF==27:
        break
 
# 释放视频资源
cap.release()
cv2.destroyAllWindows()

效果图如下:

使用Python开发冰球小游戏

4. 球拍击球、游戏完善

4.1 方法介绍

这一部分主要完成三项工作,第一是球拍击打到球,球需要反弹;第二是如果球进入黄色区域,游戏结束;第三是左右侧击球得分计数器。

(1)球拍击球

看到代码中的第(5)步,ballpos 代表球的左上角坐标(x,y),100 < ballpos[0] < 100+w1 代表球到了球拍横坐标区域范围内部了,y1 < ballpos[1] < y1+h1 代表球的y坐标在球拍y坐标内部,这时表明击球成功,speedx = -speedx 只改变沿x轴的速度方向,不改变沿y轴的速度方向。

(2)球进黄区,游戏结束

if ballpos[0] < 50 or ballpos[0] > 1150,如果球图片的左上坐标的 x 坐标,在黄区边缘,整个程序退出。当然也可以做一个游戏结束界面,我之前的博文里也有介绍,我偷个懒不写了。

(3)计数器

首先定义个变量初始化记录左右侧的击球次数 score = [0, 0],如果有一侧的球拍击中球,那么对应该侧计数加一。

4.2 代码展示

上面代码是掌心控制球拍,这里改成食指指尖控制球拍中点移动。

import cv2
import cvzone
from cvzone.HandTrackingModule import HandDetector  # 导入手部检测模块
 
#(1)捕获摄像头
cap = cv2.VideoCapture(0)  # 0代表电脑自带的摄像头
cap.set(3, 1280)  # 读入的图像的宽
cap.set(4, 720)   # 读入的图像的高
 
 
#(2)文件配置
# 导入所有需要对图片文件
imgDesk = cv2.imread('games/desk.jpg')  # 球桌的图片
imgBall = cv2.imread('games/ball.png', cv2.IMREAD_UNCHANGED)  # 球的图片
imgBlock1 = cv2.imread('games/block1.png', cv2.IMREAD_UNCHANGED)  # 球拍的图片
imgBlock2 = cv2.imread('games/block2.png', cv2.IMREAD_UNCHANGED)  # 球拍的图片
# 调整球桌图片的size
imgDesk = cv2.resize(imgDesk, dsize=(1280,720))
# 调整球拍的size
imgBlock1 = cv2.resize(imgBlock1, dsize=(50,200))
imgBlock2 = cv2.resize(imgBlock2, dsize=(50,200))
 
 
#(3)参数设置
# 接收手部关键点识别的方法,最小手部检测模块置信度0.8,最多检测2只手
detector = HandDetector(detectionCon=0.8, maxHands=2)
 
# 球的默认位置
ballpos = [100, 100]
 
# 球的移动速度,每帧15个像素
speedx, speedy = 10, 10
 
# 记录是否游戏结束
gameover = False
 
# 记录左右的击球数
score = [0, 0]
 
 
#(4)处理帧图像
while True:
 
    # 返回是否读取成功,以及读取后的帧图像
    success, img = cap.read()  # 每次执行读取一帧
    
    # 图片翻转呈镜像关系,1代表左右翻转,0代表上下翻转
    img = cv2.flip(img, flipCode=1)
    
    # 手部关键点检测,返回每个只手的信息和绘制后的图像
    hands, img = detector.findHands(img, flipType=False)  # 上面翻转过了这里就不用翻转了
 
    # 将球桌图片和视频帧图像融合在一起, 两张图的shape要相同
    # 给出每张图片的融合权重, 亮度偏置为0,这样就变成了半透明的显示形式
    img = cv2.addWeighted(img, 0.4, imgDesk, 0.6, 0)
    
    
    #(5)处理手部关键点,如果检测到手了就进行下一步
    if hands:
        
        # 遍历每检测的2只手,获取每一只手的坐标
        for hand in hands:
            
            # 获取食指坐标(x,y,z)
            x, y, z = hand['lmList'][8]
            
            # 获取球拍的宽高
            h1, w1 = imgBlock1.shape[0:2]
            
            # 球拍的中心y坐标,随着掌心移动
            y1 = y - h1 // 2
 
            # 如果检测到了左手
            if hand['type'] == 'Left':
                
                # 左侧的球拍x轴固定,y坐标随左手掌间中点移动
                img = cvzone.overlayPNG(img, imgBlock1, (100,y1))
                
                # 检查球是否被左球拍击中, 球的xy坐标是否在球拍xy坐标附近
                if 100 < ballpos[0] < 100+w1 and y1 < ballpos[1] < y1+h1:
                    
                    # 满足条件代表球拍击中了,改变球的移动方向
                    speedx = -speedx  # x方向设为反方向
                    
                    # 得分加一
                    score[0] += 1
                
                
            # 如果检测到了右手
            if hand['type'] == 'Right':
                
                # 右侧的球拍x轴固定,y坐标随右手掌间中点移动
                img = cvzone.overlayPNG(img, imgBlock2, (1150,y1))
                
                # 检查球是否被右球拍击中
                if 1050 < ballpos[0] < 1050+w1 and y1 < ballpos[1] < y1+h1:
                    
                    # 满足条件代表球拍击中了,改变球的移动方向
                    speedx = -speedx  # x方向设为反方向
                    
                    # 得分加一
                    score[1] += 1
 
 
    #(6)检查球是否没接到,那么游戏结束
    if ballpos[0] < 50 or ballpos[0] > 1150:
        gameover = True
    
    # 游戏结束,画面就不动了
    if gameover is True:
        break
     
    # 游戏没结束就接下去执行
    else:
         #(7)调整球的坐标
         # 如果球的y坐标在超出了桌面的上或下边框范围,调整移动方向
         if ballpos[1] >= 600 or ballpos[1] <= 50:
             
             # y方向的速度调整为反方向,那么x方向和y方向的合速度方向调整了
             speedy = -speedy
         
         # 每一整都调整xy坐标
         ballpos[0] = ballpos[0] + speedx  # 调整球的x坐标
         ballpos[1] = ballpos[1] + speedy  # 调整球的y坐标
    
         #(8)添加桌球的图片,将imgBall放在球桌img的指定坐标位置
         img = cvzone.overlayPNG(img, imgBall, ballpos)
    
    
    #(9)显示记分板
    cvzone.putTextRect(img, f'Left:{score[0]} and Right:{score[1]}', (400,710))
 
    #(10)图像展示
    cv2.imshow('img', img)
    # 每帧滞留1ms后消失
    k = cv2.waitKey(1)
    # ESC键退出程序
    if k & 0XFF==27:
        break
 
# 释放视频资源
cap.release()
cv2.destroyAllWindows()

效果图如下:

使用Python开发冰球小游戏

到此这篇关于基于Python自制视觉桌上冰球小游戏的文章就介绍到这了!


Tags in this post...

Python 相关文章推荐
使用Python写CUDA程序的方法
Mar 27 Python
Python列表生成式与生成器操作示例
Aug 01 Python
详解Python字典小结
Oct 20 Python
10分钟教你用Python实现微信自动回复功能
Nov 28 Python
简单了解python单例模式的几种写法
Jul 01 Python
PyTorch中topk函数的用法详解
Jan 02 Python
Python实现投影法分割图像示例(一)
Jan 17 Python
Python常用类型转换实现代码实例
Jul 28 Python
python 实现批量图片识别并翻译
Nov 02 Python
Python实现Appium端口检测与释放的实现
Dec 31 Python
详解Django的MVT设计模式
Apr 29 Python
python之np.argmax()及对axis=0或者1的理解
Jun 02 Python
详解Python中的for循环
Python采集壁纸并实现炫轮播
Apr 30 #Python
Python循环之while无限迭代
如何Python使用re模块实现okenizer
Apr 30 #Python
如何使用python包中的sched事件调度器
Apr 30 #Python
详解OpenCV获取高动态范围(HDR)成像
详解OpenCV曝光融合
You might like
php 将bmp图片转为jpg等其他任意格式的图片
2009/06/29 PHP
php printf输出格式使用说明
2010/12/05 PHP
Session的工作机制详解和安全性问题(PHP实例讲解)
2014/04/10 PHP
php下载文件源代码(强制任意文件格式下载)
2014/05/09 PHP
tp5递归 无限级分类详解
2019/10/18 PHP
javascript分页代码(当前页码居中)
2012/09/20 Javascript
JS创建类和对象的两种不同方式
2014/08/08 Javascript
推荐一个封装好的getElementsByClassName方法
2014/12/02 Javascript
js HTML5多媒体影音播放
2016/10/17 Javascript
Javascript+CSS3实现进度条效果
2016/10/28 Javascript
Vue.js路由组件vue-router使用方法详解
2016/12/02 Javascript
微信小程序 本地数据读取实例
2017/04/27 Javascript
jQuery实现全选、反选和不选功能
2017/08/16 jQuery
详解如何在项目中使用jest测试react native组件
2018/02/09 Javascript
vue excel上传预览和table内容下载到excel文件中
2019/12/10 Javascript
Vue快速实现通用表单验证的示例代码
2020/01/09 Javascript
vue 封装面包屑组件教程
2020/11/16 Javascript
vue实现防抖的实例代码
2021/01/11 Vue.js
JS实现纸牌发牌动画
2021/01/19 Javascript
[56:21]LGD vs IG 2018国际邀请赛小组赛BO2 第二场 8.18
2018/08/19 DOTA
Python使用正则表达式过滤或替换HTML标签的方法详解
2017/09/25 Python
python 读取.csv文件数据到数组(矩阵)的实例讲解
2018/06/14 Python
Python Json数据文件操作原理解析
2020/05/09 Python
Python如何对XML 解析
2020/06/28 Python
Python爬虫之Spider类用法简单介绍
2020/08/04 Python
利用python爬取有道词典的方法
2020/12/08 Python
鲜果饮品店创业计划书
2014/01/21 职场文书
运动会广播稿30字
2014/01/21 职场文书
岗位职责怎么写
2014/03/14 职场文书
劳动竞赛活动总结
2014/05/05 职场文书
食品安全宣传标语
2014/06/07 职场文书
2014教师个人自我评价范文
2014/09/13 职场文书
庆六一开幕词
2015/01/29 职场文书
同意报考证明
2015/06/17 职场文书
2016年感恩教师节校园广播稿
2015/12/18 职场文书
mysql使用FIND_IN_SET和group_concat两个方法查询上下级机构
2022/04/20 MySQL