如何使用Python自动控制windows桌面


Posted in Python onJuly 11, 2019

前言

在使用PC时与PC交互的主要途径是看屏幕显示、听声音,点击鼠标和敲键盘等等。在自动化办公的趋势下,繁琐的工作可以让程序自动完成。比如自动化测试、自动下单交易等。很多软件除了可以GUI方式操作外还可以用CLI接口操作,不过当一些软件未提供CLI接口时,我们应该怎么办呢?我们还可以用程序控制桌面上的窗口、模拟点击鼠标或按下键盘等动作来释放自己。

pywin32是一个Python库,它为Python提供访问Windows API的扩展,提供了齐全的windows常量、接口、线程以及COM机制等等,安装后会自带一个pythonwin的IDE。接下来主要介绍下如何通过Python去操作windows桌面软件。

1、打开软件或文件

比如打开一个谷歌浏览器,或者打开一个word文件,如下所示:

win32api.ShellExecute(1, 'open',
 r'C:Program Files (x86)GoogleChromeApplicationchrome.exe',
 '', '', 1)
win32api.ShellExecute(1, 'open',
 r'C:UsersJayDesktopEnvironment Guider.docx',
 '', '', 1)

win32api.ShellExecute()的参数主要包括:

  • HWND:指定父窗口句柄
  • Operation:指定动作, 譬如"edit",“explore”,“open”,“find”,“print”,“NULL”
  • FileName:指定要打开的文件或程序
  • Parameters:指定打开程序所需参数
  • Directory:缺省目录
  • ShowCmd:打开选项,可选值:
    • SW_HIDE = 0; {隐藏窗口,活动状态给令一个窗口}
    • SW_SHOWNORMAL = 1; {用最近的大小和位置显示窗口, 同时令其进入活动状态}
    • SW_NORMAL = 1; {用当前的大小和位置显示一个窗口,不改变活动窗口}
    • SW_SHOWMINIMIZED = 2; {最小化窗口,并将其激活}
    • SW_SHOWMAXIMIZED = 3; {最大化窗口,并将其激活}
    • SW_MAXIMIZE = 3; {同 SW_SHOWMAXIMIZED}
    • SW_SHOWNOACTIVATE = 4; {用最近的大小和位置显示一个窗口,不改变活动窗口}
    • SW_SHOW = 5; {用当前的大小和位置显示一个窗口,令其进入活动状态}
    • SW_MINIMIZE = 6; {最小化窗口, 不激活}
    • SW_SHOWMINNOACTIVE = 7; {同 SW_MINIMIZE}
    • SW_SHOWNA = 8; {用当前的大小和位置显示一个窗口,不改变活动窗口}
    • SW_RESTORE = 9; {同 SW_SHOWNORMAL}
    • SW_SHOWDEFAULT = 10; {同 SW_SHOWNORMAL}
    • SW_MAX = 10; {同 SW_SHOWNORMAL}

执行成功会返回应用程序句柄, 如果返回值 <= 32,则表示执行错误。返回值可能的错误有:

  • 0—— {内存不足}
  • 2—— {文件名错误}
  • 3—— {路径名错误}
  • 11—— {EXE 文件无效}
  • 26—— {发生共享错误}
  • 27—— {文件名不完全或无效}
  • 28—— {超时}
  • 29—— {DDE 事务失败}
  • 30—— {正在处理其他 DDE 事务而不能完成该 DDE 事务}
  • 31—— {没有相关联的应用程序}

2、查找窗体的句柄

在win32编程的世界里,包括窗口到文本框的所有控件都是窗体,所有的窗体都有独立的句柄。要操作任意一个窗体,都需要找到这个窗体的句柄。句柄是一个32位整数,在windows中用于标记对象。比如查找Snipping Tool和New Text Document.txt的句柄,如下所示:

para_hld = win32gui.FindWindow(None, "Snipping Tool")# 1836416
para_hld = win32gui.FindWindow(None, "New Text Document.txt - Notepad")# 591410

win32gui.FindWindow()属于win32gui的模块,它自顶层窗口(也就是桌面)开始搜索条件匹配的窗体,并返回这个窗体的句柄。该函数仅能查找主窗口,因此无法搜索子窗口,也不区分大小写,未找到则返回0。

win32gui.FindWindow()的参数主要包括 (lpClassName=None, lpWindowName=None):

  • lpClassName:字符型,窗体的类名,可以在Spy++里找到
  • lpWindowName:字符型,窗口名,也就是标题栏上能看见的那个标题。

如何使用Python自动控制windows桌面

3、查找句柄的类名和标题

比如通过Snipping Tool和New Text Document.txt的句柄查找对应的类名和标题,如下所示:

title = win32gui.GetWindowText(1836416)
classname = win32gui.GetClassName(1836416)
print "windows handler:{0}; title:{1}; classname:{2}".format(1836416, title, classname)

打印显示如下:

windows handler:1836416; title:Snipping Tool; classname:Microsoft-Windows-Tablet-SnipperToolbar
title = win32gui.GetWindowText(591410)
classname = win32gui.GetClassName(591410)
print "windows handler:{0}; title:{1}; classname:{2}".format(591410, title, classname)

打印显示如下:

windows handler:591410; title:New Text Document.txt - Notepad; classname:Notepad

4、调用win32gui.EnumWindows()枚举所有窗口句柄

直到最后一个顶层窗口被枚举则停止枚举过程。如下所示:

hWndList = []
win32gui.EnumWindows(lambda hWnd, param: param.append(hWnd), hWndList)
print hWndList
for hwnd in hWndList:
 title = win32gui.GetWindowText(hwnd)
 print title

打印显示如下:

[852802L, 65946L, 65928L, 65930L, 65900L, 65920L, 65924L, 65922L, 65944L, 65892L, 65886L, 6817870L, 65960L, 6031410L, …… 66052L, 65734L]
……
New Text Document.txt - Notepad
Snipping Tool
DDE Server Window
OfficePowerManagerWindow
OfficePowerManagerWindow
DDE Server Window
GDI+ Window
Global Internet Access
……

5、win32gui.SetForegroundWindow()函数将指定窗体设置到最顶层,并且激活该窗口

构造函数为:win32gui.SetWindowPos(HWN hWnd,HWND hWndlnsertAfter, int X,int Y, int cx,int cy, UNIT.Flags)

关于win32gui.SetForegroundWindow(para_hld)报错的问题:

pywintypes.error: (0, ‘SetForegroundWindow', ‘No error message is available')

其实调用SetForegroundWindow()会有很多限制,参考官网的说明

如何使用Python自动控制windows桌面

因此调用SetForegroundWindow()时需要查看当前运行的条件是否符合上述要求,此处在调用SetForegroundWindow()前事先发送一个键盘event来解决该问题。

例程如下所示:

win32api.keybd_event(13, 0, 0, 0) #
win32gui.SetForegroundWindow(para_hld)

6、win32api.keybd_event()模拟键盘输入

构造函数如下所示:

win32api.keybd_event (bVk, bScan, dwFlags, dwExtraInfo)
  • bVk:虚拟键码(键盘键码对照表见附录);
  • bScan:硬件扫描码,一般设置为0即可;
  • dwFlags:函数操作的一个标志位,如果值为KEYEVENTF_EXTENDEDKEY则该键被按下,也可设置为0即可,如果值为KEYEVENTF_KEYUP则该按键被释放;
  • dwExtraInfo:定义与击键相关的附加的32位值,一般设置为0即可。

按下enter键后抬起的例程如下所示:

win32api.keybd_event(13,0,0,0) # enter
win32api.keybd_event(13,0,win32con.KEYEVENTF_KEYUP,0) #释放按键

7、模拟鼠标输入

直接给出例程,如下所示:

# 获取鼠标当前位置的坐标
print win32api.GetCursorPos()
# 将鼠标移动到坐标处
win32api.SetCursorPos((100, 100))
# 左点击
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN, 100, 100, 0, 0)
time.sleep(2)
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP, 100, 100, 0, 0)

8、关于鼠标键盘的操作还可以使用PyUserInput库

PyUserInput是一个使用python的跨平台的操作鼠标和键盘的模块,使用非常方便。支持的平台及依赖如下:

  • Linux - Xlib
  • Mac - Quartz, AppKit
  • Windows - pywin32, pyHook

实例化一个鼠标和键盘对象,如下所示:

from pymouse import PyMouse
from pykeyboard import PyKeyboard
m = PyMouse()
k = PyKeyboard()
操作鼠标和键盘,如下所示:
m.click(190,70,1)#移动并且在xy位置点击
time.sleep(2)
m.click(190, 200, 1)#移动并且在xy位置点击
time.sleep(2)
k.tap_key(k.function_keys[5])#?点击功能键F5

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实用代码片段收集贴
Jun 03 Python
理解python正则表达式
Jan 15 Python
Python 基础教程之str和repr的详解
Aug 20 Python
python3.0 模拟用户登录,三次错误锁定的实例
Nov 02 Python
Python中的函数作用域
May 07 Python
Python面向对象之接口、抽象类与多态详解
Aug 27 Python
tensorflow如何批量读取图片
Aug 29 Python
pyinstaller还原python代码过程图解
Jan 08 Python
对pytorch的函数中的group参数的作用介绍
Feb 18 Python
用什么库写 Python 命令行程序(示例代码详解)
Feb 20 Python
Opencv常见图像格式Data Type及代码实例
Nov 02 Python
Selenium Webdriver元素定位的八种常用方式(小结)
Jan 13 Python
python字典嵌套字典的情况下找到某个key的value详解
Jul 10 #Python
如何安装并使用conda指令管理python环境
Jul 10 #Python
python变量的存储原理详解
Jul 10 #Python
python中 * 的用法详解
Jul 10 #Python
通过python实现随机交换礼物程序详解
Jul 10 #Python
Python实现简单的列表冒泡排序和反转列表操作示例
Jul 10 #Python
Python获取好友地区分布及好友性别分布情况代码详解
Jul 10 #Python
You might like
回答PHPCHINA上的几个问题:URL映射
2007/02/14 PHP
PHP实现抓取HTTPS内容
2014/12/01 PHP
关于URL最大长度限制的相关资料查证
2014/12/23 PHP
简单谈谈php中的unicode和utf8编码
2015/06/10 PHP
Thinkphp连表查询及数据导出方法示例
2016/10/15 PHP
tp5.1 实现setInc字段自动加1
2019/10/18 PHP
JQuery的ajax基础上的超强GridView展示
2009/09/18 Javascript
兼容IE和FF的js脚本代码小结(比较常用)
2010/12/06 Javascript
innerHTML与jquery里的html()区别介绍
2012/10/12 Javascript
javascript 面向对象封装与继承
2014/11/27 Javascript
JQuery中两个ul标签的li互相移动实现方法
2015/05/18 Javascript
jQuery+PHP+MySQL二级联动下拉菜单实例讲解
2015/10/27 Javascript
Javascript缓存API
2016/06/14 Javascript
微信小程序 Page()函数详解
2016/10/17 Javascript
jQuery滑动到底部加载下一页数据的实例代码
2017/05/22 jQuery
微信小程序图片宽100%显示并且不变形
2017/06/21 Javascript
Vue render深入开发讲解
2018/04/13 Javascript
详解vue通过NGINX部署在子目录或者二级目录实践
2018/09/03 Javascript
微信小程序动态添加和删除组件的现实
2020/02/28 Javascript
Vue+Element自定义纵向表格表头教程
2020/10/26 Javascript
[07:54]DOTA2 MV《我的动力鞋》 ImbaTV 出品
2014/11/21 DOTA
Python编码时应该注意的几个情况
2013/03/04 Python
Python中用memcached来减少数据库查询次数的教程
2015/04/07 Python
Python Opencv提取图片中某种颜色组成的图形的方法
2019/09/19 Python
Eclipse配置python默认头过程图解
2020/04/26 Python
python框架flask入门之路由及简单实现方法
2020/06/07 Python
使用keras时input_shape的维度表示问题说明
2020/06/29 Python
韩国最大的购物网站:Gmarket
2019/06/20 全球购物
房地产销售经理岗位职责
2014/01/01 职场文书
开展党的群众路线教育实践活动方案
2014/02/05 职场文书
班级安全教育实施方案
2014/02/23 职场文书
信息技术培训感言
2014/03/06 职场文书
2014年保密工作总结
2014/11/22 职场文书
二年级语文上册复习计划
2015/01/19 职场文书
学前教育见习总结
2015/06/23 职场文书
聘任合同书
2015/09/21 职场文书