opencv 识别微信登录验证滑动块位置


Posted in Javascript onAugust 07, 2018

目标

识别微信登录新账号,需要拖动滑块验证时,目标块相对于图片的位置

前提相关信息:

  • 滑块与目标位置的距离是随机的,且在一定范围内,设其最大最小值为[min, max]
  • 滑块滑到距离目标左右10个单位的误差内也可以通过验证
  • 每次的滑块验证码有三次重试的机会,如果三次验证不过,微信会自动换验证码
  • 可以无限次数刷新验证码
  • 应用机器学习应该能达到出色的识别率,但考虑到时间+学习成本,不采用机器学习的方式

相关图片信息

截图 - 通过android自带的截图工具截取验证的界面,在代码中为screenshot.jpg

opencv 识别微信登录验证滑动块位置

opencv 识别微信登录验证滑动块位置

opencv 识别微信登录验证滑动块位置

三种方案

1.随机拖动

基本思路:

每次验证码的三次重试机会,分别采用min + 10, (min + max)/2, max - 10三个位置进行拖动。

若不通过,则刷新验证码,重复上述过程

优点:

  • 单张验证码通过率下等
  • 不用截图、下载图片与滑块图
  • 不需要加入python-opencv层
  • 因为可以无限重试,试的次数多了就能过

缺点:

  • 判断的位置是根据min、max推断出来的大致范围
  • min、max的值如果变化得很明显,那么程序也要响应修改min与max的值

2.根据颜色识别图片目标位置 (我打算采用这个方案)

基本思路:

根据目标位置的颜色的规律性(一般都是灰黑灰黑的),制定一个颜色范围

opencv 识别微信登录验证滑动块位置

从图片中用inRange将图片转换成黑白图,白色部分为原图中符合颜色范围的区域

用findContours找出所有轮廓,根据轮廓所涉及的元素点的最多的几项判断目标位置的大致范围

代码实现

# 读取截图
screenshot = cv2.imread('screenshot.jpg')
# 筛选出符合颜色区间的区域
inRange = cv2.inRange(screenshot, np.array([90, 90, 90]), np.array([115, 115, 115]))
# 从图中找出所有的轮廓
_, cnts, _ = cv2.findContours(inRange.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 对所有轮廓做排序,排序依据是每个轮廓包含的点的数量
cnts.sort(key=len, reverse=True)
# 取前两个轮廓(有些图片目标位置不一定是第一个轮廓)
for cnt in cnts[0: 2]:
  xSum = 0
  xCounter = 0
  for position in cnt:
    xCounter += 1
    xSum += position[0][0]
  # 算出所有点的X坐标平均值,并在此基础上做一个60像素的偏移,这个偏移可以根据自己手机进行调整
  x = int(xSum / xCounter - 60)
  # 在截图上画一条红线,表示识别的x坐标位置
  cv2.line(screenshot, (x, 0), (x, 500), (0, 0, 255), 5)
cv2.imshow("screenshot", screenshot)
cv2.waitKey(0)

优点:

  • 单张验证码通过率中等
  • 不用下载图片与滑块图

缺点:

  • 判断的位置仍然是大致范围,较第一种随机位置范围精确性有较大提升
  • 需要加入python-opencv层
  • 需要截图
  • 根据滑块识别目标位置

基本思路:

滑块与目标位置的区别在于,目标位置加了一层灰黑色透明前景色,图片处理时先给滑块图片加上相同的灰黑色透明前景色

opencv 识别微信登录验证滑动块位置
opencv 识别微信登录验证滑动块位置

用处理过的滑块去匹配目标位置

代码实现:

# 读取滑块图片,并给其加上相同的灰黑色透明前景色,再进行灰化
block = cv2.imread('block.jpg')
blockCopy = block.copy()
w, h = block.shape[:-1]
cv2.rectangle(blockCopy, (0, 0), (w, h), (47, 47, 47), -1)
cv2.addWeighted(blockCopy, 0.7, block, 0.3, 0, block)
block = cv2.cvtColor(block, cv2.COLOR_RGB2GRAY)
# 读取验证码图片,并灰化
captcha = cv2.imread('captcha.jpg')
captchaGray = cv2.cvtColor(captcha, cv2.COLOR_RGB2GRAY)
# 寻找captcha中匹配block的位置
res = cv2.matchTemplate(captchaGray, block, cv2.TM_SQDIFF)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
# 在最符合的画一个矩形
cv2.rectangle(captcha, min_loc, (min_loc[0] + w, min_loc[1] + h), (0, 0, 255), -1)
cv2.imshow('block', block)
cv2.imshow("captcha", captcha)
cv2.waitKey(0);

优点:

  • 单张验证码通过率高
  • 如果判断成功,位置一般很精确

缺点:

  • 需要加入python-opencv层
  • 需要下载原图、滑块图(原图、滑块图的下载还没研究)
  • 判断不成功的时候,判断的位置一般偏离目标位置较大

总结

三种方案中第二种拥有不错的验证率,且较第三种只需要对验证界面进行截图,开发较容易。
综上所述,第二种方案是我认为较好的方法。

Javascript 相关文章推荐
使用TextRange获取输入框中光标的位
Oct 14 Javascript
Iframe自适应高度绝对好使的代码 兼容IE,遨游,火狐
Jan 27 Javascript
jqGrid随窗口大小变化自适应大小的示例代码
Dec 28 Javascript
JavaScript使用循环和分割来替换和删除元素实例
Oct 13 Javascript
Bootstrap的popover(弹出框)在append后弹不出(失效)
Feb 27 Javascript
老生常谈JavaScript获取CSS样式的方法(兼容各浏览器)
Sep 19 Javascript
JS实现图片轮播效果实例详解【可自动和手动】
Apr 04 Javascript
使用jQuery实现掷骰子游戏
Oct 24 jQuery
angularjs模态框的使用代码实例
Dec 20 Javascript
如何用JS模拟实现数组的map方法
Jul 30 Javascript
antd 表格列宽自适应方法以及错误处理操作
Oct 27 Javascript
Vue向后台传数组数据,springboot接收vue传的数组数据实例
Nov 12 Javascript
JavaScript设计模式之缓存代理模式原理与简单用法示例
Aug 07 #Javascript
深入浅析var,let,const的异同点
Aug 07 #Javascript
springMvc 前端用json的方式向后台传递对象数组方法
Aug 07 #Javascript
JS实现中英文混合文字溢出友好截取功能
Aug 06 #Javascript
JS实现图片上传多次上传同一张不生效的处理方法
Aug 06 #Javascript
JS插件clipboard.js实现一键复制粘贴功能
Dec 04 #Javascript
js实现图片上传并预览功能
Aug 06 #Javascript
You might like
自己做矿石收音机
2021/03/02 无线电
PHP pthreads v3使用中的一些坑和注意点分析
2020/02/21 PHP
jquery 获取标签名(tagName)示例代码
2013/07/11 Javascript
js二维数组排序的简单示例代码
2014/01/24 Javascript
jQuery修改li下的样式以及li下的img的src的值的方法
2014/11/02 Javascript
程序员必知35个jQuery 代码片段
2015/11/05 Javascript
再次谈论React.js实现原生js拖拽效果引起的一系列问题
2016/04/03 Javascript
微信小程序 video详解及简单实例
2017/01/16 Javascript
Node.js设置CORS跨域请求中多域名白名单的方法
2017/03/28 Javascript
微信小程序实现轮播图效果
2017/09/07 Javascript
jQuery实现下拉菜单动态添加数据点击滑出收起其他功能
2018/06/14 jQuery
Vue文件配置全局变量的实例
2018/09/06 Javascript
layui实现多图片上传并限制上传的图片数量
2019/09/26 Javascript
JavaScript中变量提升机制示例详解
2019/12/27 Javascript
jQuery实现鼠标移入显示蒙版效果
2020/01/11 jQuery
用Python解析XML的几种常见方法的介绍
2015/04/09 Python
Python求导数的方法
2015/05/09 Python
基于Python闭包及其作用域详解
2017/08/28 Python
Python cookbook(数据结构与算法)字典相关计算问题示例
2018/02/18 Python
python实现按行分割文件
2019/07/22 Python
Python如何调用外部系统命令
2019/08/07 Python
Python 类,property属性(简化属性的操作),@property,property()用法示例
2019/10/12 Python
简单了解为什么python函数后有多个括号
2019/12/19 Python
pytorch点乘与叉乘示例讲解
2019/12/27 Python
python3中sorted函数里cmp参数改变详解
2020/03/12 Python
茵宝(Umbro)英国官方商店:英国足球服装生产商
2016/12/29 全球购物
SHEIN美国:购买时髦的女性服装
2020/12/02 全球购物
心理学专业毕业生推荐信范文
2013/11/21 职场文书
年终考核评语
2014/01/19 职场文书
员工培训邀请函
2014/02/02 职场文书
平面设计专业求职信
2014/08/09 职场文书
乡文化站暑期培训方案
2014/08/28 职场文书
歼十出击观后感
2015/06/11 职场文书
信息技术远程培训心得体会
2016/01/09 职场文书
在Windows Server 2012上安装 .NET Framework 3.5 所遇到的问题
2022/04/29 Servers
纯CSS打字动画的实现示例
2022/08/05 HTML / CSS