opencv 识别微信登录验证滑动块位置


Posted in Javascript onAugust 07, 2018

目标

识别微信登录新账号,需要拖动滑块验证时,目标块相对于图片的位置

前提相关信息:

  • 滑块与目标位置的距离是随机的,且在一定范围内,设其最大最小值为[min, max]
  • 滑块滑到距离目标左右10个单位的误差内也可以通过验证
  • 每次的滑块验证码有三次重试的机会,如果三次验证不过,微信会自动换验证码
  • 可以无限次数刷新验证码
  • 应用机器学习应该能达到出色的识别率,但考虑到时间+学习成本,不采用机器学习的方式

相关图片信息

截图 - 通过android自带的截图工具截取验证的界面,在代码中为screenshot.jpg

opencv 识别微信登录验证滑动块位置

opencv 识别微信登录验证滑动块位置

opencv 识别微信登录验证滑动块位置

三种方案

1.随机拖动

基本思路:

每次验证码的三次重试机会,分别采用min + 10, (min + max)/2, max - 10三个位置进行拖动。

若不通过,则刷新验证码,重复上述过程

优点:

  • 单张验证码通过率下等
  • 不用截图、下载图片与滑块图
  • 不需要加入python-opencv层
  • 因为可以无限重试,试的次数多了就能过

缺点:

  • 判断的位置是根据min、max推断出来的大致范围
  • min、max的值如果变化得很明显,那么程序也要响应修改min与max的值

2.根据颜色识别图片目标位置 (我打算采用这个方案)

基本思路:

根据目标位置的颜色的规律性(一般都是灰黑灰黑的),制定一个颜色范围

opencv 识别微信登录验证滑动块位置

从图片中用inRange将图片转换成黑白图,白色部分为原图中符合颜色范围的区域

用findContours找出所有轮廓,根据轮廓所涉及的元素点的最多的几项判断目标位置的大致范围

代码实现

# 读取截图
screenshot = cv2.imread('screenshot.jpg')
# 筛选出符合颜色区间的区域
inRange = cv2.inRange(screenshot, np.array([90, 90, 90]), np.array([115, 115, 115]))
# 从图中找出所有的轮廓
_, cnts, _ = cv2.findContours(inRange.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 对所有轮廓做排序,排序依据是每个轮廓包含的点的数量
cnts.sort(key=len, reverse=True)
# 取前两个轮廓(有些图片目标位置不一定是第一个轮廓)
for cnt in cnts[0: 2]:
  xSum = 0
  xCounter = 0
  for position in cnt:
    xCounter += 1
    xSum += position[0][0]
  # 算出所有点的X坐标平均值,并在此基础上做一个60像素的偏移,这个偏移可以根据自己手机进行调整
  x = int(xSum / xCounter - 60)
  # 在截图上画一条红线,表示识别的x坐标位置
  cv2.line(screenshot, (x, 0), (x, 500), (0, 0, 255), 5)
cv2.imshow("screenshot", screenshot)
cv2.waitKey(0)

优点:

  • 单张验证码通过率中等
  • 不用下载图片与滑块图

缺点:

  • 判断的位置仍然是大致范围,较第一种随机位置范围精确性有较大提升
  • 需要加入python-opencv层
  • 需要截图
  • 根据滑块识别目标位置

基本思路:

滑块与目标位置的区别在于,目标位置加了一层灰黑色透明前景色,图片处理时先给滑块图片加上相同的灰黑色透明前景色

opencv 识别微信登录验证滑动块位置
opencv 识别微信登录验证滑动块位置

用处理过的滑块去匹配目标位置

代码实现:

# 读取滑块图片,并给其加上相同的灰黑色透明前景色,再进行灰化
block = cv2.imread('block.jpg')
blockCopy = block.copy()
w, h = block.shape[:-1]
cv2.rectangle(blockCopy, (0, 0), (w, h), (47, 47, 47), -1)
cv2.addWeighted(blockCopy, 0.7, block, 0.3, 0, block)
block = cv2.cvtColor(block, cv2.COLOR_RGB2GRAY)
# 读取验证码图片,并灰化
captcha = cv2.imread('captcha.jpg')
captchaGray = cv2.cvtColor(captcha, cv2.COLOR_RGB2GRAY)
# 寻找captcha中匹配block的位置
res = cv2.matchTemplate(captchaGray, block, cv2.TM_SQDIFF)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
# 在最符合的画一个矩形
cv2.rectangle(captcha, min_loc, (min_loc[0] + w, min_loc[1] + h), (0, 0, 255), -1)
cv2.imshow('block', block)
cv2.imshow("captcha", captcha)
cv2.waitKey(0);

优点:

  • 单张验证码通过率高
  • 如果判断成功,位置一般很精确

缺点:

  • 需要加入python-opencv层
  • 需要下载原图、滑块图(原图、滑块图的下载还没研究)
  • 判断不成功的时候,判断的位置一般偏离目标位置较大

总结

三种方案中第二种拥有不错的验证率,且较第三种只需要对验证界面进行截图,开发较容易。
综上所述,第二种方案是我认为较好的方法。

Javascript 相关文章推荐
js实现编辑div节点名称的方法
Dec 17 Javascript
jQuery异步获取json数据方法汇总
Dec 22 Javascript
jQuery构造函数init参数分析续
May 13 Javascript
详解vue2 $watch要注意的问题
Sep 08 Javascript
利用adb shell和node.js实现抖音自动抢红包功能(推荐)
Feb 22 Javascript
react 国际化的实现代码示例
Sep 14 Javascript
解决Vue-cli npm run build生产环境打包,本地不能打开的问题
Sep 20 Javascript
vue 项目地址去掉 #的方法
Oct 20 Javascript
vue 点击展开显示更多(点击收起部分隐藏)
Apr 09 Javascript
js实现表格单列按字母排序
Aug 12 Javascript
JavaScript 实现下雪特效的示例代码
Sep 09 Javascript
Vant 在vue-cli 4.x中按需加载操作
Nov 05 Javascript
JavaScript设计模式之缓存代理模式原理与简单用法示例
Aug 07 #Javascript
深入浅析var,let,const的异同点
Aug 07 #Javascript
springMvc 前端用json的方式向后台传递对象数组方法
Aug 07 #Javascript
JS实现中英文混合文字溢出友好截取功能
Aug 06 #Javascript
JS实现图片上传多次上传同一张不生效的处理方法
Aug 06 #Javascript
JS插件clipboard.js实现一键复制粘贴功能
Dec 04 #Javascript
js实现图片上传并预览功能
Aug 06 #Javascript
You might like
PHP,ASP.JAVA,JAVA代码格式化工具整理
2010/06/15 PHP
解析php安全性问题中的:Null 字符问题
2013/06/21 PHP
使用phpstorm和xdebug实现远程调试的方法
2015/12/29 PHP
PHP中file_exists使用中遇到的问题小结
2016/04/05 PHP
php生成毫秒时间戳的实例讲解
2017/09/22 PHP
PHP框架Laravel中使用UUID实现数据分表操作示例
2018/05/30 PHP
基于jquery的获取浏览器窗口大小的代码
2011/03/28 Javascript
javascript获取作用在元素上面的样式属性代码
2012/09/20 Javascript
jquery实现加载等待效果示例
2013/09/25 Javascript
快速解决FusionCharts联动的中文乱码问题
2013/12/04 Javascript
Javascript 拖拽的一些简单的应用(逐行分析代码,让你轻松了拖拽的原理)
2015/01/23 Javascript
jQuery实现的输入框选择时间插件用法实例
2015/02/28 Javascript
js绘制圆形和矩形的方法
2015/08/05 Javascript
jQuery插件Validate实现自定义校验结果样式
2016/01/18 Javascript
基于百度地图实现产品销售的单位位置查看功能设计与实现
2016/10/21 Javascript
微信小程序 POST请求(网络请求)详解及实例代码
2016/11/16 Javascript
详解js数组的完全随机排列算法
2016/12/16 Javascript
详解本地Node.js服务器作为api服务器的解决办法
2017/02/28 Javascript
Vue.js实现一个SPA登录页面的过程【推荐】
2017/04/29 Javascript
解决JQuery的ajax函数执行失败alert函数弹框一闪而过问题
2019/04/10 jQuery
javascript+HTML5 canvas绘制时钟功能示例
2019/05/15 Javascript
Vue将页面导出为图片或者PDF
2020/08/17 Javascript
小程序自定义模板实现吸顶功能
2020/01/08 Javascript
vscode中的vue项目报错Property ‘xxx‘ does not exist on type ‘CombinedVueInstance<{ readyOnly...Vetur(2339)
2020/09/11 Javascript
python实现bitmap数据结构详解
2014/02/17 Python
python中Pycharm 输出中文或打印中文乱码现象的解决办法
2017/06/16 Python
python面向对象入门教程之从代码复用开始(一)
2018/12/11 Python
pytorch 批次遍历数据集打印数据的例子
2019/12/30 Python
Python简单实现区域生长方式
2020/01/16 Python
使用keras框架cnn+ctc_loss识别不定长字符图片操作
2020/06/29 Python
Python实时监控网站浏览记录实现过程详解
2020/07/14 Python
电子专业毕业生自我鉴定
2014/01/22 职场文书
毕业生求职信的经典写法
2014/01/31 职场文书
企业管理毕业生求职信范文
2014/03/07 职场文书
机房搬迁方案
2014/05/01 职场文书
2014年教育教学工作总结
2014/11/13 职场文书