opencv 识别微信登录验证滑动块位置

目标

识别微信登录新账号，需要拖动滑块验证时，目标块相对于图片的位置

前提相关信息:

• 滑块与目标位置的距离是随机的，且在一定范围内，设其最大最小值为[min, max]
• 滑块滑到距离目标左右10个单位的误差内也可以通过验证
• 每次的滑块验证码有三次重试的机会，如果三次验证不过，微信会自动换验证码
• 可以无限次数刷新验证码
• 应用机器学习应该能达到出色的识别率，但考虑到时间+学习成本，不采用机器学习的方式

相关图片信息

截图 - 通过android自带的截图工具截取验证的界面，在代码中为screenshot.jpg

三种方案

1.随机拖动

基本思路:

每次验证码的三次重试机会，分别采用min + 10, (min + max)/2, max - 10三个位置进行拖动。

若不通过，则刷新验证码，重复上述过程

优点：

• 单张验证码通过率下等
• 不用截图、下载图片与滑块图
• 不需要加入python-opencv层
• 因为可以无限重试，试的次数多了就能过

缺点:

• 判断的位置是根据min、max推断出来的大致范围
• min、max的值如果变化得很明显，那么程序也要响应修改min与max的值
  

2.根据颜色识别图片目标位置 (我打算采用这个方案)

基本思路:

根据目标位置的颜色的规律性(一般都是灰黑灰黑的)，制定一个颜色范围

从图片中用inRange将图片转换成黑白图，白色部分为原图中符合颜色范围的区域

用findContours找出所有轮廓，根据轮廓所涉及的元素点的最多的几项判断目标位置的大致范围

代码实现

# 读取截图
screenshot = cv2.imread('screenshot.jpg')
# 筛选出符合颜色区间的区域
inRange = cv2.inRange(screenshot, np.array([90, 90, 90]), np.array([115, 115, 115]))
# 从图中找出所有的轮廓
_, cnts, _ = cv2.findContours(inRange.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 对所有轮廓做排序，排序依据是每个轮廓包含的点的数量
cnts.sort(key=len, reverse=True)
# 取前两个轮廓(有些图片目标位置不一定是第一个轮廓)
for cnt in cnts[0: 2]:
  xSum = 0
  xCounter = 0
  for position in cnt:
    xCounter += 1
    xSum += position[0][0]
  # 算出所有点的X坐标平均值，并在此基础上做一个60像素的偏移，这个偏移可以根据自己手机进行调整
  x = int(xSum / xCounter - 60)
  # 在截图上画一条红线，表示识别的x坐标位置
  cv2.line(screenshot, (x, 0), (x, 500), (0, 0, 255), 5)
cv2.imshow("screenshot", screenshot)
cv2.waitKey(0)

优点:

• 单张验证码通过率中等
• 不用下载图片与滑块图
  

缺点:

• 判断的位置仍然是大致范围，较第一种随机位置范围精确性有较大提升
• 需要加入python-opencv层
• 需要截图
• 根据滑块识别目标位置

基本思路:

滑块与目标位置的区别在于，目标位置加了一层灰黑色透明前景色，图片处理时先给滑块图片加上相同的灰黑色透明前景色

用处理过的滑块去匹配目标位置

代码实现:

# 读取滑块图片，并给其加上相同的灰黑色透明前景色，再进行灰化
block = cv2.imread('block.jpg')
blockCopy = block.copy()
w, h = block.shape[:-1]
cv2.rectangle(blockCopy, (0, 0), (w, h), (47, 47, 47), -1)
cv2.addWeighted(blockCopy, 0.7, block, 0.3, 0, block)
block = cv2.cvtColor(block, cv2.COLOR_RGB2GRAY)
# 读取验证码图片，并灰化
captcha = cv2.imread('captcha.jpg')
captchaGray = cv2.cvtColor(captcha, cv2.COLOR_RGB2GRAY)
# 寻找captcha中匹配block的位置
res = cv2.matchTemplate(captchaGray, block, cv2.TM_SQDIFF)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
# 在最符合的画一个矩形
cv2.rectangle(captcha, min_loc, (min_loc[0] + w, min_loc[1] + h), (0, 0, 255), -1)
cv2.imshow('block', block)
cv2.imshow("captcha", captcha)
cv2.waitKey(0);

优点:

• 单张验证码通过率高
• 如果判断成功，位置一般很精确

缺点:

• 需要加入python-opencv层
• 需要下载原图、滑块图(原图、滑块图的下载还没研究)
• 判断不成功的时候，判断的位置一般偏离目标位置较大

总结

三种方案中第二种拥有不错的验证率，且较第三种只需要对验证界面进行截图，开发较容易。
综上所述，第二种方案是我认为较好的方法。