python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别


Posted in Python onJune 04, 2018

前言

写爬虫有一个绕不过去的问题就是验证码,现在验证码分类大概有4种:

  1. 图像类
  2. 滑动类
  3. 点击类
  4. 语音类

今天先来看看图像类,这类验证码大多是数字、字母的组合,国内也有使用汉字的。在这个基础上增加噪点、干扰线、变形、重叠、不同字体颜色等方法来增加识别难度。

相应的,验证码识别大体可以分为下面几个步骤:

  1. 灰度处理
  2. 增加对比度(可选)
  3. 二值化
  4. 降噪
  5. 倾斜校正分割字符
  6. 建立训练库
  7. 识别

由于是实验性质的,文中用到的验证码均为程序生成而不是批量下载真实的网站验证码,这样做的好处就是可以有大量的知道明确结果的数据集。

当需要真实环境下需要获取数据时,可以使用结合各个大码平台来建立数据集进行训练。

生成验证码这里我使用Claptcha (本地下载)这个库,当然Captcha(本地下载)这个库也是个不错的选择。

为了生成最简单的纯数字、无干扰的验证码,首先需要将claptcha.py的285行_drawLine做一些修改,我直接让这个函数返回None,然后开始生成验证码:

from claptcha import Claptcha

c = Claptcha("8069","/usr/share/fonts/truetype/freefont/FreeMono.ttf")
t,_ = c.write('1.png')

这里需要注意ubuntu的字体路径,也可以在网上下载其他字体使用。生成验证码如下:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

可以看出,验证码有形变。对于这类最简单的验证码,可以直接使用谷歌开源的tesserocr来识别。

首先安装:

apt-get install tesseract-ocr libtesseract-dev libleptonica-dev
pip install tesserocr

然后开始识别:

from PIL import Image
import tesserocr

p1 = Image.open('1.png')
tesserocr.image_to_text(p1)

'8069\n\n'

可以看出,对于这种简单的验证码,基本什么都不做识别率就已经很高了。有兴趣的小伙伴可以用更多的数据来测试,这里我就不展开了。

接下来,在验证码背景添加噪点来看看:

c = Claptcha("8069","/usr/share/fonts/truetype/freefont/FreeMono.ttf",noise=0.4)
t,_ = c.write('2.png')

生成验证码如下:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

识别:

p2 = Image.open('2.png')
tesserocr.image_to_text(p2)
'8069\n\n'

效果还可以。接下来生成一个字母数字组合的:

c2 = Claptcha("A4oO0zZ2","/usr/share/fonts/truetype/freefont/FreeMono.ttf")
t,_ = c2.write('3.png')

生成验证码如下:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

第3个为小写字母o,第4个为大写字母O,第5个为数字0,第6个为小写字母z,第7个为大写字母Z,最后一个是数字2。人眼已经跪了有木有!但现在一般验证码对大小写是不做严格区分的,看自动识别什么样吧:

p3 = Image.open('3.png')
tesserocr.image_to_text(p3)
'AMOOZW\n\n'

人眼都跪的计算机当然也废了。但是,对于一些干扰小、形变不严重的,使用tesserocr还是十分简单方便的。然后将修改的claptcha.py的285行_drawLine还原,看添加干扰线的情况。

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

p4 = Image.open('4.png')
tesserocr.image_to_text(p4)
''

加了条干扰线就完全识别不出来了,那么有没有什么办法去除干扰线呢?

虽然图片看上去是黑白的,但还需要进行灰度处理,否则使用load()函数得到的是某个像素点的RGB元组而不是单一值了。处理如下:

def binarizing(img,threshold):
 """传入image对象进行灰度、二值处理"""
 img = img.convert("L") # 转灰度
 pixdata = img.load()
 w, h = img.size
 # 遍历所有像素,大于阈值的为黑色
 for y in range(h):
  for x in range(w):
   if pixdata[x, y] < threshold:
    pixdata[x, y] = 0
   else:
    pixdata[x, y] = 255
 return img

处理后的图片如下:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

可以看出处理后图片锐化了很多,接下来尝试去除干扰线,常见的4邻域、8邻域算法。所谓的X邻域算法,可以参考手机九宫格输入法,按键5为要判断的像素点,4邻域就是判断上下左右,8邻域就是判断周围8个像素点。如果这4或8个点中255的个数大于某个阈值则判断这个点为噪音,阈值可以根据实际情况修改。

def depoint(img):
 """传入二值化后的图片进行降噪"""
 pixdata = img.load()
 w,h = img.size
 for y in range(1,h-1):
  for x in range(1,w-1):
   count = 0
   if pixdata[x,y-1] > 245:#上
    count = count + 1
   if pixdata[x,y+1] > 245:#下
    count = count + 1
   if pixdata[x-1,y] > 245:#左
    count = count + 1
   if pixdata[x+1,y] > 245:#右
    count = count + 1
   if pixdata[x-1,y-1] > 245:#左上
    count = count + 1
   if pixdata[x-1,y+1] > 245:#左下
    count = count + 1
   if pixdata[x+1,y-1] > 245:#右上
    count = count + 1
   if pixdata[x+1,y+1] > 245:#右下
    count = count + 1
   if count > 4:
    pixdata[x,y] = 255
 return img

处理后的图片如下:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

好像……根本没卵用啊?!确实是这样的,因为示例中的图片干扰线的宽度和数字是一样的。对于干扰线和数据像素不同的,比如Captcha生成的验证码:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

从左到右依次是原图、二值化、去除干扰线的情况,总体降噪的效果还是比较明显的。另外降噪可以多次执行,比如我对上面的降噪后结果再进行依次降噪,可以得到下面的效果:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

再进行识别得到了结果:

p7 = Image.open('7.png')
tesserocr.image_to_text(p7)
'8069 ,,\n\n'

另外,从图片来看,实际数据颜色明显和噪点干扰线不同,根据这一点可以直接把噪点全部去除,这里就不展开说了。
第一篇文章,先记录如何将图片进行灰度处理、二值化、降噪,并结合tesserocr来识别简单的验证码,剩下的部分在下一篇文章中和大家一起分享。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python实现将json文件中向量写入Excel的方法
Mar 26 Python
PyQt5每天必学之日历控件QCalendarWidget
Apr 19 Python
Django框架的使用教程路由请求响应的方法
Jul 03 Python
python 3.6.5 安装配置方法图文教程
Sep 18 Python
对python中Librosa的mfcc步骤详解
Jan 09 Python
spark dataframe 将一列展开,把该列所有值都变成新列的方法
Jan 29 Python
Flask框架工厂函数用法实例分析
May 25 Python
python实现桌面气泡提示功能
Jul 29 Python
NumPy统计函数的实现方法
Jan 21 Python
使用 django orm 写 exists 条件过滤实例
May 20 Python
python三引号如何输入
Jul 06 Python
在 Golang 中实现 Cache::remember 方法详解
Mar 30 Python
实用自动化运维Python脚本分享
Jun 04 #Python
python中验证码连通域分割的方法详解
Jun 04 #Python
python 匹配url中是否存在IP地址的方法
Jun 04 #Python
Python实现ping指定IP的示例
Jun 04 #Python
用Python3创建httpServer的简单方法
Jun 04 #Python
Python3之简单搭建自带服务器的实例讲解
Jun 04 #Python
Python闭包执行时值的传递方式实例分析
Jun 04 #Python
You might like
php获取网站根目录物理路径的几种方法(推荐)
2017/03/04 PHP
PHP 中 var_export、print_r、var_dump 调试中的区别
2018/06/19 PHP
Jquery CheckBox全选方法代码附js checkbox全选反选代码
2010/06/09 Javascript
alert出数组中的随即值代码
2014/09/25 Javascript
原生js和jquery实现图片轮播淡入淡出效果
2015/04/23 Javascript
jQuery实现新消息在网页标题闪烁提示
2015/06/23 Javascript
jQuery实现hover合成事件的方法
2015/08/06 Javascript
JS框架之vue.js(深入三:组件1)
2016/09/29 Javascript
Bootstrap 手风琴菜单的实现代码
2017/01/20 Javascript
原生js实现轮播图的示例代码
2017/02/20 Javascript
vue父子组件的数据传递示例
2017/03/07 Javascript
js轮播图透明度切换(带上下页和底部圆点切换)
2017/04/27 Javascript
JavaScrpt中如何使用 cookie 设置查看与删除功能
2017/07/09 Javascript
深入理解Vue官方文档梳理之全局API
2017/11/22 Javascript
开发Vue树形组件的示例代码
2017/12/21 Javascript
微信小程序模板消息限制实现无限制主动推送的示例代码
2019/08/27 Javascript
[06:45]DOTA2卡尔工作室 英雄介绍幻影长矛手篇
2013/07/12 DOTA
python 截取 取出一部分的字符串方法
2017/03/01 Python
python的re正则表达式实例代码
2018/01/24 Python
Python实现迭代时使用索引的方法示例
2018/06/05 Python
python判断计算机是否有网络连接的实例
2018/12/15 Python
Python中那些 Pythonic的写法详解
2019/07/02 Python
Python 动态变量名定义与调用方法
2020/02/09 Python
Jupyter Notebook添加代码自动补全功能的实现
2021/01/07 Python
德国排名第一的主题公园门票网站:Attraction Tickets Direct
2019/09/09 全球购物
美国最大的购物网站:Amazon.com(亚马逊美国)
2020/05/23 全球购物
写一个用矩形法求定积分的通用函数
2012/11/08 面试题
《翻越远方的大山》教学反思
2014/04/13 职场文书
梅花魂教学反思
2014/04/25 职场文书
2014年学校法制宣传日活动总结
2014/11/01 职场文书
暗恋桃花源观后感
2015/06/12 职场文书
小学毕业教师寄语
2019/06/21 职场文书
Python Django 后台管理之后台模型属性详解
2021/04/25 Python
pandas DataFrame.shift()函数的具体使用
2021/05/24 Python
浅谈Redis的几个过期策略
2021/05/27 Redis
vue router 动态路由清除方式
2022/05/25 Vue.js