python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别


Posted in Python onJune 04, 2018

前言

写爬虫有一个绕不过去的问题就是验证码,现在验证码分类大概有4种:

  1. 图像类
  2. 滑动类
  3. 点击类
  4. 语音类

今天先来看看图像类,这类验证码大多是数字、字母的组合,国内也有使用汉字的。在这个基础上增加噪点、干扰线、变形、重叠、不同字体颜色等方法来增加识别难度。

相应的,验证码识别大体可以分为下面几个步骤:

  1. 灰度处理
  2. 增加对比度(可选)
  3. 二值化
  4. 降噪
  5. 倾斜校正分割字符
  6. 建立训练库
  7. 识别

由于是实验性质的,文中用到的验证码均为程序生成而不是批量下载真实的网站验证码,这样做的好处就是可以有大量的知道明确结果的数据集。

当需要真实环境下需要获取数据时,可以使用结合各个大码平台来建立数据集进行训练。

生成验证码这里我使用Claptcha (本地下载)这个库,当然Captcha(本地下载)这个库也是个不错的选择。

为了生成最简单的纯数字、无干扰的验证码,首先需要将claptcha.py的285行_drawLine做一些修改,我直接让这个函数返回None,然后开始生成验证码:

from claptcha import Claptcha

c = Claptcha("8069","/usr/share/fonts/truetype/freefont/FreeMono.ttf")
t,_ = c.write('1.png')

这里需要注意ubuntu的字体路径,也可以在网上下载其他字体使用。生成验证码如下:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

可以看出,验证码有形变。对于这类最简单的验证码,可以直接使用谷歌开源的tesserocr来识别。

首先安装:

apt-get install tesseract-ocr libtesseract-dev libleptonica-dev
pip install tesserocr

然后开始识别:

from PIL import Image
import tesserocr

p1 = Image.open('1.png')
tesserocr.image_to_text(p1)

'8069\n\n'

可以看出,对于这种简单的验证码,基本什么都不做识别率就已经很高了。有兴趣的小伙伴可以用更多的数据来测试,这里我就不展开了。

接下来,在验证码背景添加噪点来看看:

c = Claptcha("8069","/usr/share/fonts/truetype/freefont/FreeMono.ttf",noise=0.4)
t,_ = c.write('2.png')

生成验证码如下:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

识别:

p2 = Image.open('2.png')
tesserocr.image_to_text(p2)
'8069\n\n'

效果还可以。接下来生成一个字母数字组合的:

c2 = Claptcha("A4oO0zZ2","/usr/share/fonts/truetype/freefont/FreeMono.ttf")
t,_ = c2.write('3.png')

生成验证码如下:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

第3个为小写字母o,第4个为大写字母O,第5个为数字0,第6个为小写字母z,第7个为大写字母Z,最后一个是数字2。人眼已经跪了有木有!但现在一般验证码对大小写是不做严格区分的,看自动识别什么样吧:

p3 = Image.open('3.png')
tesserocr.image_to_text(p3)
'AMOOZW\n\n'

人眼都跪的计算机当然也废了。但是,对于一些干扰小、形变不严重的,使用tesserocr还是十分简单方便的。然后将修改的claptcha.py的285行_drawLine还原,看添加干扰线的情况。

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

p4 = Image.open('4.png')
tesserocr.image_to_text(p4)
''

加了条干扰线就完全识别不出来了,那么有没有什么办法去除干扰线呢?

虽然图片看上去是黑白的,但还需要进行灰度处理,否则使用load()函数得到的是某个像素点的RGB元组而不是单一值了。处理如下:

def binarizing(img,threshold):
 """传入image对象进行灰度、二值处理"""
 img = img.convert("L") # 转灰度
 pixdata = img.load()
 w, h = img.size
 # 遍历所有像素,大于阈值的为黑色
 for y in range(h):
  for x in range(w):
   if pixdata[x, y] < threshold:
    pixdata[x, y] = 0
   else:
    pixdata[x, y] = 255
 return img

处理后的图片如下:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

可以看出处理后图片锐化了很多,接下来尝试去除干扰线,常见的4邻域、8邻域算法。所谓的X邻域算法,可以参考手机九宫格输入法,按键5为要判断的像素点,4邻域就是判断上下左右,8邻域就是判断周围8个像素点。如果这4或8个点中255的个数大于某个阈值则判断这个点为噪音,阈值可以根据实际情况修改。

def depoint(img):
 """传入二值化后的图片进行降噪"""
 pixdata = img.load()
 w,h = img.size
 for y in range(1,h-1):
  for x in range(1,w-1):
   count = 0
   if pixdata[x,y-1] > 245:#上
    count = count + 1
   if pixdata[x,y+1] > 245:#下
    count = count + 1
   if pixdata[x-1,y] > 245:#左
    count = count + 1
   if pixdata[x+1,y] > 245:#右
    count = count + 1
   if pixdata[x-1,y-1] > 245:#左上
    count = count + 1
   if pixdata[x-1,y+1] > 245:#左下
    count = count + 1
   if pixdata[x+1,y-1] > 245:#右上
    count = count + 1
   if pixdata[x+1,y+1] > 245:#右下
    count = count + 1
   if count > 4:
    pixdata[x,y] = 255
 return img

处理后的图片如下:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

好像……根本没卵用啊?!确实是这样的,因为示例中的图片干扰线的宽度和数字是一样的。对于干扰线和数据像素不同的,比如Captcha生成的验证码:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

从左到右依次是原图、二值化、去除干扰线的情况,总体降噪的效果还是比较明显的。另外降噪可以多次执行,比如我对上面的降噪后结果再进行依次降噪,可以得到下面的效果:

python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别

再进行识别得到了结果:

p7 = Image.open('7.png')
tesserocr.image_to_text(p7)
'8069 ,,\n\n'

另外,从图片来看,实际数据颜色明显和噪点干扰线不同,根据这一点可以直接把噪点全部去除,这里就不展开说了。
第一篇文章,先记录如何将图片进行灰度处理、二值化、降噪,并结合tesserocr来识别简单的验证码,剩下的部分在下一篇文章中和大家一起分享。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python程序设计入门(1)基本语法简介
Jun 13 Python
零基础写python爬虫之神器正则表达式
Nov 06 Python
Python中使用hashlib模块处理算法的教程
Apr 28 Python
初步认识Python中的列表与位运算符
Oct 12 Python
Python的Django REST框架中的序列化及请求和返回
Apr 11 Python
总结python实现父类调用两种方法的不同
Jan 15 Python
Python运算符重载详解及实例代码
Mar 07 Python
Python3学习urllib的使用方法示例
Nov 29 Python
python调用java的jar包方法
Dec 15 Python
django实现更改数据库某个字段以及字段段内数据
Mar 31 Python
Python flask框架端口失效解决方案
Jun 04 Python
浅谈Python实现opencv之图片色素的数值运算和逻辑运算
Jun 23 Python
实用自动化运维Python脚本分享
Jun 04 #Python
python中验证码连通域分割的方法详解
Jun 04 #Python
python 匹配url中是否存在IP地址的方法
Jun 04 #Python
Python实现ping指定IP的示例
Jun 04 #Python
用Python3创建httpServer的简单方法
Jun 04 #Python
Python3之简单搭建自带服务器的实例讲解
Jun 04 #Python
Python闭包执行时值的传递方式实例分析
Jun 04 #Python
You might like
一个简单至极的PHP缓存类代码
2015/10/23 PHP
PHP检测接口Traversable用法详解
2017/12/29 PHP
PHP ElasticSearch做搜索实例讲解
2020/02/05 PHP
使用闭包对setTimeout进行简单封装避免出错
2013/07/10 Javascript
jQuery中noconflict函数的实现原理分解
2015/02/03 Javascript
使用C++为node.js写扩展模块
2015/04/22 Javascript
在JavaScript中操作时间之getMonth()方法的使用
2015/06/10 Javascript
jQuery自定义滚动条完整实例
2016/01/08 Javascript
JS清除文本框内容离开在恢复及鼠标离开文本框时触发js的方法
2016/01/12 Javascript
JS选取DOM元素的简单方法
2016/07/08 Javascript
jQuery 3.0十大新特性最终版发布
2016/07/14 Javascript
浅谈移动端之js touch事件 手势滑动事件
2016/11/07 Javascript
在 Angular2 中实现自定义校验指令(确认密码)的方法
2017/01/23 Javascript
使用 Vue 实现一个虚拟列表的方法
2019/08/20 Javascript
JavaScript实现左右滚动电影画布
2020/02/06 Javascript
TensorFlow.js 微信小程序插件开始支持模型缓存的方法
2020/02/21 Javascript
Vue中key的作用示例代码详解
2020/06/10 Javascript
浅谈vue获得后台数据无法显示到table上面的坑
2020/08/13 Javascript
[45:52]2018DOTA2亚洲邀请赛 4.1小组赛 A组加赛 LGD vs Liquid
2018/04/02 DOTA
基于python的七种经典排序算法(推荐)
2016/12/08 Python
python生成二维码的实例详解
2017/10/29 Python
关于Python数据结构中字典的心得
2017/12/04 Python
Python实现繁体中文与简体中文相互转换的方法示例
2018/12/18 Python
python进行文件对比的方法
2018/12/24 Python
10款最好的Python开发编辑器
2019/07/03 Python
python statsmodel的使用
2020/12/21 Python
python线程优先级队列知识点总结
2021/02/28 Python
英国最大的独立家具零售商:Furniture Village
2016/09/06 全球购物
javascript实现用户必须勾选协议实例讲解
2021/03/24 Javascript
植树造林的宣传标语
2014/06/23 职场文书
民事调解书范文
2015/05/20 职场文书
学法用法心得体会(2016推荐篇)
2016/01/21 职场文书
靠谱的活动总结
2019/04/16 职场文书
go类型转换及与C的类型转换方式
2021/05/05 Golang
mysql中整数数据类型tinyint详解
2021/12/06 MySQL
cypress测试本地web应用
2022/06/01 Javascript