实例探究Python以并发方式编写高性能端口扫描器的方法


Posted in Python onJune 14, 2016

关于端口扫描器
端口扫描工具(Port Scanner)指用于探测服务器或主机开放端口情况的工具。常被计算机管理员用于确认安全策略,同时被攻击者用于识别目标主机上的可运作的网络服务。

端口扫描定义是客户端向一定范围的服务器端口发送对应请求,以此确认可使用的端口。虽然其本身并不是恶意的网络活动,但也是网络攻击者探测目标主机服务,以利用该服务的已知漏洞的重要手段。端口扫描的主要用途仍然只是确认远程机器某个服务的可用性。

扫描多个主机以获取特定的某个端口被称为端口清扫(Portsweep),以此获取特定的服务。例如,基于SQL服务的计算机蠕虫就会清扫大量主机的同一端口以在 1433 端口上建立TCP连接。

Python实现

端口扫描器原理很简单,无非就是操作socket,能connect就认定这个端口开放着。

import socket 
def scan(port): 
  s = socket.socket() 
  if s.connect_ex(('localhost', port)) == 0: 
    print port, 'open' 
  s.close() 
if __name__ == '__main__': 
  map(scan,range(1,65536))

这样一个最简单的端口扫描器出来了。
等等喂,半天都没反应,那是因为socket是阻塞的,每次连接要等很久才超时。
我们自己给它加上的超时。

s.settimeout(0.1)

再跑一遍,感觉快多了。

多线程版本

import socket 
import threading 
def scan(port): 
  s = socket.socket() 
  s.settimeout(0.1) 
  if s.connect_ex(('localhost', port)) == 0: 
    print port, 'open' 
  s.close() 
 
if __name__ == '__main__': 
  threads = [threading.Thread(target=scan, args=(i,)) for i in xrange(1,65536)] 
  map(lambda x:x.start(),threads)

运行一下,哇,好快,快到抛出错误了。thread.error: can't start new thread。
想一下,这个进程开启了65535个线程,有两种可能,一种是超过最大线程数了,一种是超过最大socket句柄数了。在linux可以通过ulimit来修改。
如果不修改最大限制,怎么用多线程不报错呢?
加个queue,变成生产者-消费者模式,开固定线程。

多线程+队列版本

import socket 
import threading 
from Queue import Queue 
def scan(port): 
  s = socket.socket() 
  s.settimeout(0.1) 
  if s.connect_ex(('localhost', port)) == 0: 
    print port, 'open' 
  s.close() 
 
def worker(): 
  while not q.empty(): 
    port = q.get() 
    try: 
      scan(port) 
    finally: 
      q.task_done() 
 
if __name__ == '__main__': 
  q = Queue() 
  map(q.put,xrange(1,65535)) 
  threads = [threading.Thread(target=worker) for i in xrange(500)] 
  map(lambda x:x.start(),threads) 
  q.join()

这里开500个线程,不停的从队列取任务来做。

multiprocessing+队列版本
总不能开65535个进程吧?还是用生产者消费者模式

import multiprocessing 
def scan(port): 
  s = socket.socket() 
  s.settimeout(0.1) 
  if s.connect_ex(('localhost', port)) == 0: 
    print port, 'open' 
  s.close() 
 
def worker(q): 
  while not q.empty(): 
    port = q.get() 
    try: 
      scan(port) 
    finally: 
      q.task_done() 
 
if __name__ == '__main__': 
  q = multiprocessing.JoinableQueue() 
  map(q.put,xrange(1,65535)) 
  jobs = [multiprocessing.Process(target=worker, args=(q,)) for i in xrange(100)] 
  map(lambda x:x.start(),jobs)

注意这里把队列作为一个参数传入到worker中去,因为是process safe的queue,不然会报错。
还有用的是JoinableQueue(),顾名思义就是可以join()的。

gevent的spawn版本

from gevent import monkey; monkey.patch_all(); 
import gevent 
import socket 
... 
if __name__ == '__main__': 
  threads = [gevent.spawn(scan, i) for i in xrange(1,65536)] 
  gevent.joinall(threads)

注意monkey patch必须在被patch的东西之前import,不然会Exception KeyError.比如不能先import threading,再monkey patch.

gevent的Pool版本

from gevent import monkey; monkey.patch_all(); 
import socket 
from gevent.pool import Pool 
... 
if __name__ == '__main__': 
  pool = Pool(500) 
  pool.map(scan,xrange(1,65536)) 
  pool.join()

concurrent.futures版本

import socket 
from Queue import Queue 
from concurrent.futures import ThreadPoolExecutor 
... 
if __name__ == '__main__': 
  q = Queue() 
  map(q.put,xrange(1,65536)) 
  with ThreadPoolExecutor(max_workers=500) as executor: 
    for i in range(500): 
      executor.submit(worker,q)
Python 相关文章推荐
跟老齐学Python之for循环语句
Oct 02 Python
python获取当前日期和时间的方法
Apr 30 Python
PHP网页抓取之抓取百度贴吧邮箱数据代码分享
Apr 13 Python
python微信跳一跳游戏辅助代码解析
Jan 29 Python
Python SqlAlchemy动态添加数据表字段实例解析
Feb 07 Python
Django+Ajax+jQuery实现网页动态更新的实例
May 28 Python
pygame游戏之旅 如何制作游戏障碍
Nov 20 Python
Python自动化完成tb喵币任务的操作方法
Oct 30 Python
Python3+selenium配置常见报错解决方案
Aug 28 Python
Python实现自动整理文件的脚本
Dec 17 Python
Python中Numpy和Matplotlib的基本使用指南
Nov 02 Python
python函数的两种嵌套方法使用
Apr 02 Python
Python使用dis模块把Python反编译为字节码的用法详解
Jun 14 #Python
Python的Flask框架中使用Flask-Migrate扩展迁移数据库的教程
Jun 14 #Python
Python的Flask框架中使用Flask-SQLAlchemy管理数据库的教程
Jun 14 #Python
全面了解Python的getattr(),setattr(),delattr(),hasattr()
Jun 14 #Python
浅谈python中的getattr函数 hasattr函数
Jun 14 #Python
深入解析Python中的线程同步方法
Jun 14 #Python
详解Python中的Descriptor描述符类
Jun 14 #Python
You might like
用PHP实现多级树型菜单
2006/10/09 PHP
php命名空间学习详解
2014/02/27 PHP
ThinkPHP使用心得分享-分页类Page的用法
2014/05/15 PHP
thinkphp5 + ajax 使用formdata提交数据(包括文件上传) 后台返回json完整实例
2020/03/02 PHP
js禁止document element对象选中文本实现代码
2013/03/21 Javascript
js 数组操作之pop,push,unshift,splice,shift
2014/01/29 Javascript
jQuery Trim去除字符串首尾空字符的实现方法说明
2014/02/11 Javascript
jquery让返回的内容显示在特定div里(代码少而精悍)
2014/06/23 Javascript
基于javascript制作微博发布栏效果
2016/04/04 Javascript
layui select动态添加option的实例
2018/03/07 Javascript
详解通过源码解析Node.js中cluster模块的主要功能实现
2018/05/16 Javascript
Layui带搜索的下拉框的使用以及动态数据绑定方法
2019/09/28 Javascript
Python最基本的数据类型以及对元组的介绍
2015/04/14 Python
使用Python的urllib2模块处理url和图片的技巧两则
2016/02/18 Python
Python栈算法的实现与简单应用示例
2017/11/01 Python
简述:我为什么选择Python而不是Matlab和R语言
2017/11/14 Python
解决Python2.7中IDLE启动没有反应的问题
2018/11/30 Python
PyQt5 窗口切换与自定义对话框的实例
2019/06/20 Python
python使用百度文字识别功能方法详解
2019/07/23 Python
基于python3监控服务器状态进行邮件报警
2019/10/19 Python
PyTorch中permute的用法详解
2019/12/30 Python
python机器学习库xgboost的使用
2020/01/20 Python
对Tensorflow中Device实例的生成和管理详解
2020/02/04 Python
django实现模型字段动态choice的操作
2020/04/01 Python
python“静态”变量、实例变量与本地变量的声明示例
2020/11/13 Python
python使用matplotlib的savefig保存时图片保存不完整的问题
2021/01/08 Python
CSS教程:CSS3圆角属性
2009/04/02 HTML / CSS
LG西班牙网上商店:Tienda LG Online Es
2019/07/30 全球购物
《会走路的树》教后反思
2014/04/19 职场文书
一年级小学生评语
2014/04/22 职场文书
机关门卫的岗位职责
2014/04/29 职场文书
党日活动总结
2014/05/07 职场文书
校园新闻广播稿5篇
2014/10/10 职场文书
欢迎新生标语2015
2015/07/16 职场文书
学习师德师风的心得体会(2篇)
2019/10/08 职场文书
浅析NIO系列之TCP
2021/06/15 Java/Android