实例探究Python以并发方式编写高性能端口扫描器的方法


Posted in Python onJune 14, 2016

关于端口扫描器
端口扫描工具(Port Scanner)指用于探测服务器或主机开放端口情况的工具。常被计算机管理员用于确认安全策略,同时被攻击者用于识别目标主机上的可运作的网络服务。

端口扫描定义是客户端向一定范围的服务器端口发送对应请求,以此确认可使用的端口。虽然其本身并不是恶意的网络活动,但也是网络攻击者探测目标主机服务,以利用该服务的已知漏洞的重要手段。端口扫描的主要用途仍然只是确认远程机器某个服务的可用性。

扫描多个主机以获取特定的某个端口被称为端口清扫(Portsweep),以此获取特定的服务。例如,基于SQL服务的计算机蠕虫就会清扫大量主机的同一端口以在 1433 端口上建立TCP连接。

Python实现

端口扫描器原理很简单,无非就是操作socket,能connect就认定这个端口开放着。

import socket 
def scan(port): 
  s = socket.socket() 
  if s.connect_ex(('localhost', port)) == 0: 
    print port, 'open' 
  s.close() 
if __name__ == '__main__': 
  map(scan,range(1,65536))

这样一个最简单的端口扫描器出来了。
等等喂,半天都没反应,那是因为socket是阻塞的,每次连接要等很久才超时。
我们自己给它加上的超时。

s.settimeout(0.1)

再跑一遍,感觉快多了。

多线程版本

import socket 
import threading 
def scan(port): 
  s = socket.socket() 
  s.settimeout(0.1) 
  if s.connect_ex(('localhost', port)) == 0: 
    print port, 'open' 
  s.close() 
 
if __name__ == '__main__': 
  threads = [threading.Thread(target=scan, args=(i,)) for i in xrange(1,65536)] 
  map(lambda x:x.start(),threads)

运行一下,哇,好快,快到抛出错误了。thread.error: can't start new thread。
想一下,这个进程开启了65535个线程,有两种可能,一种是超过最大线程数了,一种是超过最大socket句柄数了。在linux可以通过ulimit来修改。
如果不修改最大限制,怎么用多线程不报错呢?
加个queue,变成生产者-消费者模式,开固定线程。

多线程+队列版本

import socket 
import threading 
from Queue import Queue 
def scan(port): 
  s = socket.socket() 
  s.settimeout(0.1) 
  if s.connect_ex(('localhost', port)) == 0: 
    print port, 'open' 
  s.close() 
 
def worker(): 
  while not q.empty(): 
    port = q.get() 
    try: 
      scan(port) 
    finally: 
      q.task_done() 
 
if __name__ == '__main__': 
  q = Queue() 
  map(q.put,xrange(1,65535)) 
  threads = [threading.Thread(target=worker) for i in xrange(500)] 
  map(lambda x:x.start(),threads) 
  q.join()

这里开500个线程,不停的从队列取任务来做。

multiprocessing+队列版本
总不能开65535个进程吧?还是用生产者消费者模式

import multiprocessing 
def scan(port): 
  s = socket.socket() 
  s.settimeout(0.1) 
  if s.connect_ex(('localhost', port)) == 0: 
    print port, 'open' 
  s.close() 
 
def worker(q): 
  while not q.empty(): 
    port = q.get() 
    try: 
      scan(port) 
    finally: 
      q.task_done() 
 
if __name__ == '__main__': 
  q = multiprocessing.JoinableQueue() 
  map(q.put,xrange(1,65535)) 
  jobs = [multiprocessing.Process(target=worker, args=(q,)) for i in xrange(100)] 
  map(lambda x:x.start(),jobs)

注意这里把队列作为一个参数传入到worker中去,因为是process safe的queue,不然会报错。
还有用的是JoinableQueue(),顾名思义就是可以join()的。

gevent的spawn版本

from gevent import monkey; monkey.patch_all(); 
import gevent 
import socket 
... 
if __name__ == '__main__': 
  threads = [gevent.spawn(scan, i) for i in xrange(1,65536)] 
  gevent.joinall(threads)

注意monkey patch必须在被patch的东西之前import,不然会Exception KeyError.比如不能先import threading,再monkey patch.

gevent的Pool版本

from gevent import monkey; monkey.patch_all(); 
import socket 
from gevent.pool import Pool 
... 
if __name__ == '__main__': 
  pool = Pool(500) 
  pool.map(scan,xrange(1,65536)) 
  pool.join()

concurrent.futures版本

import socket 
from Queue import Queue 
from concurrent.futures import ThreadPoolExecutor 
... 
if __name__ == '__main__': 
  q = Queue() 
  map(q.put,xrange(1,65536)) 
  with ThreadPoolExecutor(max_workers=500) as executor: 
    for i in range(500): 
      executor.submit(worker,q)
Python 相关文章推荐
Python中的模块导入和读取键盘输入的方法
Oct 16 Python
Python爬取qq music中的音乐url及批量下载
Mar 23 Python
python机器学习实战之K均值聚类
Dec 20 Python
基于Python实现的微信好友数据分析
Feb 26 Python
python解决字符串倒序输出的问题
Jun 25 Python
python pandas实现excel转为html格式的方法
Oct 23 Python
python+pyqt5实现KFC点餐收银系统
Jan 24 Python
200行python代码实现2048游戏
Jul 17 Python
Python 依赖库太多了该如何管理
Nov 08 Python
python关于倒排列的知识点总结
Oct 13 Python
python读取excel数据绘制简单曲线图的完整步骤记录
Oct 30 Python
python3.9之你应该知道的新特性详解
Apr 29 Python
Python使用dis模块把Python反编译为字节码的用法详解
Jun 14 #Python
Python的Flask框架中使用Flask-Migrate扩展迁移数据库的教程
Jun 14 #Python
Python的Flask框架中使用Flask-SQLAlchemy管理数据库的教程
Jun 14 #Python
全面了解Python的getattr(),setattr(),delattr(),hasattr()
Jun 14 #Python
浅谈python中的getattr函数 hasattr函数
Jun 14 #Python
深入解析Python中的线程同步方法
Jun 14 #Python
详解Python中的Descriptor描述符类
Jun 14 #Python
You might like
DOTA2 玩家自创拉野攻略 特色英雄快速成长篇
2020/04/20 DOTA
PHP.MVC的模板标签系统(三)
2006/09/05 PHP
php简单封装了一些常用JS操作
2007/02/25 PHP
php需登录的文件上传管理系统
2020/03/21 PHP
php封装json通信接口详解及实例
2017/03/07 PHP
PHP实现根据数组某个键值大小进行排序的方法
2018/03/13 PHP
php版本CKEditor 4和CKFinder安装及配置方法图文教程
2019/06/05 PHP
学习YUI.Ext第五日--做拖放Darg&Drop
2007/03/10 Javascript
Javascript常用运算符(Operators)-javascript基础教程
2007/12/14 Javascript
如何实现textarea里的不同文本显示不同颜色
2014/01/20 Javascript
利用Angularjs实现幻灯片效果
2016/09/07 Javascript
AngularJS基于ngInfiniteScroll实现下拉滚动加载的方法
2016/12/14 Javascript
jQuery实现可移动选项的左右下拉列表示例
2016/12/26 Javascript
详解基于webpack和vue.js搭建开发环境
2017/04/05 Javascript
[47:42]Fnatic vs Liquid 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
在Python中操作字符串之startswith()方法的使用
2015/05/20 Python
Python面向对象编程中关于类和方法的学习笔记
2016/06/30 Python
Python实现简单求解给定整数的质因数算法示例
2018/03/25 Python
Python中asyncio与aiohttp入门教程
2018/10/16 Python
详解Python下Flask-ApScheduler快速指南
2018/11/04 Python
对pandas中时间窗函数rolling的使用详解
2018/11/28 Python
Python 3.8正式发布重要新功能一览
2019/10/17 Python
使用TensorFlow搭建一个全连接神经网络教程
2020/02/06 Python
解决Django响应JsonResponse返回json格式数据报错问题
2020/08/09 Python
IE兼容css3圆角的实现代码
2011/07/21 HTML / CSS
MVMT手表官方网站:时尚又实惠的高品质手表
2016/12/04 全球购物
Clearly新西兰:购买眼镜、太阳镜和隐形眼镜
2018/04/26 全球购物
Uber Eats台湾:寻找附近提供送餐服务的餐厅
2018/05/07 全球购物
AT&T Wireless:手机、无限数据计划和配件
2018/06/03 全球购物
中国京东和泰国中央集团合资的网站:JD CENTRAL
2020/08/22 全球购物
小学英语教学反思案例
2014/02/04 职场文书
学雷锋演讲稿
2014/03/04 职场文书
领导干部对照检查材料
2014/08/24 职场文书
幼儿教师师德培训心得体会
2016/01/09 职场文书
Nginx搭建rtmp直播服务器实现代码
2021/03/31 Servers
vue3使用vuedraggable实现拖拽功能
2022/04/06 Vue.js