巧用python和libnmapd,提取Nmap扫描结果


Posted in Python onAugust 23, 2016

每当我进行内网渗透面对大量主机和服务时,我总是习惯使用自动化的方式从 nmap 扫描结果中提取信息。这样有利于自动化检测不同类型的服务,例如对 web 服务进行路径爆破,测试 SSL/TLS 服务使用的密钥或协议,以及其他有针对性的测试。
我在渗透测试中也会经常使用到 IPthon 或 *nix shell,而这些又都能够通过 Python 来访问,无论是直接在脚本中使用、在 REPL 环境下使用,还是将代码写入到磁盘上然后通过 shell 命令访问都是非常好用的。

为了完成这些,libnmap 库会提供很好的帮助。本文将会讲述一系列如何使用一行代码解析 nmap 扫描结果,其中会在 Python 环境中使用到 libnmap 里的 NmapParser 库,这个库可以很容易的帮助我们解析 nmap 的扫描结果。
我希望本文不仅仅是提供给你可以直接复制粘贴的代码,还可以了解到 IPython 也是渗透测试时一个非常好用的数据处理工具。

配置
解析 nmap 扫描结果的第一步是你要进行一次 nmap 扫描。我不打算在这里关注过多的细节部分,但是你想要直接使用本文的代码,你需要将扫描结构保存到一个 xml 文件中(-oX 或者 -oA)并且在开放端口上执行了服务侦测(-sV)和运行相关脚本(-sC)。
本文的命令假设你在一个 Python REPL 环境如 IPython 并且安装 libnmap 模块(可以使用easy_install 或 pip 安装)的环境下执行。
开始前,你需要设置下相应的环境,首先导入 NmapParser 模块并读入你的 xml 扫描结果文件(实例中名为”up_hosts_all_ports_fullscan.xml”位于当前工作目录下)
 

from libnmap.parser import NmapParser

nmap_report = NmapParser.parse_fromfile('up_hosts_all_ports_fullscan.xml')

本文的余下部分会包含一系列使用一行代码提取各种各样有用的信息。全部的示例都假设 nmap 扫描结果保存在一个如上所示的文件中。下面的会给出一些基本的示例代码,如果你想在 IPython 中直接运行它们,请先运行上面的代码,这样它会直接在控制台输出方便你的查看。我通常会先做好这一步,这样我就可以确保输出的数据跟预期的一样。
然后,你可以选择一个变量名并使用 “=” 将数据赋值给这个变量,这样你就可以在随后的代码中直接调用,或者将其写入到磁盘上以便 shell 命令使用。如果有些东西你想使用多次,可以粘贴一些代码段到 Python 脚本中,或者想加入一些更加复杂的逻辑但这样可能会使 REPL 环境难以处理,我会在最后一节中讲述如何快速的执行这些操作。

端口信息
开放指定端口号的主机
显示所有开放指定端口号的主机。生成一个包含主机地址(string)的列表。下面以 443 端口为例,你可以修改成你自己需要的值。
 

 [ a.address for a in nmap_report.hosts if (a.get_open_ports()) and 443 in [b[0] for b in a.get_open_ports()] ]

 

开放端口数量

显示一系列主机开放端口的数量。生成一个包含端口数量(int)的列表,并进行排序。
 

 sorted(set([ b[0] for a in nmap_report.hosts for b in a.get_open_ports()]), key=int)

 

主机开放端口对应的服务,按端口号进行分组

显示所有主机开放的端口号,按端口号进行分组和排序。生成一个包含多个列表的列表(即列表的每个元素也为列表),其中每个成员列表第一个元素为端口号(int),第二个元素为一个包含开放对应端口主机 IP 地址(string)的列表。

 [ [a, [ b.address for b in nmap_report.hosts for c in b.get_open_ports() if a==c[0] ] ] for a in sorted(set([ b[0] for a in nmap_report.hosts for b in a.get_open_ports()]),key=int) ]

SSL/TLS 和 HTTP/HTTPS

使用 SSL 的主机和端口

显示所有使用 SSL 的主机和端口。这是通过查找是否有服务使用了 “SSL” 通道或者相关脚本检测的结果中包含 pem 证书。生成一个包含一系列列表的列表,每个成员列表中包含主机地址(string)和端口号(int)。
 

 [ [a.address, b.port] for a in nmap_report.hosts for b in a.services if b.tunnel=='ssl' or "'pem'" in str(b.scripts_results) ]

下面的内容包含上述相同的信息,但不在是一个包含列表的列表,而是使用 join 函数创建了一个包含 “主机:端口号”(string) 的列表。
 

 [ ':'.join([a.address, str(b.port)]) for a in nmap_report.hosts for b in a.services if b.tunnel=='ssl' or "'pem'" in str(b.scripts_results) ]

包含 web 服务的主机和端口

显示所有的 web 服务及其对对应的端口号和协议(http 或 https)。这会生成一个包含多个列表的列表,其中每个成员列表包含协议(string)、地址(string)和端口号(int)。但这里会有些问题,nmap 在报告使用 https 的网站时,有些时候会显示服务是 “https”,而有时则会显示为使用 “ssl” 通道的 “http”,所以我调整了下数据格式以便统一输出。
 

 [ [(b.service + b.tunnel).replace('sl',''), a.address, b.port] for a in nmap_report.hosts for b in a.services if b.open() and b.service.startswith('http') ]

这里还是相同的信息,只不过是在原先包含协议、主机和端口号的列表中增加了url(string)。

 [ (b.service + b.tunnel).replace('sl','') + '://' + a.address + ':' + str(b.port) + '/' for a in nmap_report.hosts for b in a.services if b.open() and b.service.startswith('http') ]

其他服务信息
未知服务

显示所有 nmap 无法识别的服务。生成一个包含多个列表的列表,其中每个成员列表包含地址(string)、端口号(int)和 nmap 扫描的端口指纹(string)。生成这些信息,主要是为了方便后续人工审查那些特定的服务,而不会参与到任何自动化的过程中。

 [ [ a.address, b.port, b.servicefp ] for a in nmap_report.hosts for b in a.services if (b.service =='unknown' or b.servicefp) and b.port in [c[0] for c in a.get_open_ports()] ]

nmap 识别出的软件
显示 nmap 扫描中识别出的所有软件。生成按产品字母排序的列表。

 sorted(set([ b.banner for a in nmap_report.hosts for b in a.services if 'product' in b.banner]))

软件对应的主机和端口号,按产品分组
显示扫描出软件对应的主机和端口,按产品分组。生成一个包含多个列表的列表,其中每个成员列表的第一个元素为软件的名称(string),随后是另一个列表包含地址(string)和端口号(int)。

 [ [ a, [ [b.address, c.port] for b in nmap_report.hosts for c in b.services if c.banner==a] ] for a in sorted(set([ b.banner for a in nmap_report.hosts for b in a.services if 'product' in b.banner])) ]

同上相同的信息,只是输出略有不同。同样还是生成一个包含多个列表的列表,成员列表的第一个元素还是软件的名称(string),但第二个是一个包含 “主机:端口号” 的列表。

 [ [ a, [ ':'.join([b.address, str(c.port)]) for b in nmap_report.hosts for c in b.services if c.banner==a] ] for a in sorted(set([ b.banner for a in nmap_report.hosts for b in a.services if 'product' in b.banner])) ]

搜索指定关键词相关的主机和端口
显示所有与给定关键词相关联的主机和端口,从 nmap 扫描结果的原始文本中查找包含产品名称、服务名称等等。下面以 “Oracle” 为例。生成一个包含多个列表的列表,其中每个成员列表包含主机地址(string)和端口号(int)。

 [ [a.address, b.port] for a in nmap_report.hosts for b in a.services if b.open() and 'Oracle' in str(b.get_dict()) + str(b.scripts_results) ]

 
同上一样的方法,只是将存储的信息修改后一律使用小写进行搜索(下面示例为小写的 “oracle”),输出格式还是跟上面一样。
 [ [a.address, b.port] for a in nmap_report.hosts for b in a.services if b.open() and 'oracle' in (str(b.get_dict()) + str(b.scripts_results)).lower() ]

 
其他的事情

相同的证书名称
显示找到的 SSL 证书和使用 nmap 脚本解析后得到证书名称相同的部分。这样在当你从一个 IP 地址开始扫描且反向 DNS 失效的时候,可以帮助确定系统的主机名。生成一个包含多个列表的列表,其中每个成员列表包含 IP 地址(string)和提取出的主机名(string)。
 

 [ [a.address, c['elements']['subject']['commonName'] ] for a in nmap_report.hosts for b in a.services for c in b.scripts_results if c.has_key('elements') and c['elements'].has_key('subject') ]

处理以上结果的方法

正向前面所说,上述的例子,当你直接粘贴进 IPython REPL 时只是将输出打印在屏幕上。这的确不错,因为这样你可以随时查看到自己感兴趣的信息,但你可能还会想做更多的事情。之所以去生成上述信息,一大好处就在于你可以根据结果轻松执行一些自动化的操作。
如果你已经很熟悉 Python,应当可以很容易完成这些工作,那么你可以跳过这一节。但如果你不熟悉,那么本节会讲述一些很基本的知识,告诉你如何使用上述的代码段。

保存到磁盘
如果你想将上述代码段的输出结果保存到磁盘上的文本文件中,你需要将输出的列表转换为适当的字符串格式(具体取决于你的需求),然后在将这个字符串写入文件。在 Python 中,你可以使用 join 函数来整合这些列表并将其写入文件,这里只是一个示例。
我们想要从生成的列表中提取出支持 SSL 的主机和端口,并将它们保存到一个新的文件中,这样可以在 bash 中使用循环来完成并使用命令行工具来进行测试。
我通常会在 IPython 中使用一行代码来完成这些,虽然一行代码会比较方便,但这里为了方便阅读和理解,我会将代码拆分出来说。
让我们来解析之前生成了一个包含 “主机:端口” 的列表,请注意我们使用了 str 函数将端口号从整数类型装换为了字符类型,这样使得它也能够使用 join 函数与其他字符串拼接在一起。
 

 [ ':'.join([a.address, str(b.port)]) for a in nmap_report.hosts for b in a.services if b.tunnel=='ssl' or "'pem'" in str(b.scripts_results) ]

让我们来给上面这段代码的结果分配名为 “ssl_services” 变量,以方便后续的调用。
 

 ssl_services = [ ':'.join([a.address, str(b.port)]) for a in nmap_report.hosts for b in a.services if b.tunnel=='ssl' or "'pem'" in str(b.scripts_results) ]

现在,让我们来使用 join 函数将列表的每一个元素拼接起来并使用 (‘\n') 进行换行,然后给它分配一个名为 “ssl_services_text” 的变量。

 ssl_services_text = '\n'.join(ssl_services)

随后,我们就可以在当前工作目录下创建一个名为 “ssl_services_file.txt” 的新文建,并将 “ssl_services_text” 变量的内容写入其中。
 

 open('ssl_services_file.txt','w').write(ssl_services_text)

就这么简单,后续你可以根据自己的需要来使用文件内容了。

使用其他 Python 代码
也许你还会想用其他的 Python 代码来完成上述工作?同样很简单,下面就是另一个示例,这里我们遍历每一个 nmap 识别出的 web 服务及其网页的请求结果。
下面会生成一个包含 URLs 的列表,我们分配一个名为 “urls” 的变量给它。
 

 urls = [ (b.service + b.tunnel).replace('sl','') + '://' + a.address + ':' + str(b.port) + '/' for a in nmap_report.hosts for b in a.services if b.open() and b.service.startswith('http') ]

下一步,我们先进行一些准备工作,导入 requests 模块,然后设置一个简单的 getAndSave 函数进行 web 请求并将返回结果保存到磁盘上,文件名按 url 自动生成。你可能会注意到下面代码中,在 get 请求中使用了 “verify=False” 选项,这会在发送请求时忽略证书验证的错误,这个选项经常在测试内部机器时使用,因为内部机器基本不会有可信的证书颁发机构颁发的 SSL 证书。
 

 import requests

def getAndSave(url):

r = requests.get(url, verify=False)

open('_'.join(url.split('/')[2:]).replace(':',''),'wb').write(r.text.encode('utf8'))

现在,让我们增加一些代码来遍历每一个 url,请求每个站点的 robots.txt 文件,并将其保存到本地以供后续使用。
 

 for a in urls:

getAndSave(a + 'robots.txt')

这样就会将每一个站点的 robots.txt 文件爬取到当前工作目录下。这只是一个很简单的例子。

总结

希望你在阅读完本文后,可以自己灵活的使用 Python 解析 nmap 扫描结果。

Python 相关文章推荐
Python统计列表中的重复项出现的次数的方法
Aug 18 Python
Python实现并行抓取整站40万条房价数据(可更换抓取城市)
Dec 14 Python
使用Python写一个贪吃蛇游戏实例代码
Aug 21 Python
朴素贝叶斯分类算法原理与Python实现与使用方法案例
Jun 26 Python
用Python实现最速下降法求极值的方法
Jul 10 Python
Django如何使用第三方服务发送电子邮件
Aug 14 Python
Python正则表达式急速入门(小结)
Dec 16 Python
tensorflow之变量初始化(tf.Variable)使用详解
Feb 06 Python
详解Pycharm出现out of memory的终极解决方法
Mar 03 Python
Python实现仿射密码的思路详解
Apr 23 Python
如何卸载python插件
Jul 08 Python
聊聊Python String型列表求最值的问题
Jan 18 Python
Python中属性和描述符的正确使用
Aug 23 #Python
Python实现基本线性数据结构
Aug 22 #Python
Python进行数据提取的方法总结
Aug 22 #Python
详解Python实现按任意键继续/退出的功能
Aug 19 #Python
利用Python开发微信支付的注意事项
Aug 19 #Python
Python用模块pytz来转换时区
Aug 19 #Python
教你用python3根据关键词爬取百度百科的内容
Aug 18 #Python
You might like
最新的php 文件上传模型,支持多文件上传
2009/08/13 PHP
基于PHP5魔术常量与魔术方法的详解
2013/06/13 PHP
PHP的消息通信机制测试实例
2016/11/10 PHP
php与c 实现按行读取文件实例代码
2017/01/03 PHP
php实现的生成迷宫与迷宫寻址算法完整实例
2017/11/06 PHP
ThinkPHP实现转换数据库查询结果数据到对应类型的方法
2017/11/16 PHP
php中yar框架实例用法讲解
2020/12/27 PHP
javascript 禁用IE工具栏,导航栏等等实现代码
2013/04/01 Javascript
自定义jquery模态窗口插件无法在顶层窗口显示问题
2014/05/29 Javascript
JavaScript 实现的checkbox经典实例分享
2016/10/16 Javascript
Jquery Easyui分割按钮组件SplitButton使用详解(17)
2016/12/18 Javascript
Three.js入门之hello world以及如何绘制线
2017/09/25 Javascript
vue2.0+vuex+localStorage代办事项应用实现详解
2018/05/31 Javascript
vue中v-model的应用及使用详解
2018/06/27 Javascript
jquery判断滚动条距离顶部的距离方法
2018/09/05 jQuery
微信小程序自定义轮播图
2018/11/04 Javascript
JS/HTML5游戏常用算法之碰撞检测 包围盒检测算法详解【矩形情况】
2018/12/13 Javascript
详解vue几种主动刷新的方法总结
2019/02/19 Javascript
vuex实现数据状态持久化
2019/11/11 Javascript
Angular 多级路由实现登录页面跳转(小白教程)
2019/11/19 Javascript
[52:22]EG vs VG Supermajor小组赛B组 BO3 第一场 6.2
2018/06/03 DOTA
python使用super()出现错误解决办法
2017/08/14 Python
python中dict字典的查询键值对 遍历 排序 创建 访问 更新 删除基础操作方法
2018/09/13 Python
pycharm中使用anaconda部署python环境的方法步骤
2018/12/19 Python
python使用pygame模块实现坦克大战游戏
2020/03/25 Python
用python拟合等角螺线的实现示例
2019/12/27 Python
tensorflow之并行读入数据详解
2020/02/05 Python
基于Python的接口自动化unittest测试框架和ddt数据驱动详解
2021/01/27 Python
html5 Canvas画图教程(7)—canvas里画曲线之quadraticCurveTo方法
2013/01/09 HTML / CSS
旅游与酒店管理的自我评价分享
2013/11/03 职场文书
高校辅导员推荐信范文
2013/12/25 职场文书
校园达人秀策划书
2014/01/12 职场文书
大学学生会竞选演讲稿
2014/04/25 职场文书
成立公司计划书
2014/05/07 职场文书
《梅花魂》教学反思
2016/02/18 职场文书
2017年寒假少先队活动总结
2016/04/06 职场文书