python实现web邮箱扫描的示例(附源码)


Posted in Python onMarch 30, 2021

信息收集是进行渗透测试的关键部分,掌握大量的信息对于攻击者来说是一件非常重要的事情,比如,我们知道一个服务器的版本信息,我们就可以利用该服务器框架的相关漏洞对该服务器进行测试。那么如果我们掌握了该服务器的管理员的邮箱地址,我们就可以展开一个钓鱼攻击。所以,对web站点进行邮箱扫描,是进行钓鱼攻击的一种前提条件。

下面,我们利用python脚本来实现一个web站点的邮箱扫描爬取。目的是在实现这个脚本的过程中对python进行学习

最后有完整代码

基本思路

  1. 我们向工具传入目标站点之后,首先要对输入进行一个基本的检查和分析,因为我们会可能会传入各种样式的地址,比如http://www.xxxx.com/、http://www.xxxx.com/123/456/789.html等等,我们需要对其进行简单的拆分,以便于后面链接的爬取
  2. 通过requests库爬取目标地址的内容,并且在内容通过正则表达式中寻找邮箱地址
  3. 查找爬取的网站中的超链接,通过这些超链接我们就能进入到该站点的另外一个页面继续寻找我们想要的邮箱地址。
  4. 开工:

该脚本所需要的一些库

from bs4 import BeautifulSoup #BeautifulSoup最主要的功能是从网页抓取数据,Beautiful Soup自动将输入文档转换为Unicode编码
import requests #requests是python实现的最简单易用的HTTP库
import requests.exceptions
import urllib.parse
from collections import deque #deque 是一个双端队列, 如果要经常从两端append 的数据, 选择这个数据结构就比较好了, 如果要实现随机访问,不建议用这个,请用列表. 
import re #是一个正则表达式的库

获取扫描目标

user_url=str(input('[+] Enter Target URL to Scan:'))
urls =deque([user_url]) #把目标地址放入deque对象列表

scraped_urls= set()#set() 函数创建一个无序不重复元素集,可进行关系测试,删除重复数据,还可以计算交集、差集、并集等。
emails = set()

对网页进行邮箱地址爬取(100条)

首先要对目标地址进行分析,拆分目标地址的协议,域名以及路径。然后利用requests的get方法访问网页,通过正则表达式过滤出是邮箱地址的内容。'[a-z0-0.-+]+@[a-z0-9.-+]+.[a-z]+',符合邮箱格式的内容就进行收录。

count=0
try:
  while len(urls):  #如果urls有长度的话进行循环
    count += 1		#添加计数器来记录爬取链接的条数 
    if count ==101:
      break
    url = urls.popleft() #popleft()会删除urls里左边第一条数据并传给url
    scraped_urls.add(url)

    parts = urllib.parse.urlsplit(url) # 打印 parts会显示:SplitResult(scheme='http', netloc='www.baidu.com', path='', query='', fragment='')
    base_url = '{0.scheme}://{0.netloc}'.format(parts)#scheme:协议;netloc:域名 

    path = url[:url.rfind('/')+1] if '/' in parts.path else url#提取路径
    print('[%d] Processing %s' % (count,url))
   
    try:
      head = {'User-Agent':"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11"}
      response = requests.get(url,headers = head)
    except(requests.exceptions.MissingSchema,requests.exceptions.ConnectionError):
      continue
    new_emails = set(re.findall(r'[a-z0-0\.\-+_]+@[a-z0-9\.\-+_]+\.[a-z]+', response.text ,re.I))#通过正则表达式从获取的网页中提取邮箱,re.I表示忽略大小写
    emails.update(new_emails)#将获取的邮箱地址存在emalis中。

通过锚点进入下一网页继续搜索

soup = BeautifulSoup(response.text, features='lxml')

    for anchor in soup.find_all('a'):  #寻找锚点。在html中,<a>标签代表一个超链接,herf属性就是链接地址
      link = anchor.attrs['href'] if 'href' in anchor.attrs else '' #如果,我们找到一个超链接标签,并且该标签有herf属性,那么herf后面的地址就是我们需要锚点链接。
      if link.startswith('/'):#如果该链接以/开头,那它只是一个路径,我们就需要加上协议和域名,base_url就是刚才分离出来的协议+域名
        link = base_url + link
      elif not link.startswith('http'):#如果不是以/和http开头的话,就要加上路径。
        link =path + link
      if not link in urls and not link in scraped_urls:#如果该链接在之前没还有被收录的话,就把该链接进行收录。
        urls.append(link)
except KeyboardInterrupt:
  print('[+] Closing')

for mail in emails:
  print(mail)

完整代码

from bs4 import BeautifulSoup
import requests
import requests.exceptions
import urllib.parse
from collections import deque
import re

user_url=str(input('[+] Enter Target URL to Scan:'))
urls =deque([user_url])

scraped_urls= set()
emails = set()


count=0
try:
  while len(urls):
    count += 1
    if count ==100:
      break
    url = urls.popleft()
    scraped_urls.add(url)

    parts = urllib.parse.urlsplit(url)
    base_url = '{0.scheme}://{0.netloc}'.format(parts)

    path = url[:url.rfind('/')+1] if '/' in parts.path else url

    print('[%d] Processing %s' % (count,url))
    try:
      head = {'User-Agent':"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11"}
      response = requests.get(url,headers = head)
    except(requests.exceptions.MissingSchema,requests.exceptions.ConnectionError):
      continue
    new_emails = set(re.findall(r'[a-z0-0\.\-+_]+@[a-z0-9\.\-+_]+\.[a-z]+', response.text ,re.I))
    emails.update(new_emails)

    soup = BeautifulSoup(response.text, features='lxml')

    for anchor in soup.find_all('a'):
      link = anchor.attrs['href'] if 'href' in anchor.attrs else ''
      if link.startswith('/'):
        link = base_url + link
      elif not link.startswith('http'):
        link =path + link
      if not link in urls and not link in scraped_urls:
        urls.append(link)
except KeyboardInterrupt:
  print('[+] Closing')

for mail in emails:
  print(mail)

实验………………

python实现web邮箱扫描的示例(附源码)

以上就是python实现web邮箱扫描的示例(附源码)的详细内容,更多关于python web邮箱扫描的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python获取网页上图片下载地址的方法
Mar 11 Python
利用python程序帮大家清理windows垃圾
Jan 15 Python
python 专题九 Mysql数据库编程基础知识
Mar 16 Python
Python多进程原理与用法分析
Aug 21 Python
python 应用之Pycharm 新建模板默认添加编码格式-作者-时间等信息【推荐】
Jun 17 Python
Django REST framework内置路由用法
Jul 26 Python
python实现图片二值化及灰度处理方式
Dec 07 Python
python GUI库图形界面开发之PyQt5开发环境配置与基础使用
Feb 25 Python
Python random库使用方法及异常处理方案
Mar 02 Python
Python爬虫headers处理及网络超时问题解决方案
Jun 19 Python
基于python图书馆管理系统设计实例详解
Aug 05 Python
Python脚本调试工具安装过程
Jan 11 Python
python函数指定默认值的实例讲解
Mar 29 #Python
pytest进阶教程之fixture函数详解
python中pandas.read_csv()函数的深入讲解
Mar 29 #Python
python编写函数注意事项总结
Mar 29 #Python
python基于tkinter制作无损音乐下载工具
Python requests库参数提交的注意事项总结
Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤
You might like
在PHP中使用XML
2006/10/09 PHP
实用函数4
2007/11/08 PHP
php二维数组排序与默认自然排序的方法介绍
2013/04/27 PHP
单点登录 Ucenter示例分析
2013/10/29 PHP
destoon找回管理员密码的方法
2014/06/21 PHP
php实现的Timer页面运行时间监测类
2014/09/24 PHP
火狐浏览器(firefox)下获得Event对象以及keyCode
2008/11/13 Javascript
Jquery提交表单 Form.js官方插件介绍
2012/03/01 Javascript
防止登录页面出现在frame中js代码
2014/07/22 Javascript
javascript事件冒泡实例分析
2015/05/13 Javascript
nodejs爬虫抓取数据乱码问题总结
2015/07/03 NodeJs
原生JavaScript实现Ajax的方法
2016/04/07 Javascript
Js获取图片原始宽高的实现代码
2016/05/17 Javascript
javascript三种代码注释方法
2016/06/02 Javascript
jQuery基础_入门必看知识点
2016/07/04 Javascript
vue服务端渲染的实例代码
2017/08/28 Javascript
three.js实现3D视野缩放效果
2017/11/16 Javascript
浅谈vue 单文件探索
2018/09/05 Javascript
jQuery时间戳和日期相互转换操作示例
2018/12/07 jQuery
vue配置文件实现代理v2版本的方法
2019/06/21 Javascript
JsonServer安装及启动过程图解
2020/02/28 Javascript
python连接oracle数据库实例
2014/10/17 Python
Python之py2exe打包工具详解
2017/06/14 Python
python3 pygame实现接小球游戏
2019/05/14 Python
详解pytorch 0.4.0迁移指南
2019/06/16 Python
给大家整理了19个pythonic的编程习惯(小结)
2019/09/25 Python
安装python及pycharm的教程图解
2019/10/10 Python
python numpy 反转 reverse示例
2019/12/04 Python
通过实例简单了解Python sys.argv[]使用方法
2020/08/04 Python
python实现跨年表白神器--你值得拥有
2021/01/04 Python
html5本地存储 localStorage操作使用详解
2016/09/20 HTML / CSS
美国在线健康和美容市场:Pharmapacks
2018/12/05 全球购物
台湾演唱会订票网站:StubHub台湾
2019/06/11 全球购物
SK-II神仙水美国官网:SK-II美国
2020/02/25 全球购物
学校综治宣传月活动总结
2014/07/02 职场文书
审计班子对照检查材料
2014/08/27 职场文书