python实现web邮箱扫描的示例(附源码)


Posted in Python onMarch 30, 2021

信息收集是进行渗透测试的关键部分,掌握大量的信息对于攻击者来说是一件非常重要的事情,比如,我们知道一个服务器的版本信息,我们就可以利用该服务器框架的相关漏洞对该服务器进行测试。那么如果我们掌握了该服务器的管理员的邮箱地址,我们就可以展开一个钓鱼攻击。所以,对web站点进行邮箱扫描,是进行钓鱼攻击的一种前提条件。

下面,我们利用python脚本来实现一个web站点的邮箱扫描爬取。目的是在实现这个脚本的过程中对python进行学习

最后有完整代码

基本思路

  1. 我们向工具传入目标站点之后,首先要对输入进行一个基本的检查和分析,因为我们会可能会传入各种样式的地址,比如http://www.xxxx.com/、http://www.xxxx.com/123/456/789.html等等,我们需要对其进行简单的拆分,以便于后面链接的爬取
  2. 通过requests库爬取目标地址的内容,并且在内容通过正则表达式中寻找邮箱地址
  3. 查找爬取的网站中的超链接,通过这些超链接我们就能进入到该站点的另外一个页面继续寻找我们想要的邮箱地址。
  4. 开工:

该脚本所需要的一些库

from bs4 import BeautifulSoup #BeautifulSoup最主要的功能是从网页抓取数据,Beautiful Soup自动将输入文档转换为Unicode编码
import requests #requests是python实现的最简单易用的HTTP库
import requests.exceptions
import urllib.parse
from collections import deque #deque 是一个双端队列, 如果要经常从两端append 的数据, 选择这个数据结构就比较好了, 如果要实现随机访问,不建议用这个,请用列表. 
import re #是一个正则表达式的库

获取扫描目标

user_url=str(input('[+] Enter Target URL to Scan:'))
urls =deque([user_url]) #把目标地址放入deque对象列表

scraped_urls= set()#set() 函数创建一个无序不重复元素集,可进行关系测试,删除重复数据,还可以计算交集、差集、并集等。
emails = set()

对网页进行邮箱地址爬取(100条)

首先要对目标地址进行分析,拆分目标地址的协议,域名以及路径。然后利用requests的get方法访问网页,通过正则表达式过滤出是邮箱地址的内容。'[a-z0-0.-+]+@[a-z0-9.-+]+.[a-z]+',符合邮箱格式的内容就进行收录。

count=0
try:
  while len(urls):  #如果urls有长度的话进行循环
    count += 1		#添加计数器来记录爬取链接的条数 
    if count ==101:
      break
    url = urls.popleft() #popleft()会删除urls里左边第一条数据并传给url
    scraped_urls.add(url)

    parts = urllib.parse.urlsplit(url) # 打印 parts会显示:SplitResult(scheme='http', netloc='www.baidu.com', path='', query='', fragment='')
    base_url = '{0.scheme}://{0.netloc}'.format(parts)#scheme:协议;netloc:域名 

    path = url[:url.rfind('/')+1] if '/' in parts.path else url#提取路径
    print('[%d] Processing %s' % (count,url))
   
    try:
      head = {'User-Agent':"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11"}
      response = requests.get(url,headers = head)
    except(requests.exceptions.MissingSchema,requests.exceptions.ConnectionError):
      continue
    new_emails = set(re.findall(r'[a-z0-0\.\-+_]+@[a-z0-9\.\-+_]+\.[a-z]+', response.text ,re.I))#通过正则表达式从获取的网页中提取邮箱,re.I表示忽略大小写
    emails.update(new_emails)#将获取的邮箱地址存在emalis中。

通过锚点进入下一网页继续搜索

soup = BeautifulSoup(response.text, features='lxml')

    for anchor in soup.find_all('a'):  #寻找锚点。在html中,<a>标签代表一个超链接,herf属性就是链接地址
      link = anchor.attrs['href'] if 'href' in anchor.attrs else '' #如果,我们找到一个超链接标签,并且该标签有herf属性,那么herf后面的地址就是我们需要锚点链接。
      if link.startswith('/'):#如果该链接以/开头,那它只是一个路径,我们就需要加上协议和域名,base_url就是刚才分离出来的协议+域名
        link = base_url + link
      elif not link.startswith('http'):#如果不是以/和http开头的话,就要加上路径。
        link =path + link
      if not link in urls and not link in scraped_urls:#如果该链接在之前没还有被收录的话,就把该链接进行收录。
        urls.append(link)
except KeyboardInterrupt:
  print('[+] Closing')

for mail in emails:
  print(mail)

完整代码

from bs4 import BeautifulSoup
import requests
import requests.exceptions
import urllib.parse
from collections import deque
import re

user_url=str(input('[+] Enter Target URL to Scan:'))
urls =deque([user_url])

scraped_urls= set()
emails = set()


count=0
try:
  while len(urls):
    count += 1
    if count ==100:
      break
    url = urls.popleft()
    scraped_urls.add(url)

    parts = urllib.parse.urlsplit(url)
    base_url = '{0.scheme}://{0.netloc}'.format(parts)

    path = url[:url.rfind('/')+1] if '/' in parts.path else url

    print('[%d] Processing %s' % (count,url))
    try:
      head = {'User-Agent':"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11"}
      response = requests.get(url,headers = head)
    except(requests.exceptions.MissingSchema,requests.exceptions.ConnectionError):
      continue
    new_emails = set(re.findall(r'[a-z0-0\.\-+_]+@[a-z0-9\.\-+_]+\.[a-z]+', response.text ,re.I))
    emails.update(new_emails)

    soup = BeautifulSoup(response.text, features='lxml')

    for anchor in soup.find_all('a'):
      link = anchor.attrs['href'] if 'href' in anchor.attrs else ''
      if link.startswith('/'):
        link = base_url + link
      elif not link.startswith('http'):
        link =path + link
      if not link in urls and not link in scraped_urls:
        urls.append(link)
except KeyboardInterrupt:
  print('[+] Closing')

for mail in emails:
  print(mail)

实验………………

python实现web邮箱扫描的示例(附源码)

以上就是python实现web邮箱扫描的示例(附源码)的详细内容,更多关于python web邮箱扫描的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python中的super用法详解
May 28 Python
Python中类型检查的详细介绍
Feb 13 Python
教大家玩转Python字符串处理的七种技巧
Mar 31 Python
使用DataFrame删除行和列的实例讲解
Apr 08 Python
django 发送邮件和缓存的实现代码
Jul 18 Python
python opencv实现图像边缘检测
Apr 29 Python
python实现的按要求生成手机号功能示例
Oct 08 Python
tensorflow实现tensor中满足某一条件的数值取出组成新的tensor
Jan 04 Python
虚拟机下载python是否需要联网
Jul 27 Python
python实现每天自动签到领积分的示例代码
Aug 18 Python
python 简单的调用有道翻译
Nov 25 Python
python编写五子棋游戏
May 25 Python
python函数指定默认值的实例讲解
Mar 29 #Python
pytest进阶教程之fixture函数详解
python中pandas.read_csv()函数的深入讲解
Mar 29 #Python
python编写函数注意事项总结
Mar 29 #Python
python基于tkinter制作无损音乐下载工具
Python requests库参数提交的注意事项总结
Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤
You might like
php 团购折扣计算公式
2011/11/24 PHP
phpmail类发送邮件函数代码
2012/02/20 PHP
利用PHP访问带有密码的Redis方法示例
2017/02/09 PHP
JQuery操作单选按钮以及复选按钮示例
2013/09/23 Javascript
js动态移动滚动条至底部示例代码
2014/04/24 Javascript
JavaScript中的无阻塞加载性能优化方案
2014/10/10 Javascript
angularjs中的单元测试实例
2014/12/06 Javascript
JavaScript中的console.time()函数详细介绍
2014/12/29 Javascript
JS实现的仿东京商城菜单、仿Win右键菜单及仿淘宝TAB特效合集
2015/09/28 Javascript
AngularJS控制器之间的数据共享及通信详解
2016/08/01 Javascript
JS+CSS实现下拉刷新/上拉加载插件
2017/03/31 Javascript
详解Vue中过度动画效果应用
2017/05/25 Javascript
jQuery简介_动力节点Java学院整理
2017/07/04 jQuery
vue双花括号的使用方法 附练习题
2017/11/07 Javascript
实例讲解javascript实现异步图片上传方法
2017/12/05 Javascript
微信小程序实现发红包功能
2018/07/11 Javascript
vue使用vuex实现首页导航切换不同路由的方法
2019/05/08 Javascript
d3.js 地铁轨道交通项目实战
2019/11/27 Javascript
[03:01]2014DOTA2国际邀请赛 小组赛7月13日TOPPLAY
2014/07/14 DOTA
用Python实现web端用户登录和注册功能的教程
2015/04/30 Python
Python实现监控程序执行时间并将其写入日志的方法
2015/06/30 Python
python3.4控制用户输入与输出的方法
2018/10/17 Python
python 检查文件mime类型的方法
2018/12/08 Python
python把ipynb文件转换成pdf文件过程详解
2019/07/09 Python
python config文件的读写操作示例
2019/09/27 Python
关于ZeroMQ 三种模式python3实现方式
2019/12/23 Python
全面解析HTML5中的标准属性与自定义属性
2016/02/18 HTML / CSS
EQVVS官网:设计师男装和女装
2018/10/24 全球购物
英国最大的在线照明商店:Litecraft
2020/08/31 全球购物
求职简历的自我评价
2014/01/31 职场文书
机关出纳岗位职责
2014/04/03 职场文书
党员反对四风问题思想汇报
2014/09/12 职场文书
2014年政风行风工作总结
2014/11/22 职场文书
2015毕业生自我评价范文
2015/03/02 职场文书
幼儿园小班开学寄语
2015/05/27 职场文书
win11如何查看端口是否被占用? Win11查看端口是否占用的技巧
2022/04/05 数码科技