详解python 破解网站反爬虫的两种简单方法


Posted in Python onFebruary 09, 2020

最近在学爬虫时发现许多网站都有自己的反爬虫机制,这让我们没法直接对想要的数据进行爬取,于是了解这种反爬虫机制就会帮助我们找到解决方法。
常见的反爬虫机制有判别身份和IP限制两种,下面我们将一一来进行介绍。

(一) 判别身份

首先我们看一个例子,看看到底什么时反爬虫。
我们还是以 豆瓣电影榜top250(https://movie.douban.com/top250) 为例。`

import requests

# 豆瓣电影榜top250的网址
url = 'https://movie.douban.com/top250'
# 请求与网站的连接
res = requests.get(url)
# 打印获取的文本
print(res.text)

这是段简单的请求与网站连接并打印获取数据的代码,我们来看看它的运行结果。

详解python 破解网站反爬虫的两种简单方法

我们可以发现我们什么数据都没有获取到,这就是由于这个网站有它的身份识别功能,把我们识别为了爬虫,拒绝为我们提供数据。不管是浏览器还是爬虫访问网站时都会带上一些信息用于身份识别。而这些信息都被存储在一个叫请求头(request headers) 的地方。而这个请求头中我们只需要了解其中的一个叫user-agent(用户代理) 的就可以了。user-agent里包含了操作系统、浏览器类型、版本等信息,通过修改它我们就能成功地伪装成浏览器。
下面我们来看怎么找这个user-agent吧。

首先得打开浏览器,随便打开一个网站,再打开开发者工具。
再点击network标签,接着点第一个请求,再找到Request Headers,最后找到user-agent字段。(有时候可能点击network标签后是空白得,这时候刷新下网页就好啦!)

详解python 破解网站反爬虫的两种简单方法

找到请求头后,我们只需要把他放进一个字典里就好啦,具体操作见下面代码。

import requests

# 复制刚才获取得请求头
headers = {
  'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
# 豆瓣电影榜top250的网址
url = 'https://movie.douban.com/top250'
# 请求与网站的连接
res = requests.get(url, headers=headers)
# 打印获取的文本
print(res.text)

现在我们再来看部分输出结果。

详解python 破解网站反爬虫的两种简单方法

我们可以发现已经将该网站的HTML文件全部爬取到了,至此第一种方法就将完成了。下面我们来看第二种方法。

(二) IP限制

IP(Internet Protocol) 全称互联网协议地址,意思是分配给用户上网使用的网际协议的设备的数字标签。它就像我们身份证号一样,只要知道你的身份证号就能查出你是哪个人。
当我们爬取大量数据时,如果我们不加以节制地访问目标网站,会使网站超负荷运转,一些个人小网站没什么反爬虫措施可能因此瘫痪。而大网站一般会限制你的访问频率,因为正常人是不会在 1s 内访问几十次甚至上百次网站的。所以,如果你访问过于频繁,即使改了 user-agent 伪装成浏览器了,也还是会被识别为爬虫,并限制你的 IP 访问该网站。
因此,我们常常使用 time.sleep() 来降低访问的频率,比如上一篇博客中的爬取整个网站的代码,我们每爬取一个网页就暂停一秒。

import requests
import time
from bs4 import BeautifulSoup

# 将获取豆瓣电影数据的代码封装成函数
def get_douban_movie(url):
 # 设置反爬虫的请求头
 headers = {
 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
 }

 # 请求网站的连接
 res = requests.get('https://movie.douban.com/top250', headers=headers)
 # 将网站数据存到BeautifulSoup对象中
 soup = BeautifulSoup(res.text,'html.parser')
 # 爬取网站中所有标签为'div',并且class='pl2'的数据存到Tag对象中
 items = soup.find_all('div', class_='hd')
 for i in items:
  # 再筛选出所有标签为a的数据
  tag = i.find('a')
  # 只读取第一个class='title'作为电影名
  name = tag.find(class_='title').text
  # 爬取书名对应的网址
  link = tag['href']
  print(name,link)

url = 'https://movie.douban.com/top250?start={}&filter='
# 将所有网址信息存到列表中
urls = [url.format(num*25) for num in range(10)]
for item in urls:
 get_douban_movie(item)
 # 暂停 1 秒防止访问太快被封
 time.sleep(1)

部分运行结果:

详解python 破解网站反爬虫的两种简单方法

至此两种比较简单的应对反爬虫方法就讲完啦,希望能对大家有所帮助,如果有问题,请及时给予我指正,感激不尽!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python max内置函数详细介绍
Nov 17 Python
Python机器学习之决策树算法
Dec 22 Python
对python中for、if、while的区别与比较方法
Jun 25 Python
python实现周期方波信号频谱图
Jul 21 Python
Python文件如何引入?详解引入Python文件步骤
Dec 10 Python
Django model 中设置联合约束和联合索引的方法
Aug 06 Python
Python-Flask:动态创建表的示例详解
Nov 22 Python
python图形界面开发之wxPython树控件使用方法详解
Feb 24 Python
python怎么提高计算速度
Jun 11 Python
解决Keras中CNN输入维度报错问题
Jun 29 Python
Python第三方包PrettyTable安装及用法解析
Jul 08 Python
五分钟学会怎么用python做一个简单的贪吃蛇
Jan 12 Python
Python字典深浅拷贝与循环方式方法详解
Feb 09 #Python
Python文件操作方法详解
Feb 09 #Python
Python列表操作方法详解
Feb 09 #Python
Python2与Python3的区别详解
Feb 09 #Python
python默认参数调用方法解析
Feb 09 #Python
Python集合操作方法详解
Feb 09 #Python
Python字符编码转码之GBK,UTF8互转
Feb 09 #Python
You might like
关于shopex同步ucenter的redirect问题,导致script不运行
2013/04/10 PHP
php之curl实现http与https请求的方法
2014/10/21 PHP
Codeigniter中集成smarty和adodb的方法
2016/03/04 PHP
php实现生成验证码实例分享
2016/04/10 PHP
Yii框架操作cookie与session的方法实例详解
2019/09/04 PHP
PHP上传图片到数据库并显示的实例代码
2019/12/20 PHP
setTimeout和setInterval的区别你真的了解吗?
2011/03/31 Javascript
基于jquery的simpleValidate简易验证插件
2014/01/31 Javascript
JQuery 控制内容长度超出规定长度显示省略号
2014/05/23 Javascript
JavaScript采用递归算法计算阶乘实例
2015/08/04 Javascript
jquery Banner轮播选项卡
2016/12/26 Javascript
原生JS实现的双色球功能示例
2018/02/02 Javascript
通过js动态创建标签,并设置属性方法
2018/02/24 Javascript
vue路由前进后退动画效果的实现代码
2018/12/10 Javascript
Angular6 发送手机验证码按钮倒计时效果实现方法
2019/01/08 Javascript
vue使用el-upload上传文件及Feign服务间传递文件的方法
2019/03/15 Javascript
html5以及jQuery实现本地图片上传前的预览代码实例讲解
2021/03/01 jQuery
在Python的Django框架的视图中使用Session的方法
2015/07/23 Python
java中两个byte数组实现合并的示例
2018/05/09 Python
python 去除txt文本中的空格、数字、特定字母等方法
2018/07/24 Python
python中时间转换datetime和pd.to_datetime详析
2019/08/11 Python
python 基于PYMYSQL使用MYSQL数据库
2020/12/24 Python
python批量生成身份证号到Excel的两种方法实例
2021/01/14 Python
美国知名的摄影器材销售网站:Adorama
2017/02/01 全球购物
男女钓鱼靴和甲板鞋:XTRATUF
2021/01/09 全球购物
英国Lookfantastic中文网站:护肤品美妆美发购物(英国直邮)
2020/04/27 全球购物
大学毕业的自我鉴定
2013/10/08 职场文书
求职简历自我评价范例
2014/03/12 职场文书
个人综合鉴定材料
2014/05/23 职场文书
房地产端午节活动方案
2014/08/24 职场文书
工作经常出错的检讨书
2014/09/13 职场文书
酒店财务经理岗位职责
2015/04/08 职场文书
伊索寓言读书笔记
2015/06/30 职场文书
2019XX公司员工考核管理制度!
2019/08/07 职场文书
python使用pywinauto驱动微信客户端实现公众号爬虫
2021/05/19 Python
elementui的el-popover修改样式不生效的解决
2021/06/30 Javascript