详解python 破解网站反爬虫的两种简单方法


Posted in Python onFebruary 09, 2020

最近在学爬虫时发现许多网站都有自己的反爬虫机制,这让我们没法直接对想要的数据进行爬取,于是了解这种反爬虫机制就会帮助我们找到解决方法。
常见的反爬虫机制有判别身份和IP限制两种,下面我们将一一来进行介绍。

(一) 判别身份

首先我们看一个例子,看看到底什么时反爬虫。
我们还是以 豆瓣电影榜top250(https://movie.douban.com/top250) 为例。`

import requests

# 豆瓣电影榜top250的网址
url = 'https://movie.douban.com/top250'
# 请求与网站的连接
res = requests.get(url)
# 打印获取的文本
print(res.text)

这是段简单的请求与网站连接并打印获取数据的代码,我们来看看它的运行结果。

详解python 破解网站反爬虫的两种简单方法

我们可以发现我们什么数据都没有获取到,这就是由于这个网站有它的身份识别功能,把我们识别为了爬虫,拒绝为我们提供数据。不管是浏览器还是爬虫访问网站时都会带上一些信息用于身份识别。而这些信息都被存储在一个叫请求头(request headers) 的地方。而这个请求头中我们只需要了解其中的一个叫user-agent(用户代理) 的就可以了。user-agent里包含了操作系统、浏览器类型、版本等信息,通过修改它我们就能成功地伪装成浏览器。
下面我们来看怎么找这个user-agent吧。

首先得打开浏览器,随便打开一个网站,再打开开发者工具。
再点击network标签,接着点第一个请求,再找到Request Headers,最后找到user-agent字段。(有时候可能点击network标签后是空白得,这时候刷新下网页就好啦!)

详解python 破解网站反爬虫的两种简单方法

找到请求头后,我们只需要把他放进一个字典里就好啦,具体操作见下面代码。

import requests

# 复制刚才获取得请求头
headers = {
  'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
# 豆瓣电影榜top250的网址
url = 'https://movie.douban.com/top250'
# 请求与网站的连接
res = requests.get(url, headers=headers)
# 打印获取的文本
print(res.text)

现在我们再来看部分输出结果。

详解python 破解网站反爬虫的两种简单方法

我们可以发现已经将该网站的HTML文件全部爬取到了,至此第一种方法就将完成了。下面我们来看第二种方法。

(二) IP限制

IP(Internet Protocol) 全称互联网协议地址,意思是分配给用户上网使用的网际协议的设备的数字标签。它就像我们身份证号一样,只要知道你的身份证号就能查出你是哪个人。
当我们爬取大量数据时,如果我们不加以节制地访问目标网站,会使网站超负荷运转,一些个人小网站没什么反爬虫措施可能因此瘫痪。而大网站一般会限制你的访问频率,因为正常人是不会在 1s 内访问几十次甚至上百次网站的。所以,如果你访问过于频繁,即使改了 user-agent 伪装成浏览器了,也还是会被识别为爬虫,并限制你的 IP 访问该网站。
因此,我们常常使用 time.sleep() 来降低访问的频率,比如上一篇博客中的爬取整个网站的代码,我们每爬取一个网页就暂停一秒。

import requests
import time
from bs4 import BeautifulSoup

# 将获取豆瓣电影数据的代码封装成函数
def get_douban_movie(url):
 # 设置反爬虫的请求头
 headers = {
 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
 }

 # 请求网站的连接
 res = requests.get('https://movie.douban.com/top250', headers=headers)
 # 将网站数据存到BeautifulSoup对象中
 soup = BeautifulSoup(res.text,'html.parser')
 # 爬取网站中所有标签为'div',并且class='pl2'的数据存到Tag对象中
 items = soup.find_all('div', class_='hd')
 for i in items:
  # 再筛选出所有标签为a的数据
  tag = i.find('a')
  # 只读取第一个class='title'作为电影名
  name = tag.find(class_='title').text
  # 爬取书名对应的网址
  link = tag['href']
  print(name,link)

url = 'https://movie.douban.com/top250?start={}&filter='
# 将所有网址信息存到列表中
urls = [url.format(num*25) for num in range(10)]
for item in urls:
 get_douban_movie(item)
 # 暂停 1 秒防止访问太快被封
 time.sleep(1)

部分运行结果:

详解python 破解网站反爬虫的两种简单方法

至此两种比较简单的应对反爬虫方法就讲完啦,希望能对大家有所帮助,如果有问题,请及时给予我指正,感激不尽!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python两种遍历字典(dict)的方法比较
May 29 Python
独特的python循环语句
Nov 20 Python
python中实现延时回调普通函数示例代码
Sep 08 Python
Python3一行代码实现图片文字识别的示例
Jan 15 Python
python遍历一个目录,输出所有的文件名的实例
Apr 23 Python
python破解zip加密文件的方法
May 31 Python
Django中间件拦截未登录url实例详解
Sep 03 Python
python如何通过闭包实现计算器的功能
Feb 22 Python
python 操作mysql数据中fetchone()和fetchall()方式
May 15 Python
基于Python 的语音重采样函数解析
Jul 06 Python
python实现感知机模型的示例
Sep 30 Python
python爬取豆瓣电影排行榜(requests)的示例代码
Feb 18 Python
Python字典深浅拷贝与循环方式方法详解
Feb 09 #Python
Python文件操作方法详解
Feb 09 #Python
Python列表操作方法详解
Feb 09 #Python
Python2与Python3的区别详解
Feb 09 #Python
python默认参数调用方法解析
Feb 09 #Python
Python集合操作方法详解
Feb 09 #Python
Python字符编码转码之GBK,UTF8互转
Feb 09 #Python
You might like
mysql建立外键
2006/11/25 PHP
php 获取一个月第一天与最后一天的代码
2010/05/16 PHP
一篇有意思的技术文章php介绍篇
2010/10/26 PHP
简单的php写入数据库类代码分享
2011/07/26 PHP
php出现web系统多域名登录失败的解决方法
2014/09/30 PHP
php简单图像创建入门实例
2015/06/10 PHP
php实现zip文件解压操作
2015/11/03 PHP
Yii2汉字转拼音类的实例代码
2017/04/18 PHP
Laravel使用RabbitMQ的方法示例
2019/06/18 PHP
JavaScript创建命名空间(namespace)的最简实现
2007/12/11 Javascript
js实现数组去重、判断数组以及对象中的内容是否相同
2013/11/29 Javascript
bootstrap实现图片自动轮播
2016/12/21 Javascript
js+css实现红包雨效果
2018/07/12 Javascript
JSON生成Form表单的方法示例
2018/11/21 Javascript
vue组件之间通信实例总结(点赞功能)
2018/12/05 Javascript
uni-app 组件里面获取元素宽高的实现
2019/12/27 Javascript
Vue 数据响应式相关总结
2021/01/28 Vue.js
在Python中使用AOP实现Redis缓存示例
2017/07/11 Python
Python绑定方法与非绑定方法详解
2017/08/18 Python
PyQt4实现下拉菜单可供选择并打印出来
2018/04/20 Python
Python字符串内置函数功能与用法总结
2019/04/16 Python
python实现猜拳游戏
2020/03/04 Python
Python脚本实现监听服务器的思路代码详解
2020/05/28 Python
Otticanet美国:最顶尖的世界名牌眼镜, 能得到打折季的价格
2019/03/10 全球购物
英国屋顶用品和材料超市:Roofing Supplies UK
2019/08/24 全球购物
EJB面试题
2015/07/28 面试题
幼儿园中班上学期评语
2014/04/18 职场文书
给校长的建议书100字
2014/05/16 职场文书
党的群众路线对照检查材料(个人)
2014/09/24 职场文书
个人股份合作协议书
2014/10/24 职场文书
整改报告怎么写
2014/11/06 职场文书
党章学习心得体会2016
2016/01/14 职场文书
2016年社会主义核心价值观心得体会
2016/01/21 职场文书
高端收音机+蓝牙音箱,JBL TUNER FM带收音蓝牙音箱评测
2021/04/24 无线电
python生成可执行exe控制Microsip自动填写号码并拨打功能
2021/06/21 Python
Python可视化神器pyecharts之绘制箱形图
2022/07/07 Python