首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

通过Python爬虫代理IP快速增加博客阅读量

Posted in Python onDecember 14, 2016

写在前面

题目所说的并不是目的，主要是为了更详细的了解网站的反爬机制，如果真的想要提高博客的阅读量，优质的内容必不可少。

了解网站的反爬机制

一般网站从以下几个方面反爬虫：

1. 通过Headers反爬虫

从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。

如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。

2. 基于用户行为反爬虫

还有一部分网站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。

大多数网站都是前一种情况，对于这种情况，使用IP代理就可以解决。我们可以将代理IP检测之后保存在文件当中,但这种方法并不可取，代理IP失效的可能性很高，因此从专门的代理IP网站实时抓取，是个不错的选择。

对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

还有针对cookies，通过检查cookies来判断用户是否是有效用户，需要登录的网站常采用这种技术。更深入一点的还有，某些网站的登录会动态更新验证，如推酷登录时，会随机分配用于登录验证的authenticity_token，authenticity_token会和用户提交的登录名和密码一起发送回服务器。

3. 基于动态页面的反爬虫

有的时候将目标页面抓取下来，发现关键的信息内容空白一片，只有框架代码，这是因为该网站的信息是通过用户Post的XHR动态返回内容信息，解决这种问题的方法就是通过开发者工具（FireBug等）对网站流进行分析，找到单独的内容信息request（如Json），对内容信息进行抓取，获取所需内容。

更复杂一点的还有对动态请求加密的，参数无法解析，也就无法进行抓取。这种情况下，可以通过Mechanize，selenium RC，调用浏览器内核，就像真实使用浏览器上网那样抓取，可以最大限度的抓取成功，只不过效率上会打些折扣。笔者测试过，用urllib抓取拉勾网招聘信息30页所需时间为三十多秒，而用模拟浏览器内核抓取需要2——3分钟。

4. 限定某些IP访问

免费的代理IP可以从很多网站获取到，既然爬虫可以利用这些代理IP进行网站抓取，网站也可以利用这些代理IP反向限制，通过抓取这些IP保存在服务器上来限制利用代理IP进行抓取的爬虫。

进入正题

好了，现在实际操作一下，编写一个通过代理IP访问网站的爬虫。

首先获取代理IP，用来抓取。

def Get_proxy_ip():
 headers = {
 'Host': 'www.xicidaili.com',
 'User-Agent':'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
 'Accept': r'application/json, text/javascript, */*; q=0.01',
 'Referer': r'http://www.xicidaili.com/', 
 }
 req = request.Request(r'http://www.xicidaili.com/nn/', headers=headers) #发布代理IP的网站
 response = request.urlopen(req)
 html = response.read().decode('utf-8')
 proxy_list = []
 ip_list = re.findall(r'\d+\.\d+\.\d+\.\d+',html)
 port_list = re.findall(r'<td>\d+</td>',html)
 for i in range(len(ip_list)):
 ip = ip_list[i]
 port = re.sub(r'<td>|</td>', '', port_list[i])
 proxy = '%s:%s' %(ip,port)
 proxy_list.append(proxy)
 return proxy_list

顺带一提，有些网站会通过检查代理IP的真实IP来限制爬虫抓取。这里就要稍微提一下代理IP的知识。

代理IP里的“透明”“匿名”“高匿”分别是指？

透明代理的意思是客户端根本不需要知道有代理服务器的存在，但是它传送的仍然是真实的IP。使用透明IP，就无法绕过通过一定时间内IP访问次数的限制。

普通匿名代理能隐藏客户机的真实IP，但会改变我们的请求信息，服务器端有可能会认为我们使用了代理。不过使用此种代理时，虽然被访问的网站不能知道你的ip地址，但仍然可以知道你在使用代理，这样的IP就会被网站禁止访问。

高匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实IP是隐藏的，网站就不会认为我们使用了代理。

综上所述，爬虫代理IP最好使用“高匿IP”

user_agent_list包含了目前主流浏览器请求的RequestHeaders的user-agent，通过它我们可以模仿各类浏览器的请求。

user_agent_list = [
 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
  'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)',
 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
 'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
 'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
 'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
]

通过设定随机等待时间来访问网站，可以绕过某些网站对于请求间隔的限制。

def Proxy_read(proxy_list, user_agent_list, i):
 proxy_ip = proxy_list[i]
 print('当前代理ip：%s'%proxy_ip)
 user_agent = random.choice(user_agent_list)
 print('当前代理user_agent：%s'%user_agent)
 sleep_time = random.randint(1,3)
 print('等待时间：%s s' %sleep_time)
 time.sleep(sleep_time) #设置随机等待时间
 print('开始获取')
 headers = {
 'Host': 's9-im-notify.csdn.net',
 'Origin':'http://blog.csdn.net',
 'User-Agent': user_agent,
 'Accept': r'application/json, text/javascript, */*; q=0.01',
 'Referer': r'http://blog.csdn.net/u010620031/article/details/51068703',
 }
 proxy_support = request.ProxyHandler({'http':proxy_ip})
 opener = request.build_opener(proxy_support)
 request.install_opener(opener)
 req = request.Request(r'http://blog.csdn.net/u010620031/article/details/51068703',headers=headers)
 try:
 html = request.urlopen(req).read().decode('utf-8')
 except Exception as e:
 print('******打开失败！******')
 else:
 global count
 count +=1
 print('OK!总计成功%s次！'%count)

以上就是爬虫使用代理的相关知识点，虽然还很浅显，但大部分场景是可以应付的了的。

附上源码

#! /usr/bin/env python3
from urllib import request
import random
import time
import lxml
import re
user_agent_list = [
 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
  'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)',
 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
 'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
 'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
 'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
]
count = 0
def Get_proxy_ip():
 headers = {
 'Host': 'www.xicidaili.com',
 'User-Agent':'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
 'Accept': r'application/json, text/javascript, */*; q=0.01',
 'Referer': r'http://www.xicidaili.com/',
 }
 req = request.Request(r'http://www.xicidaili.com/nn/', headers=headers)
 response = request.urlopen(req)
 html = response.read().decode('utf-8')
 proxy_list = []
 ip_list = re.findall(r'\d+\.\d+\.\d+\.\d+',html)
 port_list = re.findall(r'<td>\d+</td>',html)
 for i in range(len(ip_list)):
 ip = ip_list[i]
 port = re.sub(r'<td>|</td>', '', port_list[i])
 proxy = '%s:%s' %(ip,port)
 proxy_list.append(proxy)
 return proxy_list
def Proxy_read(proxy_list, user_agent_list, i):
 proxy_ip = proxy_list[i]
 print('当前代理ip：%s'%proxy_ip)
 user_agent = random.choice(user_agent_list)
 print('当前代理user_agent：%s'%user_agent)
 sleep_time = random.randint(1,3)
 print('等待时间：%s s' %sleep_time)
 time.sleep(sleep_time)
 print('开始获取')
 headers = {
 'Host': 's9-im-notify.csdn.net',
 'Origin':'http://blog.csdn.net',
 'User-Agent': user_agent,
 'Accept': r'application/json, text/javascript, */*; q=0.01',
 'Referer': r'http://blog.csdn.net/u010620031/article/details/51068703',
 }
 proxy_support = request.ProxyHandler({'http':proxy_ip})
 opener = request.build_opener(proxy_support)
 request.install_opener(opener)
 req = request.Request(r'http://blog.csdn.net/u010620031/article/details/51068703',headers=headers)
 try:
 html = request.urlopen(req).read().decode('utf-8')
 except Exception as e:
 print('******打开失败！******')
 else:
 global count
 count +=1
 print('OK!总计成功%s次！'%count)
if __name__ == '__main__':
 proxy_list = Get_proxy_ip()
 for i in range(100):
 Proxy_read(proxy_list, user_agent_list, i)

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

通过Python爬虫代理IP快速增加博客阅读量

- Author -

Data&Truth

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
Python交换变量
Sep 06 Python
Python计算已经过去多少个周末的方法
Jul 25 Python
速记Python布尔值
Nov 09 Python
python实现简单的单变量线性回归方法
Nov 08 Python
解决pycharm回车之后不能换行或不能缩进的问题
Jan 16 Python
Python编程实现tail-n查看日志文件的方法
Jul 08 Python
Python实现生成密码字典的方法示例
Sep 02 Python
python获取全国城市pm2.5、臭氧等空气质量过程解析
Oct 12 Python
Python笔记之代理模式
Nov 20 Python
python基于opencv 实现图像时钟
Jan 04 Python
python numpy中setdiff1d的用法说明
Apr 22 Python
python 如何将两个实数矩阵合并为一个复数矩阵
May 19 Python
Python实现并行抓取整站40万条房价数据（可更换抓取城市）
Dec 14 #Python
从零开始学Python第八周：详解网络编程基础（socket)
Dec 14 #Python
Python 'takes exactly 1 argument (2 given)' Python error
Dec 13 #Python
请不要重复犯我在学习Python和Linux系统上的错误
Dec 12 #Python
Python 包含汉字的文件读写之每行末尾加上特定字符
Dec 12 #Python
详解python3百度指数抓取实例
Dec 12 #Python
python实现多线程抓取知乎用户
Dec 12 #Python
Flask(2) 鲲鹏(1) 进度条(1) Python(3) GCN(1) 裁剪图片(1) reduce()(1) 信号同步(1) PIL(1) 验证码(1)
You might like
PHP header函数分析详解
2011/08/06 PHP
浅谈PHP变量作用域以及地址引用问题
2013/12/27 PHP
ThinkPHP采用实现三级循环代码实例
2014/07/18 PHP
Yii实现单用户博客系统文章详情页插入评论表单的方法
2015/12/28 PHP
php遍历替换目录下文件指定内容的方法
2016/11/10 PHP
php魔法函数与魔法常量使用介绍
2017/07/23 PHP
PHP实现动态添加XML中数据的方法
2018/03/30 PHP
PHP 访问数据库配置通用方法(json)
2018/05/20 PHP
关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍
2020/07/13 PHP
javascript 添加和移除函数的通用方法
2009/10/20 Javascript
JavaScript初学者应注意的七个细节小结
2012/01/30 Javascript
通过JS获取用户本地图片路径并显示的代码
2012/02/16 Javascript
js与css实现弹出层覆盖整个页面的方法
2014/12/13 Javascript
jQuery中replaceWith()方法用法实例
2014/12/25 Javascript
浅谈jQuery事件绑定原理
2015/01/02 Javascript
使用jQuery管理选择结果
2015/01/20 Javascript
js实现同一个页面多个渐变效果的方法
2015/04/10 Javascript
使用JavaScript为一张图片设置备选路径的方法
2017/01/04 Javascript
VUE2.0+Element-UI+Echarts封装的组件实例
2018/03/02 Javascript
深入理解Puppeteer的入门教程和实践
2019/03/05 Javascript
各个系统下的Python解释器相关安装方法
2015/10/12 Python
python实现学生管理系统
2018/01/11 Python
Python如何获得百度统计API的数据并发送邮件示例代码
2019/01/27 Python
利用Node实现HTML5离线存储的方法
2020/10/16 HTML / CSS
美国小蜜蜂Burt’s Bees德国官网：天然唇部、皮肤和身体护理产品
2020/06/14 全球购物
linux面试相关问题
2012/08/11 面试题
介绍下Lucene建立索引的过程
2016/03/02 面试题
写好自荐信要注意的问题
2013/11/10 职场文书
校园报刊亭创业计划书
2014/01/02 职场文书
教师党的群众路线教育实践活动个人对照检查材料
2014/09/23 职场文书
2014年信贷员工作总结
2014/11/18 职场文书
教师个人学习总结
2015/02/11 职场文书
圣诞晚会主持词开场白
2015/05/28 职场文书
2015年高三毕业班班主任工作总结
2015/10/22 职场文书
Nginx中break与last的区别详析
2021/03/31 Servers
bat批处理之字符串操作的实现
2022/03/16 Python