python爬虫简单的添加代理进行访问的实现代码


Posted in Python onApril 04, 2019

在使用python对网页进行多次快速爬取的时候,访问次数过于频繁,服务器不会考虑User-Agent的信息,会直接把你视为爬虫,从而过滤掉,拒绝你的访问,在这种时候就需要设置代理,我们可以给proxies属性设置一个代理的IP地址,代码如下:

import requests
 from lxml import etree
 url = "https://www.ip.cn"
 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 OPR/57.0.3098.116", }
 pro = {
 # 'https': 'https://118.122.92.252:37901', #四川省成都市 电信
 'https': 'https://27.17.45.90:43411', #湖北省武汉市 电信
 }
 try:
 response = requests.get(url, headers=headers, proxies=pro)
 html_str = response.content.decode()
 # print(html_str)
 html = etree.HTML(html_str)
 message = html.xpath("//div[@class='well']//p/text()")
 ip = html.xpath("//div[@class='well']//p/code/text()")
 eng = html.xpath("//div[@class='well']/p/text()")
 print(message[0]+ip[0])
 print(message[1]+ip[1])
 print(eng[2])
 except requests.exceptions.ProxyError as e:
 print("当前代理异常")
 except:
 print("当前请求异常")

在上面的代码中,调用requests库,对一个IP地址查询网页进行访问,随后使用lxml库的xpath对网页进行分析提取,返回用户访问此网页时自己的IP地址,如果代理设置成功,则会返回你的信息和IP地址,如下:

python爬虫简单的添加代理进行访问的实现代码

如果代理失败则会返回异常,在代码中使用了捕获异常,则会返回设置的提示信息,"当前代理异常",如果不是代理的错误则是"当前请求异常"

python爬虫简单的添加代理进行访问的实现代码

PS:免费的代理不是很稳定,在确认代码无误后,如果仍然返回异常,可尝试更换代理IP...

总结

以上所述是小编给大家介绍的python爬虫简单的添加代理进行访问的实现代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python中的二叉树查找算法模块使用指南
Jul 04 Python
python使用Tkinter显示网络图片的方法
Apr 24 Python
python实现远程通过网络邮件控制计算机重启或关机
Feb 22 Python
Python使用matplotlib绘制多个图形单独显示的方法示例
Mar 14 Python
python算法与数据结构之单链表的实现代码
Jun 27 Python
Django实现文件上传下载
Oct 06 Python
详解mac python+selenium+Chrome 简单案例
Nov 08 Python
python GUI库图形界面开发之PyQt5美化窗体与控件(异形窗体)实例
Feb 25 Python
python实现字符串和数字拼接
Mar 02 Python
python用什么编辑器进行项目开发
Jun 17 Python
Python3使用Selenium获取session和token方法详解
Feb 16 Python
Python中json.load()和json.loads()有哪些区别
Jun 07 Python
Django项目中添加ldap登陆认证功能的实现
Apr 04 #Python
使用 Python 玩转 GitHub 的贡献板(推荐)
Apr 04 #Python
python中yield的用法详解——最简单,最清晰的解释
Apr 04 #Python
详解python项目实战:模拟登陆CSDN
Apr 04 #Python
Python实现字符串匹配的KMP算法
Apr 04 #Python
Python GUI编程完整示例
Apr 04 #Python
Python使用sax模块解析XML文件示例
Apr 04 #Python
You might like
《猛禽小队》:DC宇宙的又一超级大烂片
2020/04/09 欧美动漫
php 分库分表hash算法
2009/11/12 PHP
ThinkPHP中自定义目录结构的设置方法
2014/08/15 PHP
Codeigniter检测表单post数据的方法
2015/03/21 PHP
javascript天然的迭代器
2010/10/29 Javascript
使用Java实现简单的server/client回显功能的方法介绍
2013/05/03 Javascript
jquery如何获取复选框的值
2013/12/12 Javascript
按钮接受回车事件的三种实现方法
2014/06/06 Javascript
javascript去除空格方法小结
2015/05/21 Javascript
JavaScript中的some()方法使用详解
2015/06/09 Javascript
jquery实现的树形目录实例
2015/06/26 Javascript
jQuery layui常用方法介绍
2016/07/25 Javascript
分享javascript、jquery实用代码段
2016/10/20 Javascript
微信小程序 用户数据解密详细介绍
2017/01/09 Javascript
JS中如何实现点击a标签返回页面顶部的问题
2017/01/19 Javascript
bootstrap实现的自适应页面简单应用示例
2017/03/09 Javascript
nuxt.js中间件实现拦截权限判断的方法
2018/11/21 Javascript
vue各种事件监听实例(小结)
2020/06/24 Javascript
[43:51]2018DOTA2亚洲邀请赛3月30日 小组赛B组 EG VS Secret
2018/03/31 DOTA
为Python程序添加图形化界面的教程
2015/04/29 Python
一些常用的Python爬虫技巧汇总
2016/09/28 Python
mac下pycharm设置python版本的图文教程
2018/06/13 Python
使用tqdm显示Python代码执行进度功能
2019/12/08 Python
Tensorflow tensor 数学运算和逻辑运算方式
2020/06/30 Python
python利用os模块编写文件复制功能——copy()函数用法
2020/07/13 Python
Python ConfigParser模块的使用示例
2020/10/12 Python
matplotlib bar()实现多组数据并列柱状图通用简便创建方法
2021/02/24 Python
纯html5+css3下拉导航菜单实现代码
2013/03/18 HTML / CSS
保险公司早会主持词
2014/03/22 职场文书
幼儿园中班上学期评语
2014/04/18 职场文书
解除劳动合同协议书(样本)
2014/10/02 职场文书
代理词怎么写
2015/05/25 职场文书
电影圆明园观后感
2015/06/03 职场文书
关于童年的读书笔记
2015/06/26 职场文书
MySQL索引是啥?不懂就问
2021/07/21 MySQL
MySQL范围查询优化的场景实例详解
2022/06/10 MySQL