python使用自定义user-agent抓取网页的方法


Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:

下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python回调函数的使用方法
Jan 23 Python
用Python编写一个简单的FUSE文件系统的教程
Apr 02 Python
Python函数参数类型*、**的区别
Apr 11 Python
在Python的Django框架上部署ORM库的教程
Apr 20 Python
Python中operator模块的操作符使用示例总结
Jun 28 Python
详解Django解决ajax跨域访问问题
Aug 24 Python
PyQt5 实现字体大小自适应分辨率的方法
Jun 18 Python
Django实现文件上传下载
Oct 06 Python
Python中__repr__和__str__区别详解
Nov 07 Python
Django实现简单网页弹出警告代码
Nov 15 Python
python hmac模块验证客户端的合法性
Nov 07 Python
Python接口自动化测试框架运行原理及流程
Nov 30 Python
python使用urlparse分析网址中域名的方法
Apr 15 #Python
使用Python下的XSLT API进行web开发的简单教程
Apr 15 #Python
使用Python中的线程进行网络编程的入门教程
Apr 15 #Python
讲解Python中for循环下的索引变量的作用域
Apr 15 #Python
使用IPython下的Net-SNMP来管理类UNIX系统的教程
Apr 15 #Python
Python中的Matplotlib模块入门教程
Apr 15 #Python
使用Python编写类UNIX系统的命令行工具的教程
Apr 15 #Python
You might like
PHP里的单例类写法实例
2015/06/25 PHP
PHP面向对象程序设计之命名空间与自动加载类详解
2016/12/02 PHP
PHP实现更改hosts文件的方法示例
2017/08/08 PHP
nodejs 后缀名判断限制代码
2011/03/31 NodeJs
JQuery扩展插件Validate—6 radio、checkbox、select的验证
2011/09/05 Javascript
js面向对象 多种创建对象方法小结
2012/05/21 Javascript
js中prototype用法详细介绍
2013/11/14 Javascript
基于Jquery实现万圣节快乐特效
2015/11/01 Javascript
jQuery图片旋转插件jQueryRotate.js用法实例(附demo下载)
2016/01/21 Javascript
JQuery EasyUI学习教程之datagrid 添加、修改、删除操作
2016/07/09 Javascript
Angularjs中三种数据的绑定策略(“@”,“=”,“&”)
2016/12/23 Javascript
安装vue-cli报错 -4058 的解决方法
2017/10/19 Javascript
用原生 JS 实现 innerHTML 功能实例详解
2019/04/03 Javascript
微信小程序模板消息限制实现无限制主动推送的示例代码
2019/08/27 Javascript
基于openlayers实现角度测量功能
2020/09/28 Javascript
vue项目页面嵌入代码块vue-prism-editor的实现
2020/10/30 Javascript
[02:10]DOTA2亚洲邀请赛 EG战队出场宣传片
2015/02/07 DOTA
[04:46]2018年度玩家喜爱的电竞媒体-完美盛典
2018/12/16 DOTA
python嵌套函数使用外部函数变量的方法(Python2和Python3)
2016/01/31 Python
python dict.get()和dict['key']的区别详解
2016/06/30 Python
python 随机数使用方法,推导以及字符串,双色球小程序实例
2017/09/12 Python
python利用OpenCV2实现人脸检测
2020/04/16 Python
Python爬虫之网页图片抓取的方法
2018/07/16 Python
在python中以相同顺序shuffle两个list的方法
2018/12/13 Python
基于django 的orm中非主键自增的实现方式
2020/05/18 Python
python3.5的包存放的具体路径
2020/08/16 Python
css3简单练习实现遨游浏览器logo的绘制
2013/01/30 HTML / CSS
Noon埃及:埃及在线购物
2019/11/26 全球购物
捷科时代的软件测试笔试题
2015/11/09 面试题
2014年情人节活动方案
2014/02/16 职场文书
2014年清明节寄语
2014/04/03 职场文书
网络工程专业大学生求职信
2014/10/01 职场文书
2014年民政工作总结
2014/11/26 职场文书
先进个人事迹材料范文
2014/12/30 职场文书
党风廉洁教育心得体会
2016/01/20 职场文书
Linux在两个服务器直接传文件的操作方法
2022/08/05 Servers