编程 Python

python使用自定义user-agent抓取网页的方法

Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：

下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

python使用自定义user-agent抓取网页的方法

- Author -

令狐不聪

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

python回调函数的使用方法

Jan 23 Python

用Python编写一个简单的FUSE文件系统的教程

Apr 02 Python

Python函数参数类型*、**的区别

Apr 11 Python

在Python的Django框架上部署ORM库的教程

Apr 20 Python

Python中operator模块的操作符使用示例总结

Jun 28 Python

详解Django解决ajax跨域访问问题

Aug 24 Python

PyQt5 实现字体大小自适应分辨率的方法

Jun 18 Python

Django实现文件上传下载

Oct 06 Python

Python中__repr__和__str__区别详解

Nov 07 Python

Django实现简单网页弹出警告代码

Nov 15 Python

python hmac模块验证客户端的合法性

Nov 07 Python

Python接口自动化测试框架运行原理及流程

Nov 30 Python

python使用urlparse分析网址中域名的方法

Apr 15 #Python

使用Python下的XSLT API进行web开发的简单教程

Apr 15 #Python

使用Python中的线程进行网络编程的入门教程

Apr 15 #Python

讲解Python中for循环下的索引变量的作用域

Apr 15 #Python

使用IPython下的Net-SNMP来管理类UNIX系统的教程

Apr 15 #Python

Python中的Matplotlib模块入门教程

Apr 15 #Python

使用Python编写类UNIX系统的命令行工具的教程

Apr 15 #Python

You might like

PHP里的单例类写法实例

2015/06/25 PHP

PHP面向对象程序设计之命名空间与自动加载类详解

2016/12/02 PHP

PHP实现更改hosts文件的方法示例

2017/08/08 PHP

nodejs 后缀名判断限制代码

2011/03/31 NodeJs

JQuery扩展插件Validate—6 radio、checkbox、select的验证

2011/09/05 Javascript

js面向对象多种创建对象方法小结

2012/05/21 Javascript

js中prototype用法详细介绍

2013/11/14 Javascript

基于Jquery实现万圣节快乐特效

2015/11/01 Javascript

jQuery图片旋转插件jQueryRotate.js用法实例(附demo下载)

2016/01/21 Javascript

JQuery EasyUI学习教程之datagrid 添加、修改、删除操作

2016/07/09 Javascript

Angularjs中三种数据的绑定策略(“@”，“=”，“&”)

2016/12/23 Javascript

安装vue-cli报错 -4058 的解决方法

2017/10/19 Javascript

用原生 JS 实现 innerHTML 功能实例详解

2019/04/03 Javascript

微信小程序模板消息限制实现无限制主动推送的示例代码

2019/08/27 Javascript

基于openlayers实现角度测量功能

2020/09/28 Javascript

vue项目页面嵌入代码块vue-prism-editor的实现

2020/10/30 Javascript

[02:10]DOTA2亚洲邀请赛 EG战队出场宣传片

2015/02/07 DOTA

[04:46]2018年度玩家喜爱的电竞媒体-完美盛典

2018/12/16 DOTA

python嵌套函数使用外部函数变量的方法(Python2和Python3)

2016/01/31 Python

python dict.get()和dict['key']的区别详解

2016/06/30 Python

python 随机数使用方法,推导以及字符串,双色球小程序实例

2017/09/12 Python

python利用OpenCV2实现人脸检测

2020/04/16 Python

Python爬虫之网页图片抓取的方法

2018/07/16 Python

在python中以相同顺序shuffle两个list的方法

2018/12/13 Python

基于django 的orm中非主键自增的实现方式

2020/05/18 Python

python3.5的包存放的具体路径

2020/08/16 Python

css3简单练习实现遨游浏览器logo的绘制

2013/01/30 HTML / CSS

Noon埃及：埃及在线购物

2019/11/26 全球购物

捷科时代的软件测试笔试题

2015/11/09 面试题

2014年情人节活动方案

2014/02/16 职场文书

2014年清明节寄语

2014/04/03 职场文书

网络工程专业大学生求职信

2014/10/01 职场文书

2014年民政工作总结

2014/11/26 职场文书

先进个人事迹材料范文

2014/12/30 职场文书

党风廉洁教育心得体会

2016/01/20 职场文书

Linux在两个服务器直接传文件的操作方法

2022/08/05 Servers