python使用自定义user-agent抓取网页的方法


Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:

下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
介绍Python中的fabs()方法的使用
May 14 Python
numpy使用技巧之数组过滤实例代码
Feb 03 Python
Python基于Flask框架配置依赖包信息的项目迁移部署
Mar 02 Python
Selenium元素的常用操作方法分析
Aug 10 Python
对python实时得到鼠标位置的示例讲解
Oct 14 Python
python读写csv文件的方法
Aug 13 Python
在Python中字符串、列表、元组、字典之间的相互转换
Nov 15 Python
在Matplotlib图中插入LaTex公式实例
Apr 17 Python
Python实现UDP程序通信过程图解
May 15 Python
使用OpenCV获取图片连通域数量,并用不同颜色标记函
Jun 04 Python
pandas.DataFrame.drop_duplicates 用法介绍
Jul 06 Python
Python机器学习之底层实现KNN
Jun 20 Python
python使用urlparse分析网址中域名的方法
Apr 15 #Python
使用Python下的XSLT API进行web开发的简单教程
Apr 15 #Python
使用Python中的线程进行网络编程的入门教程
Apr 15 #Python
讲解Python中for循环下的索引变量的作用域
Apr 15 #Python
使用IPython下的Net-SNMP来管理类UNIX系统的教程
Apr 15 #Python
Python中的Matplotlib模块入门教程
Apr 15 #Python
使用Python编写类UNIX系统的命令行工具的教程
Apr 15 #Python
You might like
php中并发读写文件冲突的解决方案
2013/10/25 PHP
Yii中render和renderPartial的区别
2014/09/03 PHP
php模拟登陆的实现方法分析
2015/01/09 PHP
PHP register_shutdown_function()函数的使用示例
2015/06/23 PHP
php微信公众号开发模式详解
2016/11/28 PHP
PHP大文件分割上传 PHP分片上传
2017/08/28 PHP
Laravel6.0.4中将添加计划任务事件的方法步骤
2019/10/15 PHP
javascript五图轮播切换实用版
2012/08/17 Javascript
JavaScript基于setTimeout实现计数的方法
2015/05/08 Javascript
javascript委托(Delegate)blur和focus用法实例分析
2015/05/26 Javascript
Node.js的环境安装配置(使用nvm方式)
2016/10/11 Javascript
Node.js 数据加密传输浅析
2016/11/16 Javascript
使用vue.js2.0 + ElementUI开发后台管理系统详细教程(二)
2017/01/21 Javascript
vue如何从接口请求数据
2017/06/22 Javascript
详解在vue-cli中使用路由
2017/09/25 Javascript
关于Google发布的JavaScript代码规范你要知道哪些
2018/04/04 Javascript
vue实现购物车加减
2020/05/30 Javascript
[01:09:10]NB vs Liquid Supermajor小组赛 A组胜者组决赛 BO3 第一场 6.2
2018/06/04 DOTA
[01:17]炒鸡美酒第四天TA暴走
2018/06/05 DOTA
[01:11:08]Winstrike vs NB 2018国际邀请赛淘汰赛BO1 8.21
2018/08/22 DOTA
django使用图片延时加载引起后台404错误
2017/04/18 Python
python微信撤回监测代码
2019/04/29 Python
python将print输出的信息保留到日志文件中
2019/09/27 Python
django实现web接口 python3模拟Post请求方式
2019/11/19 Python
python飞机大战pygame游戏框架搭建操作详解
2019/12/17 Python
CSS3基础(RGBa、text-shadow、box-shadow、border-radius)
2012/11/13 HTML / CSS
难忘的一天教学反思
2014/04/30 职场文书
旅游与酒店管理专业求职信
2014/07/21 职场文书
投标授权委托书范文
2014/08/02 职场文书
学校联谊协议书
2014/09/16 职场文书
公司领导班子对照检查材料
2014/09/24 职场文书
导游词之沈阳清昭陵
2019/12/28 职场文书
java调用Restful接口的三种方法
2021/08/23 Java/Android
美元符号 $
2022/02/17 杂记
Python与C++中梯度方向直方图的实现
2022/03/17 Python
el-form每行显示两列底部按钮居中效果的实现
2022/08/05 HTML / CSS