编程 Python

python使用自定义user-agent抓取网页的方法

Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：

下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

python使用自定义user-agent抓取网页的方法

- Author -

令狐不聪

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python获取单个程序CPU使用情况趋势图

Mar 10 Python

python类继承用法实例分析

May 27 Python

Python批量查询域名是否被注册过

Jun 21 Python

Python实现文件信息进行合并实例代码

Jan 17 Python

python hook监听事件详解

Oct 25 Python

python实现蒙特卡罗方法教程

Jan 28 Python

使用Python调取任意数字资产钱包余额功能

Aug 15 Python

tensorflow 实现从checkpoint中获取graph信息

Feb 10 Python

Python 自由定制表格的实现示例

Mar 20 Python

Django模型中字段属性choice使用说明

Mar 30 Python

Python 分布式缓存之Reids数据类型操作详解

Jun 24 Python

Python安装使用Scrapy框架

Apr 12 Python

python使用urlparse分析网址中域名的方法

Apr 15 #Python

使用Python下的XSLT API进行web开发的简单教程

Apr 15 #Python

使用Python中的线程进行网络编程的入门教程

Apr 15 #Python

讲解Python中for循环下的索引变量的作用域

Apr 15 #Python

使用IPython下的Net-SNMP来管理类UNIX系统的教程

Apr 15 #Python

Python中的Matplotlib模块入门教程

Apr 15 #Python

使用Python编写类UNIX系统的命令行工具的教程

Apr 15 #Python

You might like

用PHP实现维护文件代码

2007/06/14 PHP

PHP下用rmdir实现删除目录的三种方法小结

2008/04/20 PHP

php不使用copy()函数复制文件的方法

2015/03/13 PHP

老生常谈php中传统验证与thinkphp框架(必看篇)

2017/06/10 PHP

PHP设计模式之装饰器模式定义与用法详解

2018/04/02 PHP

基于jQuery的左右滚动实现代码

2010/12/03 Javascript

使用jQuery全局事件ajaxStart为特定请求实现提示效果的代码

2010/12/30 Javascript

JS中Date日期函数中的参数使用介绍

2014/01/02 Javascript

JS 日期比较大小的简单实例

2014/01/13 Javascript

实现非常简单的js双向数据绑定

2015/11/06 Javascript

jQuery模拟实现天猫购物车动画效果实例代码

2017/05/25 jQuery

详解vue 组件之间使用eventbus传值

2017/10/25 Javascript

详解weex默认webpack.config.js改造

2018/01/08 Javascript

用Node提供静态文件服务的方法

2018/07/06 Javascript

JS与SQL方式随机生成高强度密码示例

2018/12/29 Javascript

javascript获取select值的方法完整实例

2019/06/20 Javascript

Vue初始化中的选项合并之initInternalComponent详解

2020/06/11 Javascript

[00:11]战神迅矛

2019/03/06 DOTA

[01:51]2018年度CS GO最具人气外援-完美盛典

2018/12/16 DOTA

通过python+selenium3实现浏览器刷简书文章阅读量

2017/12/26 Python

Python使用requests发送POST请求实例代码

2018/01/25 Python

Python实现注册、登录小程序功能

2018/09/21 Python

python pands实现execl转csv 并修改csv指定列的方法

2018/12/12 Python

PyQt Qt Designer工具的布局管理详解

2019/08/07 Python

Python字符串、列表、元组、字典、集合的补充实例详解

2019/12/20 Python

TensorFlow绘制loss/accuracy曲线的实例

2020/01/21 Python

keras用auc做metrics以及早停实例

2020/07/02 Python

如何基于matlab相机标定导出xml文件

2020/11/02 Python

美国球迷装备的第一来源：FOCO

2020/07/03 全球购物

汽车工程专业应届生求职信

2013/10/19 职场文书

医科大学生毕业的自我评价分享

2013/11/12 职场文书

梅花魂教学反思

2014/04/25 职场文书

大学生村官工作总结2015

2015/04/09 职场文书

python3实现Dijkstra算法最短路径的实现

2021/05/12 Python

python之基数排序的实现

2021/07/26 Python

python开发人人对战的五子棋小游戏

2022/05/02 Python