编程 Python

python使用自定义user-agent抓取网页的方法

Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：

下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

python使用自定义user-agent抓取网页的方法

- Author -

令狐不聪

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

跟老齐学Python之用Python计算

Sep 12 Python

详解 Python 读写XML文件的实例

Aug 02 Python

利用标准库fractions模块让Python支持分数类型的方法详解

Aug 11 Python

Python使用matplotlib填充图形指定区域代码示例

Jan 16 Python

用Django实现一个可运行的区块链应用

Mar 08 Python

很酷的python表白工具你喜欢我吗

Apr 11 Python

Python实现的登录验证系统完整案例【基于搭建的MVC框架】

Apr 12 Python

基于python二叉树的构造和打印例子

Aug 09 Python

详解Python文件修改的两种方式

Aug 22 Python

python 字符串常用函数详解

Sep 11 Python

tensorflow 保存模型和取出中间权重例子

Jan 24 Python

解决Python发送Http请求时,中文乱码的问题

Apr 30 Python

python使用urlparse分析网址中域名的方法

Apr 15 #Python

使用Python下的XSLT API进行web开发的简单教程

Apr 15 #Python

使用Python中的线程进行网络编程的入门教程

Apr 15 #Python

讲解Python中for循环下的索引变量的作用域

Apr 15 #Python

使用IPython下的Net-SNMP来管理类UNIX系统的教程

Apr 15 #Python

Python中的Matplotlib模块入门教程

Apr 15 #Python

使用Python编写类UNIX系统的命令行工具的教程

Apr 15 #Python

You might like

Session保存到数据库的php类分享

2011/10/24 PHP

利用php递归实现无限分类格式化数组的详解

2013/06/08 PHP

使用PHP接收POST数据,解析json数据

2013/06/28 PHP

Ext javascript建立超链接，进行事件处理的实现方法

2009/03/22 Javascript

JavaScript 异步方法队列链实现代码分析

2010/06/05 Javascript

JavaScript版TAB选项卡效果实例

2013/08/16 Javascript

jQuery Html控件基本操作(日常收集整理)

2016/03/11 Javascript

如何消除inline-block属性带来的标签间间隙

2016/03/31 Javascript

JS中的forEach、$.each、map方法推荐

2016/04/05 Javascript

Angular.js中用ng-repeat-start实现自定义显示

2016/10/18 Javascript

webpack入门+react环境配置

2017/02/08 Javascript

JS简单实现自定义右键菜单实例

2017/05/31 Javascript

Vue2.0 多 Tab切换组件的封装实例

2017/07/28 Javascript

webpack构建换肤功能的思路详解

2017/11/27 Javascript

vue 中引用gojs绘制E-R图的方法示例

2018/08/24 Javascript

Nuxt.js之自动路由原理的实现方法

2018/11/21 Javascript

vue组件定义，全局、局部组件，配合模板及动态组件功能示例

2019/03/19 Javascript

JS隐藏号码中间4位代码实例

2019/04/09 Javascript

vue element upload实现图片本地预览

2019/08/20 Javascript

vue 路由懒加载中给 Webpack Chunks 命名的方法

2020/04/24 Javascript

python中的计时器timeit的使用方法

2017/10/20 Python

Java及python正则表达式详解

2017/12/27 Python

Python实现扣除个人税后的工资计算器示例

2018/03/26 Python

Python使用numpy产生正态分布随机数的向量或矩阵操作示例

2018/08/22 Python

python创造虚拟环境方法总结

2019/03/04 Python

Python时间序列处理之ARIMA模型的使用讲解

2019/04/02 Python

Django 开发环境配置过程详解

2019/07/18 Python

python爬虫学习笔记之Beautifulsoup模块用法详解

2020/04/09 Python

用Python开发app后端有优势吗

2020/06/29 Python

Html5 new XMLHttpRequest()监听附件上传进度

2021/01/14 HTML / CSS

菲律宾优惠券网站：MetroDeal

2019/04/12 全球购物

大学秋游活动方案

2014/02/11 职场文书

幼儿园老师新年寄语2015

2014/12/08 职场文书

优秀毕业生主要事迹材料

2015/11/04 职场文书

多属性、多分类MySQL模式设计

2021/04/05 MySQL

海弦WR-800F

2022/04/05 无线电