编程 Python

python使用自定义user-agent抓取网页的方法

Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：

下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

python使用自定义user-agent抓取网页的方法

- Author -

令狐不聪

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

使用python Django做网页

Nov 04 Python

分享Python文本生成二维码实例

Jan 06 Python

python开发之list操作实例分析

Feb 22 Python

一键搞定python连接mysql驱动有关问题(windows版本)

Apr 23 Python

Python(Django)项目与Apache的管理交互的方法

May 16 Python

Ubuntu下升级 python3.7.1流程备忘(推荐)

Dec 10 Python

Django REST Framework之频率限制的使用

Sep 29 Python

python使用paramiko实现ssh的功能详解

Mar 06 Python

对python中arange()和linspace()的区别说明

May 03 Python

python多进程下的生产者和消费者模型

May 07 Python

Python制作一个仿QQ办公版的图形登录界面

Sep 22 Python

python3实现Dijkstra算法最短路径的实现

May 12 Python

python使用urlparse分析网址中域名的方法

Apr 15 #Python

使用Python下的XSLT API进行web开发的简单教程

Apr 15 #Python

使用Python中的线程进行网络编程的入门教程

Apr 15 #Python

讲解Python中for循环下的索引变量的作用域

Apr 15 #Python

使用IPython下的Net-SNMP来管理类UNIX系统的教程

Apr 15 #Python

Python中的Matplotlib模块入门教程

Apr 15 #Python

使用Python编写类UNIX系统的命令行工具的教程

Apr 15 #Python

You might like

收集的PHP中与数组相关的函数

2007/03/22 PHP

PHP面向对象程序设计之类常量用法实例

2014/08/20 PHP

Linux中为php配置伪静态

2014/12/17 PHP

php is_executable判断给定文件名是否可执行实例

2016/09/26 PHP

PHP中list方法用法示例

2016/12/01 PHP

PHP实现打包zip并下载功能

2018/06/12 PHP

CL vs ForZe BO5 第三场 2.13

2021/03/10 DOTA

验证用户是否修改过页面的数据的实现方法

2008/09/26 Javascript

让人蛋疼的JavaScript语法特性

2014/09/30 Javascript

JS实现控制表格单元格垂直对齐的方法

2015/03/30 Javascript

JavaScript驾驭网页－获取网页元素

2016/03/24 Javascript

jquery自定义插件——window的实现【示例代码】

2016/05/06 Javascript

node.js 动态执行脚本

2016/06/02 Javascript

Angularjs 实现动态添加控件功能

2017/05/25 Javascript

vue路由嵌套的SPA实现步骤

2017/11/06 Javascript

node实现的爬虫功能示例

2018/05/04 Javascript

小程序实现带年月选取效果的日历

2018/06/27 Javascript

微信小程序 wx.getUserInfo引导用户授权问题实例分析

2020/03/09 Javascript

javascript设计模式 ? 简单工厂模式原理与应用实例分析

2020/04/09 Javascript

React冒泡和阻止冒泡的应用详解

2020/08/18 Javascript

python中的__init__ 、__new__、__call__小结

2014/04/25 Python

Python基于pygame实现的弹力球效果(附源码)

2015/11/11 Python

初步剖析C语言编程中的结构体

2016/01/16 Python

一篇文章搞定Python操作文件与目录

2019/08/13 Python

pytorch之添加BN的实现

2020/01/06 Python

Python实现不规则图形填充的思路

2020/02/02 Python

基于SpringBoot构造器注入循环依赖及解决方式

2020/04/26 Python

Numpy(Pandas)删除全为零的列的方法

2020/09/11 Python

html5如何在Canvas中实现自定义路径动画示例

2017/09/18 HTML / CSS

国外的一些J2EE面试题一

2012/10/13 面试题

公司门卫岗位职责

2014/03/15 职场文书

自我鉴定标准格式

2014/03/19 职场文书

我为党旗添光彩演讲稿

2014/09/10 职场文书

2015年环保局工作总结

2015/05/22 职场文书

Go 自定义package包设置与导入操作

2021/05/06 Golang

MySQL 计算连续登录天数

2022/05/11 MySQL