首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

python使用自定义user-agent抓取网页的方法

Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：

下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

python使用自定义user-agent抓取网页的方法

- Author -

令狐不聪

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
浅谈python数据类型及类型转换
Dec 18 Python
python批量实现Word文件转换为PDF文件
Mar 15 Python
Python 变量类型详解
Oct 10 Python
Python简直是万能的，这5大主要用途你一定要知道！（推荐）
Apr 03 Python
Python 静态方法和类方法实例分析
Nov 21 Python
python如何求100以内的素数
May 27 Python
python软件都是免费的吗
Jun 18 Python
PyTorch中model.zero_grad()和optimizer.zero_grad()用法
Jun 24 Python
Python如何对XML 解析
Jun 28 Python
Django+RestFramework API接口及接口文档并返回json数据操作
Jul 12 Python
Python连接Mysql进行增删改查的示例代码
Aug 03 Python
Python3.9.1中使用match方法详解
Feb 08 Python
python使用urlparse分析网址中域名的方法
Apr 15 #Python
使用Python下的XSLT API进行web开发的简单教程
Apr 15 #Python
使用Python中的线程进行网络编程的入门教程
Apr 15 #Python
讲解Python中for循环下的索引变量的作用域
Apr 15 #Python
使用IPython下的Net-SNMP来管理类UNIX系统的教程
Apr 15 #Python
Python中的Matplotlib模块入门教程
Apr 15 #Python
使用Python编写类UNIX系统的命令行工具的教程
Apr 15 #Python
数据保存(1) translation(2) mp3Play(1) 矩阵(1) bs4(1) 数组(5) 音频(1) 网页解析(1) 读取(1) 装饰器(1)
You might like
php获取地址栏信息的代码
2008/10/08 PHP
php中批量删除Mysql中相同前缀的数据表的代码
2011/07/01 PHP
phpmyadmin中禁止外网使用的方法
2014/11/04 PHP
PHP中JSON的应用技巧
2015/10/10 PHP
PHP实现的一致性哈希算法完整实例
2015/11/14 PHP
PHP8.0新功能之Match表达式的使用
2020/07/19 PHP
javascript 伪数组实现方法
2010/10/11 Javascript
JS中类或对象的定义说明
2014/03/10 Javascript
浅谈js的setInterval事件
2014/12/05 Javascript
JavaScript获取DOM元素的11种方法总结
2015/04/25 Javascript
js制作带有遮罩弹出层实现登录注册表单特效代码分享
2015/09/05 Javascript
jquery实现表格中点击相应行变色功能效果【实例代码】
2016/05/09 Javascript
jquery实现（textarea）placeholder自动换行
2016/12/22 Javascript
BootStrap3使用错误记录及解决办法
2016/12/22 Javascript
js实现tab选项卡切换功能
2017/01/13 Javascript
bootstrap jquery dataTable 异步ajax刷新表格数据的实现方法
2017/02/10 Javascript
如何理解Vue的.sync修饰符的使用
2017/08/17 Javascript
JavaScript 中的 this 简单规则
2017/09/19 Javascript
element-ui的回调函数Events的用法详解
2018/10/16 Javascript
微信小程序实现人脸识别登陆的示例代码
2019/04/02 Javascript
通过实践编写优雅的JavaScript代码
2019/05/30 Javascript
使用原生JS实现滚轮翻页效果的示例代码
2020/05/31 Javascript
JavaScript常用进制转换及位运算实例解析
2020/10/14 Javascript
[01:56]林书豪DOTA2上海特级锦标赛励志短片
2016/03/05 DOTA
python中json格式数据输出的简单实现方法
2016/10/31 Python
python实现文件助手中查看微信撤回消息
2019/04/29 Python
Python Pandas 如何shuffle（打乱）数据
2019/07/30 Python
python快速排序的实现及运行时间比较
2019/11/22 Python
基于python实现模拟数据结构模型
2020/06/12 Python
Python开发入门——迭代的基本使用
2020/09/03 Python
机电工程学生自荐信范文
2013/12/07 职场文书
公司授权委托书范文
2014/09/21 职场文书
2015年商场工作总结
2015/04/27 职场文书
七年级作文之冬景
2019/11/07 职场文书
浅谈Python中的正则表达式
2021/06/28 Python
详解Vue slot插槽
2021/11/20 Vue.js