首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

python使用自定义user-agent抓取网页的方法

Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：

下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

python使用自定义user-agent抓取网页的方法

- Author -

令狐不聪

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python删除文件示例分享
Jan 28 Python
Python SQLAlchemy基本操作和常用技巧（包含大量实例,非常好）
May 06 Python
Python学习笔记之常用函数及说明
May 23 Python
Python实现SVN的目录周期性备份实例
Jul 17 Python
详解Python中 sys.argv[]的用法简明解释
Dec 20 Python
浅谈flask截获所有访问及before/after_request修饰器
Jan 18 Python
Django框架实现的分页demo示例
May 25 Python
如何使用pyinstaller打包32位的exe程序
May 26 Python
pycharm设置鼠标悬停查看方法设置
Jul 29 Python
python socket 聊天室实例代码详解
Nov 14 Python
python打开文件的方式有哪些
Jun 29 Python
分享提高 Python 代码的可读性的技巧
Mar 03 Python
python使用urlparse分析网址中域名的方法
Apr 15 #Python
使用Python下的XSLT API进行web开发的简单教程
Apr 15 #Python
使用Python中的线程进行网络编程的入门教程
Apr 15 #Python
讲解Python中for循环下的索引变量的作用域
Apr 15 #Python
使用IPython下的Net-SNMP来管理类UNIX系统的教程
Apr 15 #Python
Python中的Matplotlib模块入门教程
Apr 15 #Python
使用Python编写类UNIX系统的命令行工具的教程
Apr 15 #Python
逻辑函数(1) element-ui(1) Dijkstra(1) 优先队列(1) 连接查询(1) Carbon(1) pongo2(1) 动态代理(1) 模板引擎(1) 数据合并(1)
You might like
新版PHP极大的增强功能和性能
2006/10/09 PHP
php数组中删除元素的实现代码
2012/06/22 PHP
ioncube_loader_win_5.2.dll的错误解决方法
2015/01/04 PHP
php四种定界符详解
2017/02/16 PHP
PHP实现打包下载文件的方法示例
2017/10/07 PHP
Laravel中使用Queue的最基本操作教程
2017/12/27 PHP
jquery.alert 弹出式复选框实现代码
2009/06/15 Javascript
跨浏览器的 mouseenter mouseleave 以及 compareDocumentPosition的使用说明
2010/05/04 Javascript
js解析与序列化json数据(三)json的解析探讨
2013/02/01 Javascript
js中 关于undefined和null的区别介绍
2013/04/16 Javascript
异步动态加载js与css文件的js代码
2013/09/15 Javascript
JavaScript执行顺序详细介绍
2013/12/04 Javascript
jQuery结合HTML5制作的爱心树表白动画
2015/02/01 Javascript
javascript之Array 数组对象详解
2016/06/07 Javascript
浅谈js中调用函数时加不加括号的问题
2016/07/28 Javascript
vue2.0 如何把子组件的数据传给父组件(推荐)
2018/01/15 Javascript
JavaScript函数式编程(Functional Programming)箭头函数(Arrow functions)用法分析
2019/05/22 Javascript
Vue + Elementui实现多标签页共存的方法
2019/06/12 Javascript
深入解析koa之中间件流程控制
2019/06/17 Javascript
前端天气插件tpwidget使用方法详解
2019/06/24 Javascript
Vue3.0数据响应式原理详解
2019/10/09 Javascript
Vue学习之组件用法实例详解
2020/01/06 Javascript
jQuery AJAX应用实例总结
2020/05/19 jQuery
vue-路由精讲 二级路由和三级路由的作用
2020/08/06 Javascript
Vue router传递参数并解决刷新页面参数丢失问题
2020/12/02 Vue.js
shelve  用来持久化任意的Python对象实例代码
2016/10/12 Python
浅谈python中requests模块导入的问题
2018/05/18 Python
python字典一键多值实例代码分享
2019/06/14 Python
python开发之anaconda以及win7下安装gensim的方法
2019/07/05 Python
win7上tensorflow2.2.0安装成功 引用DLL load failed时找不到指定模块 tensorflow has no attribute xxx 解决方法
2020/05/20 Python
雅萌 (YA-MAN) ：日本美容家电领域的龙头企业
2017/05/12 全球购物
大学生文员专业个人求职信范文
2014/01/05 职场文书
2014年司法局工作总结
2014/12/11 职场文书
辩论赛主持人开场白
2015/05/29 职场文书
Python数据类型最全知识总结
2021/05/31 Python
详解MySQL的内连接和外连接
2023/05/08 MySQL