python使用自定义user-agent抓取网页的方法


Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:

下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python中利用函数装饰器实现备忘功能
Mar 30 Python
用Python实现一个简单的线程池
Apr 07 Python
Python的Flask框架中实现登录用户的个人资料和头像的教程
Apr 20 Python
Python的gevent框架的入门教程
Apr 29 Python
python决策树之C4.5算法详解
Dec 20 Python
Python使用pip安装pySerial串口通讯模块
Apr 20 Python
python求最大连续子数组的和
Jul 07 Python
Python 从列表中取值和取索引的方法
Dec 25 Python
使用Python快乐学数学Github万星神器Manim简介
Aug 07 Python
你还在@微信官方?聊聊Python生成你想要的微信头像
Sep 25 Python
python实现最速下降法
Mar 24 Python
Python 创建TCP服务器的方法
Jul 28 Python
python使用urlparse分析网址中域名的方法
Apr 15 #Python
使用Python下的XSLT API进行web开发的简单教程
Apr 15 #Python
使用Python中的线程进行网络编程的入门教程
Apr 15 #Python
讲解Python中for循环下的索引变量的作用域
Apr 15 #Python
使用IPython下的Net-SNMP来管理类UNIX系统的教程
Apr 15 #Python
Python中的Matplotlib模块入门教程
Apr 15 #Python
使用Python编写类UNIX系统的命令行工具的教程
Apr 15 #Python
You might like
PHP时间戳使用实例代码
2008/06/07 PHP
浅析PHP文件下载原理
2014/12/25 PHP
微信支付PHP SDK之微信公众号支付代码详解
2015/12/09 PHP
PHP实现使用DOM将XML数据存入数组的方法示例
2017/09/27 PHP
用document.documentElement取代document.body的原因分析
2009/11/12 Javascript
JavaScript中的Repaint和Reflow用法详解
2015/07/27 Javascript
基于javascript实现漂亮的页面过渡动画效果附源码下载
2015/10/26 Javascript
浅析javascript异步执行函数导致的变量变化问题解决思路
2016/05/13 Javascript
深入理解jQuery.data() 的实现方式
2016/11/30 Javascript
JavaScript闭包_动力节点Java学院整理
2017/06/27 Javascript
JavaScript原型继承_动力节点Java学院整理
2017/06/30 Javascript
jquery如何实现点击空白处隐藏元素
2017/12/05 jQuery
vue实现局部刷新的实现示例
2019/04/16 Javascript
小程序点击图片实现png转jpg
2019/10/22 Javascript
Vue自定义指令结合阿里云OSS优化图片的实现方法
2019/11/12 Javascript
vue+element 实现商城主题开发的示例代码
2020/03/26 Javascript
python使用心得之获得github代码库列表
2014/06/25 Python
Python深入学习之对象的属性
2014/08/31 Python
简单了解什么是神经网络
2017/12/23 Python
Django csrf 验证问题的实现
2018/10/09 Python
Python使用import导入本地脚本及导入模块的技巧总结
2019/08/07 Python
python3操作注册表的方法(Url protocol)
2020/02/05 Python
Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
2020/02/21 Python
使用已经得到的keras模型识别自己手写的数字方式
2020/06/29 Python
HTML5响应式(自适应)网页设计的实现
2017/11/17 HTML / CSS
SHEIN香港:价格实惠的女性时尚服装
2018/08/14 全球购物
白俄罗斯在线大型超市:e-dostavka.by
2019/07/25 全球购物
Madda Fella官网:美国冒险家服装品牌
2020/01/16 全球购物
大专应届生个人的自我评价
2013/11/21 职场文书
大学生职业生涯规划方案
2014/01/03 职场文书
青年创业培训欢迎词
2014/01/10 职场文书
写给妈妈的道歉信
2014/01/11 职场文书
幼儿园课题方案
2014/06/09 职场文书
党员民主生活会对照检查材料思想汇报
2014/09/28 职场文书
贷款工作证明模板
2015/06/12 职场文书
职业生涯规划书之大学四年
2019/08/07 职场文书