python使用自定义user-agent抓取网页的方法


Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:

下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
使用python Django做网页
Nov 04 Python
分享Python文本生成二维码实例
Jan 06 Python
python开发之list操作实例分析
Feb 22 Python
一键搞定python连接mysql驱动有关问题(windows版本)
Apr 23 Python
Python(Django)项目与Apache的管理交互的方法
May 16 Python
Ubuntu下升级 python3.7.1流程备忘(推荐)
Dec 10 Python
Django REST Framework之频率限制的使用
Sep 29 Python
python使用paramiko实现ssh的功能详解
Mar 06 Python
对python中arange()和linspace()的区别说明
May 03 Python
python多进程下的生产者和消费者模型
May 07 Python
Python制作一个仿QQ办公版的图形登录界面
Sep 22 Python
python3实现Dijkstra算法最短路径的实现
May 12 Python
python使用urlparse分析网址中域名的方法
Apr 15 #Python
使用Python下的XSLT API进行web开发的简单教程
Apr 15 #Python
使用Python中的线程进行网络编程的入门教程
Apr 15 #Python
讲解Python中for循环下的索引变量的作用域
Apr 15 #Python
使用IPython下的Net-SNMP来管理类UNIX系统的教程
Apr 15 #Python
Python中的Matplotlib模块入门教程
Apr 15 #Python
使用Python编写类UNIX系统的命令行工具的教程
Apr 15 #Python
You might like
收集的PHP中与数组相关的函数
2007/03/22 PHP
PHP面向对象程序设计之类常量用法实例
2014/08/20 PHP
Linux中为php配置伪静态
2014/12/17 PHP
php is_executable判断给定文件名是否可执行实例
2016/09/26 PHP
PHP中list方法用法示例
2016/12/01 PHP
PHP实现打包zip并下载功能
2018/06/12 PHP
CL vs ForZe BO5 第三场 2.13
2021/03/10 DOTA
验证用户是否修改过页面的数据的实现方法
2008/09/26 Javascript
让人蛋疼的JavaScript语法特性
2014/09/30 Javascript
JS实现控制表格单元格垂直对齐的方法
2015/03/30 Javascript
JavaScript驾驭网页-获取网页元素
2016/03/24 Javascript
jquery自定义插件——window的实现【示例代码】
2016/05/06 Javascript
node.js 动态执行脚本
2016/06/02 Javascript
Angularjs 实现动态添加控件功能
2017/05/25 Javascript
vue路由嵌套的SPA实现步骤
2017/11/06 Javascript
node实现的爬虫功能示例
2018/05/04 Javascript
小程序实现带年月选取效果的日历
2018/06/27 Javascript
微信小程序 wx.getUserInfo引导用户授权问题实例分析
2020/03/09 Javascript
javascript设计模式 ? 简单工厂模式原理与应用实例分析
2020/04/09 Javascript
React冒泡和阻止冒泡的应用详解
2020/08/18 Javascript
python中的__init__ 、__new__、__call__小结
2014/04/25 Python
Python基于pygame实现的弹力球效果(附源码)
2015/11/11 Python
初步剖析C语言编程中的结构体
2016/01/16 Python
一篇文章搞定Python操作文件与目录
2019/08/13 Python
pytorch之添加BN的实现
2020/01/06 Python
Python实现不规则图形填充的思路
2020/02/02 Python
基于SpringBoot构造器注入循环依赖及解决方式
2020/04/26 Python
Numpy(Pandas)删除全为零的列的方法
2020/09/11 Python
html5如何在Canvas中实现自定义路径动画示例
2017/09/18 HTML / CSS
国外的一些J2EE面试题一
2012/10/13 面试题
公司门卫岗位职责
2014/03/15 职场文书
自我鉴定标准格式
2014/03/19 职场文书
我为党旗添光彩演讲稿
2014/09/10 职场文书
2015年环保局工作总结
2015/05/22 职场文书
Go 自定义package包设置与导入操作
2021/05/06 Golang
MySQL 计算连续登录天数
2022/05/11 MySQL