编程 Python

python使用自定义user-agent抓取网页的方法

Posted in Python onApril 15, 2015

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：

下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

python使用自定义user-agent抓取网页的方法

- Author -

令狐不聪

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python使用minidom读写xml的方法

Jun 03 Python

python strip() 函数和 split() 函数的详解及实例

Feb 03 Python

让Django支持Sql Server作后端数据库的方法

May 29 Python

破解安装Pycharm的方法

Oct 19 Python

Python+OpenCV采集本地摄像头的视频

Apr 25 Python

python创建学生管理系统

Nov 22 Python

tensorflow实现读取模型中保存的值 tf.train.NewCheckpointReader

Feb 10 Python

Python ADF 单位根检验如何查看结果的实现

Jun 03 Python

浅谈Python 命令行参数argparse写入图片路径操作

Jul 12 Python

Python用K-means聚类算法进行客户分群的实现

Aug 23 Python

PyTorch dropout设置训练和测试模式的实现

May 27 Python

能让Python提速超40倍的神器Cython详解

Jun 24 Python

python使用urlparse分析网址中域名的方法

Apr 15 #Python

使用Python下的XSLT API进行web开发的简单教程

Apr 15 #Python

使用Python中的线程进行网络编程的入门教程

Apr 15 #Python

讲解Python中for循环下的索引变量的作用域

Apr 15 #Python

使用IPython下的Net-SNMP来管理类UNIX系统的教程

Apr 15 #Python

Python中的Matplotlib模块入门教程

Apr 15 #Python

使用Python编写类UNIX系统的命令行工具的教程

Apr 15 #Python

You might like

一个简单的PHP验证码实现代码

2014/05/10 PHP

JavaScript Event学习第四章传统的事件注册模型

2010/02/07 Javascript

css值转换成数值请抛弃parseInt

2011/10/24 Javascript

解决Extjs 4 Panel作为Window组件的子组件时出现双重边框问题

2013/01/11 Javascript

jQuery:节点(插入,复制,替换,删除)操作

2013/03/04 Javascript

常用的JavaScript验证正则表达式汇总

2013/11/26 Javascript

详解javascript实现瀑布流列式布局

2016/01/29 Javascript

BootStrap学习笔记之nav导航栏和面包屑导航

2017/01/03 Javascript

vue: WebStorm设置快速编译运行的方法

2018/10/18 Javascript

JavaScript数组去重的几种方法

2019/04/07 Javascript

layui输入框只允许输入中文且判断长度的例子

2019/09/18 Javascript

layui table 复选框跳页后再回来保持原来选中的状态示例

2019/10/26 Javascript

vue基于better-scroll仿京东分类列表

2020/06/30 Javascript

js面向对象封装级联下拉菜单列表的实现步骤

2021/02/08 Javascript

python实现简单温度转换的方法

2015/03/13 Python

在Python的Flask框架下使用sqlalchemy库的简单教程

2015/04/09 Python

Python中zfill()方法的使用教程

2015/05/20 Python

Python数据库的连接实现方法与注意事项

2016/02/27 Python

Python利用递归和walk()遍历目录文件的方法示例

2017/07/14 Python

python实现监控某个服务服务崩溃即发送邮件报告

2018/06/21 Python

Python创建字典的八种方式

2019/02/27 Python

Python 窗体(tkinter)按钮位置实例

2019/06/13 Python

python绘制双Y轴折线图以及单Y轴双变量柱状图的实例

2019/07/08 Python

Django Rest framework三种分页方式详解

2019/07/26 Python

对Python中 \r, \n, \r\n的彻底理解

2020/03/06 Python

Python偏函数实现原理及应用

2020/11/20 Python

Pyecharts 中Geo函数常用参数的用法说明

2021/02/01 Python

HTML5新增的标签和属性归纳总结

2018/05/02 HTML / CSS

IE10 Error.stack 让脚本调试更加方便快捷

2013/04/22 HTML / CSS

素食餐饮项目创业计划书

2014/02/02 职场文书

我的梦中国梦演讲稿

2014/04/23 职场文书

2014年房产销售工作总结

2014/12/08 职场文书

家长会感言

2015/08/01 职场文书

2016学雷锋优秀志愿者事迹材料

2016/02/25 职场文书

详解Oracle块修改跟踪功能

2021/11/07 Oracle

Python创建SQL数据库流程逐步讲解

2022/09/23 Python