python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
分享一下Python 开发者节省时间的10个方法
Oct 02 Python
使用Python对IP进行转换的一些操作技巧小结
Nov 09 Python
python操作字典类型的常用方法(推荐)
May 16 Python
python3.5使用tkinter制作记事本
Jun 20 Python
python3中set(集合)的语法总结分享
Mar 24 Python
利用Tkinter(python3.6)实现一个简单计算器
Dec 21 Python
Python堆排序原理与实现方法详解
May 11 Python
详解Python并发编程之从性能角度来初探并发编程
Aug 23 Python
python实现根据文件格式分类
Oct 31 Python
pytorch实现seq2seq时对loss进行mask的方式
Feb 18 Python
Python机器学习之底层实现KNN
Jun 20 Python
一起来学习Python的元组和列表
Mar 13 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
php中使用gd库实现远程图片下载实例
2015/05/12 PHP
php将图片文件转换成二进制输出的方法
2015/06/10 PHP
ThinkPHP框架获取最后一次执行SQL语句及变量调试简单操作示例
2018/06/13 PHP
解决jQuery插件tipswindown与hintbox冲突
2010/11/05 Javascript
jquery触发a标签跳转事件示例代码
2013/07/21 Javascript
JS 实现导航栏悬停效果
2013/09/23 Javascript
JavaScript导出Excel实例详解
2014/11/25 Javascript
jQuery动态效果显示人物结构关系图的方法
2015/05/07 Javascript
JavaScript function函数种类详解
2016/02/22 Javascript
AngularJS 实现JavaScript 动画效果详解
2016/09/08 Javascript
JavaScript对象创建模式实例汇总
2016/10/03 Javascript
nodejs实现发出蜂鸣声音(系统报警声)的方法
2017/01/18 NodeJs
jQuery实现在新增加的元素上添加事件方法案例分析
2017/02/09 Javascript
BootstrapValidator实现注册校验和登录错误提示效果
2017/03/10 Javascript
Vue 2.5.2下axios + express 本地请求404的解决方法
2018/02/21 Javascript
layer.close()关闭进度条和Iframe窗的方法
2018/08/17 Javascript
通过npm或yarn自动生成vue组件的方法示例
2019/02/12 Javascript
[01:14:31]Secret vs VG 2018国际邀请赛淘汰赛BO3 第一场 8.23
2018/08/24 DOTA
Python实现并行抓取整站40万条房价数据(可更换抓取城市)
2016/12/14 Python
详解Python 解压缩文件
2019/04/09 Python
python实现多线程端口扫描
2019/08/31 Python
python argparse传入布尔参数false不生效的解决
2020/04/20 Python
在python里创建一个任务(Task)实例
2020/04/25 Python
python opencv图像处理(素描、怀旧、光照、流年、滤镜 原理及实现)
2020/12/10 Python
利用Opencv实现图片的油画特效实例
2021/02/28 Python
世界首屈一指的在线男士内衣权威:HisRoom
2017/08/05 全球购物
德尔福集团DELPHI的笔试题
2012/02/22 面试题
单位介绍信范文
2014/01/18 职场文书
精通CAD能手自荐书
2014/01/31 职场文书
就职演讲稿范文
2014/05/19 职场文书
网络营销计划书
2015/01/17 职场文书
酒店辞职书范文
2015/02/26 职场文书
时尚女魔头观后感
2015/06/04 职场文书
于丹论语心得观后感
2015/06/15 职场文书
导游词之西递宏村
2019/12/10 职场文书
PYTHON使用Matplotlib去实现各种条形图的绘制
2022/03/22 Python