python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
深入解析Python设计模式编程中建造者模式的使用
Mar 02 Python
Python基于正则表达式实现检查文件内容的方法【文件检索】
Aug 30 Python
Python编程实现双链表,栈,队列及二叉树的方法示例
Nov 01 Python
Python去除、替换字符串空格的处理方法
Apr 01 Python
Python 2.7中文显示与处理方法
Jul 16 Python
Python XML转Json之XML2Dict的使用方法
Jan 15 Python
Django 实现外键去除自动添加的后缀‘_id’
Nov 15 Python
使用Python paramiko模块利用多线程实现ssh并发执行操作
Dec 05 Python
Python搭建Keras CNN模型破解网站验证码的实现
Apr 07 Python
pygame实现弹球游戏
Apr 14 Python
深入探讨opencv图像矫正算法实战
May 21 Python
PyTorch device与cuda.device用法
Apr 03 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
PHP vsprintf()函数格式化字符串操作原理解析
2020/07/14 PHP
扩展easyui.datagrid,添加数据loading遮罩效果代码
2010/11/02 Javascript
说说JSON和JSONP 也许你会豁然开朗
2012/09/02 Javascript
浅析Javascript使用include/require
2013/11/13 Javascript
JavaScript动态操作表格实例(添加,删除行,列及单元格)
2013/11/25 Javascript
JavaScript基础教程之alert弹出提示框实例
2014/10/16 Javascript
onclick和onblur冲突问题的快速解决方法
2016/04/28 Javascript
几种二级联动案例(jQuery\Array\Ajax php)
2016/08/13 Javascript
JavaScript实现父子dom同时绑定两个点击事件,一个用捕获,一个用冒泡时执行顺序的方法
2017/03/30 Javascript
Vuex之理解Store的用法
2017/04/19 Javascript
JavaScript选取(picking)和反选(rejecting)对象的属性方法
2017/08/16 Javascript
浅析webpack 如何优雅的使用tree-shaking(摇树优化)
2017/08/16 Javascript
JS简单实现数组去重的方法分析
2017/10/14 Javascript
React中this丢失的四种解决方法
2019/03/12 Javascript
Python 元类使用说明
2009/12/18 Python
python 实现删除文件或文件夹实例详解
2016/12/04 Python
Python学习入门之区块链详解
2017/07/25 Python
Python中常见的异常总结
2018/02/20 Python
基于Python实现的微信好友数据分析
2018/02/26 Python
Python实现图片识别加翻译功能
2019/12/26 Python
Python如何使用OS模块调用cmd
2020/02/27 Python
python实现在内存中读写str和二进制数据代码
2020/04/24 Python
Python 字节流,字符串,十六进制相互转换实例(binascii,bytes)
2020/05/11 Python
美国花布包包品牌:Vera Bradley
2017/08/11 全球购物
Club Monaco加拿大官网:设计师男女服装
2019/09/29 全球购物
美国户外烹饪产品购物网站:Outdoor Cooking
2020/01/10 全球购物
这76道Java面试题及答案,祝你能成功通过面试
2016/04/16 面试题
教师党员承诺书
2014/03/25 职场文书
小学生放飞梦想演讲稿
2014/08/26 职场文书
小学庆六一活动总结
2014/08/28 职场文书
计划生育证明格式范本
2014/09/12 职场文书
企业法人代表证明书
2014/09/27 职场文书
工厂标语大全
2014/10/06 职场文书
2014高三学生考试作弊检讨书
2014/12/14 职场文书
Python Pandas知识点之缺失值处理详解
2021/05/11 Python
一次Mysql update sql不当引起的生产故障记录
2022/04/01 MySQL