python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
Python引用类型和值类型的区别与使用解析
Oct 17 Python
Python3实现购物车功能
Apr 18 Python
python爬取足球直播吧五大联赛积分榜
Jun 13 Python
python 读取.csv文件数据到数组(矩阵)的实例讲解
Jun 14 Python
python将回车作为输入内容的实例
Jun 23 Python
pyQt4实现俄罗斯方块游戏
Jun 26 Python
解决python opencv无法显示图片的问题
Oct 28 Python
pandas筛选某列出现编码错误的解决方法
Nov 07 Python
Python可迭代对象操作示例
May 07 Python
Flask框架单例模式实现方法详解
Jul 31 Python
pytorch之添加BN的实现
Jan 06 Python
python 提取html文本的方法
May 20 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
php删除与复制文件夹及其文件夹下所有文件的实现代码
2013/01/23 PHP
php实现的zip文件内容比较类
2014/09/24 PHP
经典PHP加密解密函数Authcode()修复版代码
2015/04/05 PHP
Zend Framework缓存Cache用法简单实例
2016/03/19 PHP
用Javascript实现锚点(Anchor)间平滑跳转
2009/09/08 Javascript
jQuery过滤选择器用法分析
2015/02/10 Javascript
jquery滚动特效集锦
2015/06/03 Javascript
javascript学习笔记之函数定义
2015/06/25 Javascript
JSON与XML优缺点对比分析
2015/07/17 Javascript
js为什么不能正确处理小数运算?
2015/12/29 Javascript
解析javascript瀑布流原理实现图片滚动加载
2016/03/10 Javascript
Jquery实现的简单轮播效果【附实例】
2016/04/19 Javascript
Bootstrap实现导航栏的2种方式
2016/11/28 Javascript
Vue.js系列之项目结构说明(2)
2017/01/03 Javascript
温故知新——JavaScript中的字符串连接问题最全总结(推荐)
2017/08/21 Javascript
dts文件中删除一个node或属性的操作方法
2018/08/05 Javascript
使用vue2.0创建的项目的步骤方法
2018/09/25 Javascript
Vue.js 使用v-cloak后仍显示变量的解决方法
2018/11/19 Javascript
详解angularjs4部署文件过大解决过程
2018/12/05 Javascript
150行代码带你实现微信小程序中的数据侦听
2019/05/17 Javascript
Python的迭代器和生成器
2015/07/29 Python
python实现批量按比例缩放图片效果
2018/03/30 Python
对Python中创建进程的两种方式以及进程池详解
2019/01/14 Python
django重新生成数据库中的某张表方法
2019/08/28 Python
解决Alexnet训练模型在每个epoch中准确率和loss都会一升一降问题
2020/06/17 Python
CSS3 实现的缩略图悬停效果
2020/12/09 HTML / CSS
如何使用amaze ui的分页样式封装一个通用的JS分页控件
2020/08/21 HTML / CSS
MSC邮轮官方网站:加勒比海、地中海和世界各地的假期
2018/08/27 全球购物
优秀通讯员事迹材料
2014/01/28 职场文书
小学生考试获奖感言
2014/01/30 职场文书
8和9的加减法教学反思
2014/05/01 职场文书
IT工程师岗位职责
2014/07/04 职场文书
计算机实训报告范文
2014/11/05 职场文书
2014年营业员工作总结
2014/11/18 职场文书
实习感想范文
2015/08/10 职场文书
深入浅析Redis 集群伸缩原理
2021/05/15 Redis