python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
跟老齐学Python之传说中的函数编写条规
Oct 11 Python
浅析Python中的序列化存储的方法
Apr 28 Python
python高手之路python处理excel文件(方法汇总)
Jan 07 Python
Python中异常重试的解决方案详解
May 05 Python
PyCharm在win10的64位系统安装实例
Nov 26 Python
python实现Decorator模式实例代码
Feb 09 Python
python批量读取txt文件为DataFrame的方法
Apr 03 Python
Python自定义装饰器原理与用法实例分析
Jul 16 Python
详解Django中间件的5种自定义方法
Jul 26 Python
解决PyCharm同目录下导入模块会报错的问题
Oct 13 Python
Python pandas DataFrame操作的实现代码
Jun 21 Python
Python+Selenium实现读取网易邮箱验证码
Mar 13 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
利用PHP制作简单的内容采集器的代码
2007/11/28 PHP
支持中文的php加密解密类代码
2011/11/27 PHP
php 输入输出流详解及示例代码
2016/08/25 PHP
详解php中的implements 使用
2017/06/13 PHP
javascript 兼容鼠标滚轮事件
2009/04/07 Javascript
原生javascript实现的分页插件pagenav
2014/08/28 Javascript
JQuery中的事件及动画用法实例
2015/01/26 Javascript
JS与jQ读取xml文件的方法
2015/12/08 Javascript
AngularJS 简单应用实例
2016/07/28 Javascript
JavaScript 网页中实现一个计算当年还剩多少时间的倒数计时程序
2017/01/25 Javascript
jQuery实现分页功能(含ajax请求、后台数据、附完整demo)
2017/04/03 jQuery
JavaScript 用fetch 实现异步下载文件功能
2017/07/21 Javascript
利用JS实现scroll自定义滚动效果详解
2017/10/17 Javascript
JavaScript实现数值自动增加动画
2017/12/28 Javascript
KnockoutJS数组比较算法实例详解
2019/11/25 Javascript
JS Thunk 函数的含义和用法实例总结
2020/04/08 Javascript
js实现点击上传图片并设为模糊背景
2020/08/02 Javascript
python使用Flask框架获取用户IP地址的方法
2015/03/21 Python
Python实现快速排序和插入排序算法及自定义排序的示例
2016/02/16 Python
Python正则表达式非贪婪、多行匹配功能示例
2017/08/08 Python
python使用super()出现错误解决办法
2017/08/14 Python
python爬虫 正则表达式使用技巧及爬取个人博客的实例讲解
2017/10/20 Python
详解Python在七牛云平台的应用(一)
2017/12/05 Python
基于python生成器封装的协程类
2019/03/20 Python
pycharm 安装JPype的教程
2019/08/08 Python
OpenCV+face++实现实时人脸识别解锁功能
2019/08/28 Python
Python过滤掉numpy.array中非nan数据实例
2020/06/08 Python
如何快速一次性卸载所有python包(第三方库)呢
2020/10/20 Python
Python利用matplotlib绘制散点图的新手教程
2020/11/05 Python
英国花园家具中心:Garden Furniture Centre
2017/08/24 全球购物
瑜伽灵感珠宝:Satya Jewelry
2018/01/06 全球购物
护理职业应聘自荐书
2013/09/29 职场文书
公司庆典活动邀请函
2014/01/09 职场文书
护士自我评价
2014/02/01 职场文书
医院工作检讨书范文
2014/02/10 职场文书
2014年档案室工作总结
2014/12/01 职场文书