python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
python实现忽略大小写对字符串列表排序的方法
Sep 25 Python
python基础教程之Filter使用方法
Jan 17 Python
Python+tkinter使用80行代码实现一个计算器实例
Jan 16 Python
python3中的md5加密实例
May 29 Python
将tensorflow的ckpt模型存储为npy的实例
Jul 09 Python
python之线程通过信号pyqtSignal刷新ui的方法
Jan 11 Python
一步步教你用python的scrapy编写一个爬虫
Apr 17 Python
Python检测数据类型的方法总结
May 20 Python
Python之Numpy的超实用基础详细教程
Oct 23 Python
pip install 使用国内镜像的方法示例
Apr 03 Python
使用Python pip怎么升级pip
Aug 11 Python
Anaconda详细安装步骤图文教程
Nov 12 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
php获取汉字首字母的函数
2013/11/07 PHP
php+highchats生成动态统计图
2014/05/21 PHP
PHP 导出Excel示例分享
2014/08/18 PHP
WordPress的主题编写中获取头部模板和底部模板
2015/12/28 PHP
PHP使用数组依次替换字符串中匹配项
2016/01/08 PHP
PHP实现的DES加密解密封装类完整实例
2017/04/29 PHP
Laravel 微信小程序后端实现用户登录的示例代码
2019/11/26 PHP
thinkphp5框架路由原理与用法详解
2020/02/11 PHP
javascript 树控件 比较好用
2009/06/11 Javascript
jQuery点击后一组图片左右滑动的实现代码
2012/08/16 Javascript
js控制输入框获得和失去焦点时状态显示的方法
2015/01/30 Javascript
js实现checkbox全选、不选与反选的方法
2015/02/09 Javascript
js实现prototype扩展的方法(字符串,日期,数组扩展)
2016/01/14 Javascript
移动端H5开发 Turn.js实现很棒的翻书效果
2016/06/20 Javascript
js实现倒计时关键代码
2017/05/05 Javascript
js评分组件使用详解
2017/06/06 Javascript
详解Vue学习笔记入门篇之组件的内容分发(slot)
2017/07/17 Javascript
vue项目中使用ueditor的实例讲解
2018/03/05 Javascript
对Vue.js之事件的绑定(v-on: 或者 @ )详解
2018/09/15 Javascript
AngularJS实现的自定义过滤器简单示例
2019/02/02 Javascript
微信小程序自定义tabBar在uni-app的适配详解
2019/09/30 Javascript
[01:04:06]DOTA2上海特级锦标赛A组资格赛#2 Secret VS EHOME第一局
2016/02/26 DOTA
python与sqlite3实现解密chrome cookie实例代码
2018/01/20 Python
Python中生成器和迭代器的区别详解
2018/02/10 Python
django Admin文档生成器使用详解
2019/07/22 Python
解决tensorflow由于未初始化变量而导致的错误问题
2020/01/06 Python
matlab、python中矩阵的互相导入导出方式
2020/06/01 Python
Keras SGD 随机梯度下降优化器参数设置方式
2020/06/19 Python
Html5上传图片 移动端、PC端通用代码
2016/06/08 HTML / CSS
UGG雪地靴荷兰官网:UGG荷兰
2016/09/09 全球购物
施华洛世奇水晶荷兰官方网站:SWAROVSKI荷兰
2017/05/12 全球购物
新春文艺演出主持词
2014/03/27 职场文书
新闻专业毕业生求职信
2014/08/08 职场文书
公务员四风问题对照检查材料整改措施
2014/09/26 职场文书
Golang二维数组的使用方式
2021/05/28 Golang
PostgreSQL并行计算算法及参数强制并行度设置方法
2022/04/06 PostgreSQL