python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
Python中为什么要用self探讨
Apr 14 Python
使用C语言扩展Python程序的简单入门指引
Apr 14 Python
简单介绍Python中利用生成器实现的并发编程
May 04 Python
python去除空格和换行符的实现方法(推荐)
Jan 04 Python
python list转矩阵的实例讲解
Aug 04 Python
python实现flappy bird游戏
Dec 24 Python
python实现AES加密与解密
Mar 28 Python
PyQt5笔记之弹出窗口大全
Jun 20 Python
python 3.6.7实现端口扫描器
Sep 04 Python
tensorflow中tf.reduce_mean函数的使用
Apr 19 Python
pyCharm 实现关闭代码检查
Jun 09 Python
Python json格式化打印实现过程解析
Jul 21 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
实时抓取YAHOO股票报价的代码
2006/10/09 PHP
php 生成饼图 三维饼图
2009/09/28 PHP
Search File Contents PHP 搜索目录文本内容的代码
2010/02/21 PHP
PHP删除非空目录的函数代码小结
2013/02/28 PHP
采用memcache在web集群中实现session的同步会话
2014/07/05 PHP
smarty内置函数{loteral}、{ldelim}和{rdelim}用法实例
2015/01/22 PHP
php JWT在web端中的使用方法教程
2018/09/06 PHP
如何在centos8自定义目录安装php7.3
2019/11/28 PHP
IE和FireFox(FF)中js和css的不同
2009/04/13 Javascript
支持ie与FireFox的剪切板操作代码
2009/09/28 Javascript
js中判断文本框是否为空的两种方法
2011/07/31 Javascript
Javascript Web Slider 焦点图示例源码
2013/10/10 Javascript
在JavaScript中重写jQuery对象的方法实例教程
2014/08/25 Javascript
JavaScript学习笔记之JS函数
2015/01/22 Javascript
JavaScript 里的类数组对象
2015/04/08 Javascript
基于jQuery插件实现环形图标菜单旋转切换特效
2015/05/15 Javascript
jquery.validate使用时遇到的问题
2015/05/25 Javascript
JS实现仿新浪黄色经典滑动门效果代码
2015/09/27 Javascript
Bootstrap按钮下拉菜单组件详解
2016/05/10 Javascript
Javascript在IE和Firefox浏览器常见兼容性问题总结
2016/08/03 Javascript
Bootstrap组件之下拉菜单,多级菜单及按钮布局方法实例
2017/05/25 Javascript
JS中的JSON对象的定义和取值实现代码
2018/05/09 Javascript
详解jQuery设置内容和属性
2019/04/11 jQuery
Vue中inheritAttrs的使用实例详解
2020/12/31 Vue.js
Python实现大文件排序的方法
2015/07/10 Python
centos6.8安装python3.7无法import _ssl的解决方法
2018/09/17 Python
python动态视频下载器的实现方法
2019/09/16 Python
对python中各个response的使用说明
2020/03/28 Python
岗位职责的定义
2013/11/10 职场文书
某同学的自我鉴定范文
2013/12/26 职场文书
英语教师岗位职责
2014/03/16 职场文书
政府门卫岗位职责
2014/04/29 职场文书
公司承诺书格式
2014/05/21 职场文书
党的群众路线教育实践活动个人对照检查剖析材料
2014/09/23 职场文书
据Python爬虫不靠谱预测可知今年双十一销售额将超过6000亿元
2021/11/11 Python
Go语言编译原理之变量捕获
2022/08/05 Golang