python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
python 运算符 供重载参考
Jun 11 Python
python将ip地址转换成整数的方法
Mar 17 Python
pymongo实现控制mongodb中数字字段做加法的方法
Mar 26 Python
python修改字典内key对应值的方法
Jul 11 Python
Python实现各种排序算法的代码示例总结
Dec 11 Python
Python 3.x 连接数据库示例(pymysql 方式)
Jan 19 Python
Python实现mysql数据库更新表数据接口的功能
Nov 19 Python
python使用matplotlib库生成随机漫步图
Aug 27 Python
Pycharm 设置默认头的图文教程
Jan 17 Python
pyqt5 从本地选择图片 并显示在label上的实例
Jun 13 Python
Python下opencv图像阈值处理的使用笔记
Aug 04 Python
浅谈pandas dataframe对除数是零的处理
Jul 20 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
php 更新数据库中断的解决方法
2009/06/05 PHP
php记录日志的实现代码
2011/08/08 PHP
关于crontab的使用详解
2013/06/24 PHP
ThinkPHP在Cli模式下使用模板引擎的方法
2015/09/25 PHP
thinkphp微信开之安全模式消息加密解密不成功的解决办法
2015/12/02 PHP
ThinkPHP5与单元测试PHPUnit使用详解
2020/02/23 PHP
javascript 隐藏/显示指定的区域附HTML元素【legend】用法
2010/03/05 Javascript
读jQuery之十四 (触发事件核心方法)
2011/08/23 Javascript
javascript级联下拉列表实例代码(自写)
2013/05/10 Javascript
javascript模拟评分控件实现方法
2015/05/13 Javascript
javascript 使用for循环时该注意的问题-附问题总结
2015/08/19 Javascript
javascript判断图片是否加载完成的方法推荐
2016/05/13 Javascript
每个程序员都需要学习 JavaScript 的7个理由小结
2016/09/03 Javascript
JS实现自动阅读单词(有道单词本添加功能)
2016/11/14 Javascript
jQuery Validation Engine验证控件调用外部函数验证的方法
2017/01/18 Javascript
Vue 2.x教程之基础API
2017/03/06 Javascript
Cookies 和 Session的详解及区别
2017/04/21 Javascript
AngularJS+bootstrap实现动态选择商品功能示例
2017/05/17 Javascript
Vue.extend构造器的详解
2017/07/17 Javascript
JS继承与闭包及JS实现继承的三种方式
2017/10/15 Javascript
小程序实现左滑删除功能
2018/10/30 Javascript
[02:27]2018DOTA2亚洲邀请赛趣味视频之钓鱼大赛 谁是垂钓冠军?
2018/04/05 DOTA
[01:02:09]Liquid vs TNC 2019国际邀请赛淘汰赛 胜者组 BO3 第二场 8.21
2020/07/19 DOTA
python定时采集摄像头图像上传ftp服务器功能实现
2013/12/23 Python
利用Python破解斗地主残局详解
2017/06/30 Python
python+opencv实现高斯平滑滤波
2020/07/21 Python
Python设计模式之适配器模式原理与用法详解
2019/01/15 Python
零基础小白多久能学会python
2020/06/22 Python
Python 没有main函数的原因
2020/07/10 Python
Python Selenium自动化获取页面信息的方法
2020/08/31 Python
HTML5 解决苹果手机不能自动播放音乐问题
2017/12/27 HTML / CSS
软件测试工程师笔试题带答案
2015/03/27 面试题
《我为你骄傲》教学反思
2014/02/20 职场文书
幼儿园教师节感谢信
2015/01/23 职场文书
宝宝满月宴答谢词
2015/09/30 职场文书
python 单机五子棋对战游戏
2022/04/28 Python