python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
Python编程语言的35个与众不同之处(语言特征和使用技巧)
Jul 07 Python
python通过ssh-powershell监控windows的方法
Jun 02 Python
numpy排序与集合运算用法示例
Dec 15 Python
微信跳一跳自动运行python脚本
Jan 08 Python
python中正则表达式的使用方法
Feb 25 Python
使用sklearn之LabelEncoder将Label标准化的方法
Jul 11 Python
pyqt5 tablewidget 利用线程动态刷新数据的方法
Jun 17 Python
python与C、C++混编的四种方式(小结)
Jul 15 Python
Python如何使用Gitlab API实现批量的合并分支
Nov 27 Python
详解Python3中的 input() 函数
Mar 18 Python
Python开发入门——迭代的基本使用
Sep 03 Python
Django中和时区相关的安全问题详解
Oct 12 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
php在线生成ico文件的代码
2007/10/09 PHP
PHP中基本符号及使用方法
2010/03/23 PHP
探讨:如何使用PHP实现计算两个日期间隔的年、月、周、日数
2013/06/13 PHP
php5.3 goto函数介绍和示例
2014/03/21 PHP
PHP将字符分解为多个字符串的方法
2014/11/22 PHP
php实现在服务器端调整图片大小的方法
2015/06/16 PHP
PHP PDOStatement::getAttribute讲解
2019/02/01 PHP
两个DIV等高的JS的实现代码
2007/12/23 Javascript
js textarea自动增高并隐藏滚动条
2009/12/16 Javascript
JavaScript中函数声明优先于变量声明的实例分析
2012/03/01 Javascript
jquery跨域请求示例分享(jquery发送ajax请求)
2014/03/25 Javascript
javascript数组操作总结和属性、方法介绍
2014/04/05 Javascript
弹出遮罩层后禁止滚动效果【实现代码】
2016/04/29 Javascript
AngularJs中 ng-repeat指令中实现含有自定义指令的动态html的方法
2017/01/19 Javascript
浅谈react+es6+webpack的基础配置
2017/08/09 Javascript
JS解决position:sticky的兼容性问题的方法
2017/10/17 Javascript
js中null与空字符串""的区别讲解
2019/01/17 Javascript
vue-router跳转时打开新页面的两种方法
2019/07/29 Javascript
vue swipeCell滑动单元格(仿微信)的实现示例
2020/09/14 Javascript
[04:28]DOTA2亚洲邀请赛小组赛第五日 TOP10精彩集锦
2015/02/03 DOTA
[01:16:01]VGJ.S vs Mski Supermajor小组赛C组 BO3 第一场 6.3
2018/06/04 DOTA
[01:07:13]TNC vs Pain 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/20 DOTA
python回调函数的使用方法
2014/01/23 Python
浅析Python中的多条件排序实现
2016/06/07 Python
python模块smtplib实现纯文本邮件发送功能
2018/05/22 Python
解决python字典对值(值为列表)赋值出现重复的问题
2019/01/20 Python
利用python将图片版PDF转文字版PDF
2019/05/03 Python
python PIL模块的基本使用
2020/09/29 Python
.NET面试题:什么是值类型和引用类型
2016/01/12 面试题
退休教师欢送会主持词
2014/03/31 职场文书
2015年党性分析材料
2014/12/19 职场文书
教师节座谈会主持词
2015/07/03 职场文书
七年级作文之关于奶奶
2019/10/29 职场文书
Mybatis是这样防止sql注入的
2021/12/06 Java/Android
聊聊基于pytorch实现Resnet对本地数据集的训练问题
2022/03/25 Python
MySQL常用慢查询分析工具详解
2022/08/14 MySQL