python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
对于Python中RawString的理解介绍
Jul 07 Python
python使用pil进行图像处理(等比例压缩、裁剪)实例代码
Dec 11 Python
DRF跨域后端解决之django-cors-headers的使用
Jan 27 Python
手把手教你安装Windows版本的Tensorflow
Mar 26 Python
PyPDF2读取PDF文件内容保存到本地TXT实例
May 12 Python
Python基于smtplib协议实现发送邮件
Jun 03 Python
Django中使用Json返回数据的实现方法
Jun 03 Python
Python通用唯一标识符uuid模块使用案例
Sep 10 Python
详解python 条件语句和while循环的实例代码
Dec 28 Python
基于python的matplotlib制作双Y轴图
Apr 20 Python
python迷宫问题深度优先遍历实例
Jun 20 Python
详解Go语言运用广度优先搜索走迷宫
Jun 23 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
php为什么选mysql作为数据库? Mysql 创建用户方法
2007/07/02 PHP
php去掉URL网址中带有PHPSESSID的配置方法
2014/07/08 PHP
如何写php守护进程(Daemon)
2015/12/30 PHP
php简单实现批量上传图片的方法
2016/05/09 PHP
PHP+mysql防止SQL注入的方法小结
2019/04/27 PHP
文本加密解密
2006/06/23 Javascript
DOM 基本方法
2009/07/18 Javascript
Mootools 1.2教程 定时器和哈希简介
2009/09/15 Javascript
jQuery 表格工具集
2010/04/25 Javascript
js图片跟随鼠标移动代码
2015/11/26 Javascript
Angular.js与Bootstrap相结合实现手风琴菜单代码
2016/04/13 Javascript
jQuery动态添加可拖动元素完整实例(附demo源码下载)
2016/06/21 Javascript
JavaScript兼容浏览器FF/IE技巧
2016/08/14 Javascript
微信小程序 教程之wxapp视图容器 swiper
2016/10/19 Javascript
Javascript 正则表达式校验数字的简单实例
2016/11/02 Javascript
jquery获取链接地址和跳转详解(推荐)
2017/08/15 jQuery
Vue 实现列表动态添加和删除的两种方法小结
2018/09/07 Javascript
中级前端工程师必须要掌握的27个JavaScript 技巧(干货总结)
2019/09/23 Javascript
vue.js的状态管理vuex中store的使用详解
2019/11/08 Javascript
微信小程序后端无法保持session的原因及解决办法问题
2020/03/20 Javascript
jQuery插件simplePagination的使用方法示例
2020/04/28 jQuery
深入解析Python中的list列表及其切片和迭代操作
2016/03/13 Python
简单谈谈Python中的反转字符串问题
2016/10/24 Python
python语音识别实践之百度语音API
2018/08/30 Python
Python实现批量执行同目录下的py文件方法
2019/01/11 Python
Python面向对象程序设计中类的定义、实例化、封装及私有变量/方法详解
2019/02/28 Python
python智联招聘爬虫并导入到excel代码实例
2019/09/09 Python
使用Tkinter制作信息提示框
2020/02/18 Python
使用python matploblib库绘制准确率,损失率折线图
2020/06/16 Python
HTML5 通信API 跨域门槛将不再高、数据推送也不再是梦
2013/04/25 HTML / CSS
美国最古老的精致书写工具制造商:A.T. Cross(高仕)
2018/01/30 全球购物
澳大利亚家具和家居用品在线商店:Interiors Online
2018/03/05 全球购物
数据库笔试题
2013/05/09 面试题
如何写一个自定义标签
2012/12/28 面试题
《石榴》教学反思
2014/03/02 职场文书
Linux服务器离线安装 nginx的详细步骤
2022/06/16 Servers