python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
Python实现截屏的函数
Jul 26 Python
Python 3.7新功能之dataclass装饰器详解
Apr 21 Python
解决Python requests库编码 socks5代理的问题
May 07 Python
python 地图经纬度转换、纠偏的实例代码
Aug 06 Python
使用python获取(宜宾市地震信息)地震信息
Jun 20 Python
python实现动态创建类的方法分析
Jun 25 Python
python+openCV调用摄像头拍摄和处理图片的实现
Aug 06 Python
Python编程学习之如何判断3个数的大小
Aug 07 Python
如何配置关联Python 解释器 Anaconda的教程(图解)
Apr 30 Python
python获取百度热榜链接的实例方法
Aug 25 Python
python 调用js的四种方式
Apr 11 Python
怎么用Python识别手势数字
Jun 07 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
php学习笔记 [预定义数组(超全局数组)]
2011/06/09 PHP
PHP中函数rand和mt_rand的区别比较
2012/12/26 PHP
微信支付PHP SDK之微信公众号支付代码详解
2015/12/09 PHP
Zend Framework入门之环境配置及第一个Hello World示例(附demo源码下载)
2016/03/21 PHP
Joomla语言翻译类Jtext用法分析
2016/05/05 PHP
PHP写的简单数字验证码实例
2017/05/23 PHP
PHP折半(二分)查找算法实例分析
2018/05/12 PHP
JS获取地址栏参数的几种方法小结
2014/02/28 Javascript
JavaScript sup方法入门实例(把字符串显示为上标)
2014/10/20 Javascript
《JavaScript高级编程》学习笔记之object和array引用类型
2015/11/01 Javascript
JavaScript中关于for循环删除数组元素内容时出现的问题
2016/11/21 Javascript
javascript中的event loop事件循环详解
2018/12/14 Javascript
Js逆向实现滑动验证码图片还原的示例代码
2020/03/10 Javascript
vant 自定义 van-dropdown-item的用法
2020/08/05 Javascript
微信小程序对图片进行canvas压缩的方法示例详解
2020/11/12 Javascript
用Python进行一些简单的自然语言处理的教程
2015/03/31 Python
Django中模版的子目录与include标签的使用方法
2015/07/16 Python
python实现简单登陆流程的方法
2018/04/22 Python
钉钉群自定义机器人消息Python封装的实例
2019/02/20 Python
解决Django一个表单对应多个按钮的问题
2019/07/18 Python
Python列表元素常见操作简单示例
2019/10/25 Python
python中的selenium安装的步骤(浏览器自动化测试框架)
2020/03/17 Python
Pycharm中安装wordcloud等库失败问题及终端通过pip安装的Python库如何添加到Pycharm解释器中(推荐)
2020/05/10 Python
Kathmandu澳洲户外商店:新西兰户外运动品牌
2017/11/12 全球购物
三星加拿大官方网上商店:Samsung CA
2020/12/18 全球购物
学术会议邀请函范文
2014/01/22 职场文书
《一个中国孩子的呼声》教学反思
2014/02/12 职场文书
节约用水倡议书
2014/04/16 职场文书
工作违纪检讨书范文
2015/01/26 职场文书
实习推荐信格式模板
2015/03/27 职场文书
2015年乡镇残联工作总结
2015/05/13 职场文书
2015小学五年级班主任工作总结
2015/05/21 职场文书
浅谈Mysql多表连接查询的执行细节
2021/04/24 MySQL
使用logback实现按自己的需求打印日志到自定义的文件里
2021/08/30 Java/Android
Javascript webpack动态import
2022/04/19 Javascript
Win11 25163.1010更新补丁KB5016904推送,测试服务验证管道(附更新修复汇总)
2022/07/23 数码科技