Python3爬虫学习入门教程


Posted in Python onDecember 11, 2018

本文实例讲述了Python3爬虫相关入门知识。分享给大家供大家参考,具体如下:

在网上看到大多数爬虫教程都是Python2的,但Python3才是未来的趋势,许多初学者看了Python2的教程学Python3的话很难适应过来,毕竟Python2.x和Python3.x还是有很多区别的,一个系统的学习方法和路线非常重要,因此我在联系了一段时间之后,想写一下自己的学习过程,分享一下自己的学习经验,顺便也锻炼一下自己。

一、入门篇

这里是Python3的官方技术文档,在这里需要着重说一下,语言的技术文档是用来查的,不是用来学习的,真的没必要把文档背下来,这样学习效率真的很低,不如片学边做,在实践中才会学到东西,不然即使你背会了文档,你仍然很难做出什么项目来,我当初就是在这上面,走了很多弯路,在这里推荐W3cscjool里面的教程非常不错,学习与实践相结合。

1. 少废话,先看东西

第一个例子:爬取知乎首页源码。

#-*-coding:utf-8 -*-
import urllib.request
url = "http://www.zhihu.com"
page_info = urllib.request.urlopen(url).read()
page_info = page_info.decode('utf-8')
print(page_info)

运行结果:

Python3爬虫学习入门教程

运行之后,在IDLE shell里面知乎网站首页的源代码就会被读出来啦Blahblahblah~~~

爬虫定义:

网络爬虫(Web Spider),又被称为网页蜘蛛,是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。

简介:

网络蜘蛛是一个很形象的名字。如果把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从 网站某一个页面开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。

爬虫流程:

①先由urllib的request打开Url得到网页html文档——②浏览器打开网页源代码分析元素节点——③通过Beautiful Soup(后面会讲到)或则正则表达式提取想要的数据——④存储数据到本地磁盘或数据库(抓取,分析,存储)

urllib和urllib2

python2.x里urllib2库,在python3.x里,urllib2改名为urllib,被分成一些子模块:urllib.request, urllib.parseurllib.error。尽管函数名称大多数和原来一样,但是在用新的urllib库时需要注意哪些函数被移动到子模块里了。
urllib是python的标准库,包含了从网络请求数据,处理cookie,甚至改变像请求头和用户代理这些元数据的函数。
urlopen用来打开并读取一个从网络获取的远程对象。它可以轻松读取HTML文件、图像文件或其他任何文件流。

url = "http://www.zhihu.com"
page_info = urllib.request.urlopen(url).read()

urllib.request是urllib的一个子模块,可以打开和处理一些复杂的网址

decode('utf-8')用来将页面转换成utf-8的编码格式,否则会出现乱码

page_info = page_info.decode('utf-8')
print(page_info)

urllib.request.urlopen()方法实现了打开url,并返回一个 http.client.HTTPResponse对象,通过http.client.HTTPResponse的read()方法,获得response body,转码最后通过print()打印出来.

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python实现控制台输入密码的方法
May 29 Python
python获取目录下所有文件的方法
Jun 01 Python
[原创]pip和pygal的安装实例教程
Dec 07 Python
微信跳一跳python代码实现
Jan 05 Python
基于python的图片修复程序(实现水印去除)
Jun 04 Python
为何人工智能(AI)首选Python?读完这篇文章你就知道了(推荐)
Apr 06 Python
Python使用统计函数绘制简单图形实例代码
May 15 Python
python切片的步进、添加、连接简单操作示例
Jul 11 Python
使用python绘制二维图形示例
Nov 22 Python
python实现局域网内实时通信代码
Dec 22 Python
keras 多gpu并行运行案例
Jun 10 Python
Python获取江苏疫情实时数据及爬虫分析
Aug 02 Python
Python3实现爬取简书首页文章标题和文章链接的方法【测试可用】
Dec 11 #Python
python绘制散点图并标记序号的方法
Dec 11 #Python
pandas分别写入excel的不同sheet方法
Dec 11 #Python
使用Python横向合并excel文件的实例
Dec 11 #Python
padas 生成excel 增加sheet表的实例
Dec 11 #Python
python合并已经存在的sheet数据到新sheet的方法
Dec 11 #Python
Python 多线程不加锁分块读取文件的方法
Dec 11 #Python
You might like
缅甸的咖啡简史
2021/03/04 咖啡文化
第十二节 类的自动加载 [12]
2006/10/09 PHP
FCKeditor添加自定义按钮
2008/03/27 PHP
PHP 实现多服务器共享 SESSION 数据
2009/08/15 PHP
Windows下XDebug 手工配置与使用说明
2010/07/11 PHP
PHP+jQuery+Ajax实现分页效果 jPaginate插件的应用
2015/10/09 PHP
PHPCrawl爬虫库实现抓取酷狗歌单的方法示例
2017/12/21 PHP
JavaScript 实现类的多种方法实例
2013/05/01 Javascript
JavaScript初学者建议:不要去管浏览器兼容
2014/02/04 Javascript
Node.js实现的简易网页抓取功能示例
2014/12/05 Javascript
详解AngularJS中的http拦截
2016/02/09 Javascript
JavaScript头像上传插件源码分享
2016/03/29 Javascript
jQuery实现表格与ckeckbox的全选与单选功能
2016/11/24 Javascript
node-sass安装失败的原因与解决方法
2017/09/04 Javascript
JS运动特效之完美运动框架实例分析
2018/01/24 Javascript
浅谈如何优雅处理JavaScript异步错误
2019/11/12 Javascript
python实现的用于搜索文件并进行内容替换的类实例
2015/06/28 Python
python中根据字符串调用函数的实现方法
2016/06/12 Python
浅谈Python 集合(set)类型的操作——并交差
2016/06/30 Python
Python通过调用mysql存储过程实现更新数据功能示例
2018/04/03 Python
Python如何使用k-means方法将列表中相似的句子归类
2019/08/08 Python
python实现简单日志记录库glog的使用
2019/12/13 Python
pytorch实现对输入超过三通道的数据进行训练
2020/01/15 Python
Django配置跨域并开发测试接口
2020/11/04 Python
python各种excel写入方式的速度对比
2020/11/10 Python
AmazeUI 按钮交互的实现示例
2020/08/24 HTML / CSS
中文专业毕业生自荐信
2013/10/28 职场文书
教育专业自荐书范文
2013/12/17 职场文书
廉洁教育学习材料
2014/05/19 职场文书
请客吃饭开场白
2015/06/01 职场文书
杨善洲电影观后感
2015/06/04 职场文书
企业愿景口号
2015/12/25 职场文书
MySQL性能压力基准测试工具sysbench的使用简介
2021/04/21 MySQL
解决golang在import自己的包报错的问题
2021/04/29 Golang
Pytorch 如何实现LSTM时间序列预测
2021/05/17 Python
Python绘画好看的星空图
2022/03/17 Python