Python3爬虫学习入门教程


Posted in Python onDecember 11, 2018

本文实例讲述了Python3爬虫相关入门知识。分享给大家供大家参考,具体如下:

在网上看到大多数爬虫教程都是Python2的,但Python3才是未来的趋势,许多初学者看了Python2的教程学Python3的话很难适应过来,毕竟Python2.x和Python3.x还是有很多区别的,一个系统的学习方法和路线非常重要,因此我在联系了一段时间之后,想写一下自己的学习过程,分享一下自己的学习经验,顺便也锻炼一下自己。

一、入门篇

这里是Python3的官方技术文档,在这里需要着重说一下,语言的技术文档是用来查的,不是用来学习的,真的没必要把文档背下来,这样学习效率真的很低,不如片学边做,在实践中才会学到东西,不然即使你背会了文档,你仍然很难做出什么项目来,我当初就是在这上面,走了很多弯路,在这里推荐W3cscjool里面的教程非常不错,学习与实践相结合。

1. 少废话,先看东西

第一个例子:爬取知乎首页源码。

#-*-coding:utf-8 -*-
import urllib.request
url = "http://www.zhihu.com"
page_info = urllib.request.urlopen(url).read()
page_info = page_info.decode('utf-8')
print(page_info)

运行结果:

Python3爬虫学习入门教程

运行之后,在IDLE shell里面知乎网站首页的源代码就会被读出来啦Blahblahblah~~~

爬虫定义:

网络爬虫(Web Spider),又被称为网页蜘蛛,是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。

简介:

网络蜘蛛是一个很形象的名字。如果把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从 网站某一个页面开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。

爬虫流程:

①先由urllib的request打开Url得到网页html文档——②浏览器打开网页源代码分析元素节点——③通过Beautiful Soup(后面会讲到)或则正则表达式提取想要的数据——④存储数据到本地磁盘或数据库(抓取,分析,存储)

urllib和urllib2

python2.x里urllib2库,在python3.x里,urllib2改名为urllib,被分成一些子模块:urllib.request, urllib.parseurllib.error。尽管函数名称大多数和原来一样,但是在用新的urllib库时需要注意哪些函数被移动到子模块里了。
urllib是python的标准库,包含了从网络请求数据,处理cookie,甚至改变像请求头和用户代理这些元数据的函数。
urlopen用来打开并读取一个从网络获取的远程对象。它可以轻松读取HTML文件、图像文件或其他任何文件流。

url = "http://www.zhihu.com"
page_info = urllib.request.urlopen(url).read()

urllib.request是urllib的一个子模块,可以打开和处理一些复杂的网址

decode('utf-8')用来将页面转换成utf-8的编码格式,否则会出现乱码

page_info = page_info.decode('utf-8')
print(page_info)

urllib.request.urlopen()方法实现了打开url,并返回一个 http.client.HTTPResponse对象,通过http.client.HTTPResponse的read()方法,获得response body,转码最后通过print()打印出来.

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
仅用500行Python代码实现一个英文解析器的教程
Apr 02 Python
使用Python脚本操作MongoDB的教程
Apr 16 Python
Python使用ftplib实现简易FTP客户端的方法
Jun 03 Python
python实现kNN算法
Dec 20 Python
浅谈python可视化包Bokeh
Feb 07 Python
python如何修改装饰器中参数
Mar 20 Python
python自动化生成IOS的图标
Nov 13 Python
tensorflow ckpt模型和pb模型获取节点名称,及ckpt转pb模型实例
Jan 21 Python
python 读取二进制 显示图片案例
Apr 24 Python
python爬虫快速响应服务器的做法
Nov 24 Python
Ubuntu20.04环境安装tensorflow2的方法步骤
Jan 29 Python
Python使用pandas导入xlsx格式的excel文件内容操作代码
Dec 24 Python
Python3实现爬取简书首页文章标题和文章链接的方法【测试可用】
Dec 11 #Python
python绘制散点图并标记序号的方法
Dec 11 #Python
pandas分别写入excel的不同sheet方法
Dec 11 #Python
使用Python横向合并excel文件的实例
Dec 11 #Python
padas 生成excel 增加sheet表的实例
Dec 11 #Python
python合并已经存在的sheet数据到新sheet的方法
Dec 11 #Python
Python 多线程不加锁分块读取文件的方法
Dec 11 #Python
You might like
php file_exists 检查文件或目录是否存在的函数
2010/05/10 PHP
使用phpstorm和xdebug实现远程调试的方法
2015/12/29 PHP
用Javscript实现表单复选框的全选功能
2007/05/25 Javascript
细说浏览器特性检测(2)-通用事件检测
2010/11/05 Javascript
js限制文本框只能输入数字(正则表达式)
2012/07/15 Javascript
10个基于浏览器的JavaScript调试工具分享
2013/02/07 Javascript
jQuery仿Excel表格编辑功能的实现代码
2013/05/01 Javascript
javascript 密码框防止用户粘贴和复制的实现代码
2014/02/17 Javascript
jqeury-easyui-layout问题解决方法
2014/03/24 Javascript
JavaScript拆分字符串时产生空字符的解决方案
2014/09/26 Javascript
jQuery实现360°全景拖动展示
2015/03/18 Javascript
JS实现仿新浪微博发布内容为空时提示功能代码
2015/08/19 Javascript
基于JavaScript实现全选、不选和反选效果
2017/02/15 Javascript
详解vue-cli项目中用json-sever搭建mock服务器
2017/11/02 Javascript
谈谈vue中mixin的一点理解
2017/12/12 Javascript
vue日历/日程提醒/html5本地缓存功能
2019/09/02 Javascript
深入探索VueJS Scoped CSS 实现原理
2019/09/23 Javascript
Javascript查看大图功能代码实现
2020/05/07 Javascript
解决Echarts2竖直datazoom滑动后显示数据不全的问题
2020/07/20 Javascript
对vue生命周期的深入理解
2020/12/03 Vue.js
[46:12]完美世界DOTA2联赛循环赛 DM vs Matador BO2第一场 11.04
2020/11/04 DOTA
在Python中操作字典之clear()方法的使用
2015/05/21 Python
python远程邮件控制电脑升级版
2019/05/23 Python
对python 中class与变量的使用方法详解
2019/06/26 Python
python os.path.isfile 的使用误区详解
2019/11/29 Python
python super函数使用方法详解
2020/02/14 Python
Python中Selenium模块的使用详解
2020/10/09 Python
canvas进阶之如何画出平滑的曲线
2018/10/15 HTML / CSS
预订奥兰多和佛罗里达州公园门票:FloridaTix
2018/01/03 全球购物
Beauty Expert美国/加拿大:购买奢侈美容产品
2018/12/05 全球购物
自考生毕业自我鉴定
2013/10/10 职场文书
粗加工管理制度
2014/02/04 职场文书
人民检察院起诉书
2015/05/20 职场文书
总结会主持词
2015/07/02 职场文书
小学数学国培研修日志
2015/11/13 职场文书
小学家庭教育心得体会
2016/01/14 职场文书