Python3爬虫学习入门教程


Posted in Python onDecember 11, 2018

本文实例讲述了Python3爬虫相关入门知识。分享给大家供大家参考,具体如下:

在网上看到大多数爬虫教程都是Python2的,但Python3才是未来的趋势,许多初学者看了Python2的教程学Python3的话很难适应过来,毕竟Python2.x和Python3.x还是有很多区别的,一个系统的学习方法和路线非常重要,因此我在联系了一段时间之后,想写一下自己的学习过程,分享一下自己的学习经验,顺便也锻炼一下自己。

一、入门篇

这里是Python3的官方技术文档,在这里需要着重说一下,语言的技术文档是用来查的,不是用来学习的,真的没必要把文档背下来,这样学习效率真的很低,不如片学边做,在实践中才会学到东西,不然即使你背会了文档,你仍然很难做出什么项目来,我当初就是在这上面,走了很多弯路,在这里推荐W3cscjool里面的教程非常不错,学习与实践相结合。

1. 少废话,先看东西

第一个例子:爬取知乎首页源码。

#-*-coding:utf-8 -*-
import urllib.request
url = "http://www.zhihu.com"
page_info = urllib.request.urlopen(url).read()
page_info = page_info.decode('utf-8')
print(page_info)

运行结果:

Python3爬虫学习入门教程

运行之后,在IDLE shell里面知乎网站首页的源代码就会被读出来啦Blahblahblah~~~

爬虫定义:

网络爬虫(Web Spider),又被称为网页蜘蛛,是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。

简介:

网络蜘蛛是一个很形象的名字。如果把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从 网站某一个页面开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。

爬虫流程:

①先由urllib的request打开Url得到网页html文档——②浏览器打开网页源代码分析元素节点——③通过Beautiful Soup(后面会讲到)或则正则表达式提取想要的数据——④存储数据到本地磁盘或数据库(抓取,分析,存储)

urllib和urllib2

python2.x里urllib2库,在python3.x里,urllib2改名为urllib,被分成一些子模块:urllib.request, urllib.parseurllib.error。尽管函数名称大多数和原来一样,但是在用新的urllib库时需要注意哪些函数被移动到子模块里了。
urllib是python的标准库,包含了从网络请求数据,处理cookie,甚至改变像请求头和用户代理这些元数据的函数。
urlopen用来打开并读取一个从网络获取的远程对象。它可以轻松读取HTML文件、图像文件或其他任何文件流。

url = "http://www.zhihu.com"
page_info = urllib.request.urlopen(url).read()

urllib.request是urllib的一个子模块,可以打开和处理一些复杂的网址

decode('utf-8')用来将页面转换成utf-8的编码格式,否则会出现乱码

page_info = page_info.decode('utf-8')
print(page_info)

urllib.request.urlopen()方法实现了打开url,并返回一个 http.client.HTTPResponse对象,通过http.client.HTTPResponse的read()方法,获得response body,转码最后通过print()打印出来.

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python中sleep函数用法实例分析
Apr 29 Python
Python Web框架Tornado运行和部署
Oct 19 Python
python dict.get()和dict['key']的区别详解
Jun 30 Python
python中如何使用朴素贝叶斯算法
Apr 06 Python
一个Python最简单的接口自动化框架
Jan 02 Python
python实现电脑自动关机
Jun 20 Python
python实现感知器算法(批处理)
Jan 18 Python
Python实现简单层次聚类算法以及可视化
Mar 18 Python
python GUI库图形界面开发之PyQt5 MDI(多文档窗口)QMidArea详细使用方法与实例
Mar 05 Python
解决pycharm下pyuic工具使用的问题
Apr 08 Python
python 爬取小说并下载的示例
Dec 07 Python
Python加密技术之RSA加密解密的实现
Apr 08 Python
Python3实现爬取简书首页文章标题和文章链接的方法【测试可用】
Dec 11 #Python
python绘制散点图并标记序号的方法
Dec 11 #Python
pandas分别写入excel的不同sheet方法
Dec 11 #Python
使用Python横向合并excel文件的实例
Dec 11 #Python
padas 生成excel 增加sheet表的实例
Dec 11 #Python
python合并已经存在的sheet数据到新sheet的方法
Dec 11 #Python
Python 多线程不加锁分块读取文件的方法
Dec 11 #Python
You might like
PHP实现股票趋势图和柱形图
2015/02/07 PHP
PHP定时任务获取微信access_token的方法
2016/10/10 PHP
Avengerls vs Newbee BO3 第一场2.18
2021/03/10 DOTA
js 可拖动列表实现代码
2011/12/13 Javascript
浅析JavaScript中的typeof运算符
2013/11/30 Javascript
鼠标选择动态改变网页背景颜色的JS代码
2013/12/10 Javascript
一个非常全面的javascript URL解析函数和分段URL解析方法
2014/04/12 Javascript
Javascript基础教程之变量
2015/01/18 Javascript
JavaScript页面模板库handlebars的简单用法
2015/03/02 Javascript
jQuery实现只允许输入数字和小数点的方法
2016/03/02 Javascript
实例解析angularjs的filter过滤器
2016/12/14 Javascript
react路由配置方式详解
2017/08/07 Javascript
angular或者js怎么确定选中ul中的哪几个li
2017/08/16 Javascript
Vue.js递归组件实现组织架构树和选人功能
2019/07/04 Javascript
Vue-CLI项目中路由传参的方式详解
2019/09/01 Javascript
让python的Cookie.py模块支持冒号做key的方法
2010/12/28 Python
python类的方法属性与方法属性的动态绑定代码详解
2017/12/27 Python
Python基于whois模块简单识别网站域名及所有者的方法
2018/04/23 Python
对numpy中向量式三目运算符详解
2018/10/31 Python
python3中替换python2中cmp函数的实现
2019/08/20 Python
Python多线程实现支付模拟请求过程解析
2020/04/21 Python
世界上最大的各式箱包网络零售店:eBag
2016/07/21 全球购物
台湾家适得:Homeget
2019/02/11 全球购物
什么是封装
2013/03/26 面试题
高中三年学习生活的自我评价
2013/10/10 职场文书
金融专业推荐信
2013/11/14 职场文书
毕业自荐书
2013/12/09 职场文书
参观监狱心得体会
2014/01/02 职场文书
大学生村官典型材料
2014/01/12 职场文书
汉语言文学专业自荐信
2014/06/11 职场文书
最美家庭活动方案
2014/08/31 职场文书
2014年客房服务员工作总结
2014/11/18 职场文书
个人思想政治总结
2015/03/05 职场文书
2016年入党心得体会范文
2016/01/23 职场文书
React 高阶组件HOC用法归纳
2021/06/13 Javascript
SQL语句中JOIN的用法场景分析
2021/07/25 SQL Server