python爬虫面试宝典(常见问题)


Posted in Python onMarch 02, 2018
  • 是否了解线程的同步和异步?

线程同步:多个线程同时访问同一资源,等待资源访问结束,浪费时间,效率低

线程异步:在访问资源时在空闲等待时同时访问其他资源,实现多线程机制

  • 是否了解网络的同步和异步?

同步:提交请求->等待服务器处理->处理完毕返回 这个期间客户端浏览器不能干任何事

异步: 请求通过事件触发->服务器处理(这是浏览器仍然可以作其他事情)->处理完毕

  • 链表和顺序表储存时各自有什么优点?

1.顺序表存储

原理:顺序表存储是将数据元素放到一块连续的内存存储空间,存取效率高,速度快。但是不可以动态增加长度

优点:存取速度高效,通过下标来直接存储

缺点:1.插入和删除比较慢,2.不可以增长长度

比如:插入或者删除一个元素时,整个表需要遍历移动元素来重新排一次顺序

2.链表存储

原理:链表存储是在程序运行过程中动态的分配空间,只要存储器还有空间,就不会发生存储溢出问题

优点:插入和删除速度快,保留原有的物理顺序,比如:插入或者删除一个元素时,只需要改变指针指向即可

缺点:查找速度慢,因为查找时,需要循环链表访问

  • 使用redis搭建分布式系统时如何处理网络延迟和网络异常?

由于网络异常的存在,分布式系统中请求结果存在“三态”的概念,即三种状态:“成功”、“失败”、“超时(未知)”

当出现“超时”时可以通过发起读取数据的操作以验证 RPC 是否成功(例如银行系统的做法)

另一种简单的做法是,设计分布式协议时将执行步骤设计为可重试的,即具有所谓的“幂等性”

  • 数据仓库是什么?

数据仓库是一个面向主题的、集成的、稳定的、反映历史变化的、随着时间的流逝发生变化的数据集合。它主要支持管理人员的决策分析。

数据仓库收集了企业相关内部和外部各个业务系统数据源、归档文件等一系列历史数据,最后转化成企业需要的战略决策信息。

  • 特点:

面向主题:根据业务的不同而进行的内容划分;
集成特性:因为不同的业务源数据具有不同的数据特点,当业务源数据进入到数据仓库时,需要采用统一的编码格式进行数据加载,从而保证数据仓库中数据的唯一性;
非易失性:数据仓库通过保存数据不同历史的各种状态,并不对数据进行任何更新操作。
历史特性:数据保留时间戳字段,记录每个数据在不同时间内的各种状态。

假设有一个爬虫,从网络上获取数据的频率快,本地写入数据的频率慢,使用什么数据结构好?

  • 在线求解(o°ω°o)

你是否了解谷歌的无头浏览器?

无头浏览器即headless browser,是一种没有界面的浏览器。既然是浏览器那么浏览器该有的东西它都应该有,只是看不到界面而已。

Python中selenium模块中的PhantomJS即为无界面浏览器(无头浏览器):是基于QtWebkit的无头浏览器,

你是否了解MySQL数据库的几种引擎?

  • InnoDB:

InnoDB是一个健壮的事务型存储引擎,这种存储引擎已经被很多互联网公司使用,为用户操作非常大的数据存储提供了一个强大的解决方案。

在以下场合下,使用InnoDB是最理想的选择:

1.更新密集的表。InnoDB存储引擎特别适合处理多重并发的更新请求。

2.事务。InnoDB存储引擎是支持事务的标准MySQL存储引擎。

3.自动灾难恢复。与其它存储引擎不同,InnoDB表能够自动从灾难中恢复。

4.外键约束。MySQL支持外键的存储引擎只有InnoDB。

5.支持自动增加列AUTO_INCREMENT属性。

一般来说,如果需要事务支持,并且有较高的并发读取频率,InnoDB是不错的选择。

  • MEMORY:

使用MySQL Memory存储引擎的出发点是速度。为得到最快的响应时间,采用的逻辑存储介质是系统内存。

虽然在内存中存储表数据确实会提供很高的性能,但当mysqld守护进程崩溃时,所有的Memory数据都会丢失。

获得速度的同时也带来了一些缺陷。

一般在以下几种情况下使用Memory存储引擎:

1.目标数据较小,而且被非常频繁地访问。在内存中存放数据,所以会造成内存的使用,可以通过参数max_heap_table_size控制Memory表的大小,设置此参数,就可以限制Memory表的最大大小。

2.如果数据是临时的,而且要求必须立即可用,那么就可以存放在内存表中。

3.存储在Memory表中的数据如果突然丢失,不会对应用服务产生实质的负面影响。

  • redis数据库有哪几种数据结构?

5种数据结构

string 

使用string时,redis**大多数情况下**并不会理解或者解析其含义,无论使用json、xml还是纯文本在redis看来都是一样的,只是一个字符串,只能进行strlen、append等对字符串通用的操作,无法针对其内容进一步操作。其基本操作命令有set、get、strlen、getrange、append:

SET key value
 GET key
 STRLEN key
 GETRANGE key start end
 APPEND key value

在大多数情况之外,就是string中存储的为纯数字的情况,redis可以将字符串当做数字进行进一步操作,这些操作包括decr、decrby、incr、incrby和incrbyfloat。

hash

使用hash时,在我看来,就是value本身就是一组key-value对,不过redis将这里的key称为field(但是hkeys命令为什么不叫hfields命令呢哈哈),也就是value是一组field-value对。其基本操作命令有hset、hget、hmset、hmget、hgetall、hkeys和hdel:

HSET key field value
 HGET key field
 HMSET key field value [field value ...]
 HMGET key field [field ...]
 HGETALL key
 HKEYS key
 HDEL key field [field ...]

list

使用list时,value就是一个string数组,操作这组string时,可以像对待栈一样使用pop和push操作,但是这个栈两端都能进行操作;也可以像对待数组一样使用一个index参数来操作。list的操作命令略杂,主要分为两类:L开头的和R开头的,L代表LEFT或者LIST,进行一些从列表左端进行的操作,或者一些与端无关的操作;R代表RIGHT,进行一些从列表右端进行的操作。 

set

set用于存储一组不重复的值,也可以进行一些集合的操作,就像数学上的集合,它是无序的。基本操作有sadd和sismember:

SADD key member [member ...]
 SISMEMBER key member

集合操作有:求交sinter、求并sunion和求差sdiff:

SINTER key [key ...]
 SUNION key [key ...]
 SDIFF key [key ...]

sorted set

sorted set类似set,但是sorted set里每个元素都有一个score,这个score可用于排序和排名。基本操作有zadd、zcount、zrank:

ZADD key score member [score member ...]
 ZCOUNT key min max
 ZRANK key member

总结

以上所述是小编给大家介绍的python爬虫面试经典(常见问题),希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python操作xml文件详细介绍
Jun 09 Python
Python实现类继承实例
Jul 04 Python
使用C#配合ArcGIS Engine进行地理信息系统开发
Feb 19 Python
Python随机数random模块使用指南
Sep 09 Python
详解python上传文件和字符到PHP服务器
Nov 24 Python
django.db.utils.ProgrammingError: (1146, u“Table‘’ doesn’t exist”)问题的解决
Jul 13 Python
python中eval与int的区别浅析
Aug 11 Python
pygame编写音乐播放器的实现代码示例
Nov 19 Python
python 遍历pd.Series的index和value
Nov 26 Python
python每5分钟从kafka中提取数据的例子
Dec 23 Python
基于Python第三方插件实现西游记章节标注汉语拼音的方法
May 22 Python
写一个Python脚本自动爬取Bilibili小视频
Apr 24 Python
Python基于Flask框架配置依赖包信息的项目迁移部署
Mar 02 #Python
谈谈python中GUI的选择
Mar 01 #Python
纯python实现机器学习之kNN算法示例
Mar 01 #Python
用python与文件进行交互的方法
Mar 01 #Python
python爬虫爬取快手视频多线程下载功能
Feb 28 #Python
python爬取m3u8连接的视频
Feb 28 #Python
python实现m3u8格式转换为mp4视频格式
Feb 28 #Python
You might like
新版PHP极大的增强功能和性能
2006/10/09 PHP
php实现Mysql简易操作类
2015/10/11 PHP
PHP微信红包API接口
2015/12/05 PHP
Yii2创建多界面主题(Theme)的方法
2016/10/08 PHP
php支付宝APP支付功能
2020/07/29 PHP
PHP获取对象属性的三种方法实例分析
2019/01/03 PHP
慎用 somefunction.prototype 分析
2009/06/02 Javascript
JavaScript中“+”的陷阱深刻理解
2012/12/04 Javascript
jcrop基本参数一览
2013/07/16 Javascript
JS下拉缓冲菜单示例代码
2013/08/30 Javascript
Jquery通过Ajax方式来提交Form表单的具体实现
2013/11/07 Javascript
jQuery超精致图片轮播幻灯片特效代码分享
2015/09/10 Javascript
微信小程序开发之入门实例教程篇
2017/03/07 Javascript
用Nodejs搭建服务器访问html、css、JS等静态资源文件
2017/04/28 NodeJs
vue-cli+webpack项目 修改项目名称的方法
2018/02/28 Javascript
VUE : vue-cli中去掉路由中的井号#操作
2020/09/04 Javascript
[02:43]DOTA2亚洲邀请赛场馆攻略——带你走进东方体育中心
2018/03/19 DOTA
python采集百度百科的方法
2015/06/05 Python
pycharm下打开、执行并调试scrapy爬虫程序的方法
2017/11/29 Python
python构建深度神经网络(续)
2018/03/10 Python
Django使用详解:ORM 的反向查找(related_name)
2018/05/30 Python
pyqt5 lineEdit设置密码隐藏,删除lineEdit已输入的内容等属性方法
2019/06/24 Python
Flask教程之重定向与错误处理实例分析
2019/08/01 Python
Python+OpenCv制作证件图片生成器的操作方法
2019/08/21 Python
PyInstaller运行原理及常用操作详解
2020/06/13 Python
美国知名的隐形眼镜电商:Contacts America
2019/11/19 全球购物
印度电子产品购物网站:Vijay Sales
2021/02/16 全球购物
Chupi官网:在爱尔兰手工制作的订婚、结婚戒指和精美珠宝
2020/09/28 全球购物
通信研究生自荐信
2014/02/01 职场文书
国培计划培训感言
2014/03/11 职场文书
幼儿园中班教师寄语
2014/04/03 职场文书
小学生竞选班干部演讲稿(5篇)
2014/09/12 职场文书
教师师德考核自我评价
2014/09/13 职场文书
关于九一八事变的演讲稿2014
2014/09/17 职场文书
单位租房协议书范本
2014/12/04 职场文书
使用CSS实现六边形的图片效果
2022/08/05 HTML / CSS