Python爬虫工程师面试问题总结


Posted in Python onMarch 22, 2018

注:答案一般在网上都能够找到。

1.对if __name__ == 'main'的理解陈述

2.python是如何进行内存管理的?

3.请写出一段Python代码实现删除一个list里面的重复元素

4.Python里面如何拷贝一个对象?(赋值,浅拷贝,深拷贝的区别)

5.介绍一下except的用法和作用?

6.Python中__new__与__init__方法的区别

7.常用的网络数据爬取方法

8.遇到过得反爬虫策略以及解决方法

9.urllib 和 urllib2 的区别

10.设计一个基于session登录验证的爬虫方案

11.列举网络爬虫所用到的网络数据包,解析包

12.熟悉的爬虫框架

13.Python在服务器的部署流程,以及环境隔离

14.Django 和 Flask 的相同点与不同点,如何进行选择?

15.写一个Python中的单例模式

16.Linux部署服务脚本命令(包括启动和停止的shell脚本)

17.你用过多线程和异步嘛?除此之外你还用过什么方法来提高爬虫效率?

18.POST 与 GET的区别

1)对if __name__ == 'main'的理解陈述

__name__是当前模块名,当模块被直接运行时模块名为__main__,也就是当前的模块,当模块被导入时,模块名就不是__main__,即代码将不会执行。

2)python是如何进行内存管理的?

a、对象的引用计数机制
python内部使用引用计数,来保持追踪内存中的对象,Python内部记录了对象有多少个引用,即引用计数,当对象被创建时就创建了一个引用计数,当对象不再需要时,这个对象的引用计数为0时,它被垃圾回收。

b、垃圾回收

1>当一个对象的引用计数归零时,它将被垃圾收集机制处理掉。

2>当两个对象a和b相互引用时,del语句可以减少a和b的引用计数,并销毁用于引用底层对象 的名称。然而由于每个对象都包含一个对其他对象的应用,因此引用计数不会归零,对象也不会销毁。(从而导致内存泄露)。为解决这一问题,解释器会定期执行一个循环检测器,搜索不可访问对象的循环并删除它们。

c、内存池机制

Python提供了对内存的垃圾收集机制,但是它将不用的内存放到内存池而不是返回给操作系统。

1>Pymalloc机制。为了加速Python的执行效率,Python引入了一个内存池机制,用于管理 对小块内存的申请和释放。

2>Python中所有小于256个字节的对象都使用pymalloc实现的分配器,而大的对象则使用 系统的malloc。

3>对于Python对象,如整数,浮点数和List,都有其独立的私有内存池,对象间不共享他们的内存池。也就是说如果你分配又释放了大量的整数,用于缓存这些整数的内存就不能再分配给浮点数。

3)请写出一段Python代码实现删除一个list里面的重复元素

# 1.使用set函数
list = [1, 3, 4, 5, 51, 2, 3]
set(list)
# 2.使用字典函数,
>>> a = [1, 2, 4, 2, 4, 5, 6, 5, 7, 8, 9, 0]
>>> b = {}
>>> b = b.fromkeys(a)
>>> c = list(b.keys())
>>> c

4)Python里面如何拷贝一个对象?(赋值,浅拷贝,深拷贝的区别)

赋值(=),就是创建了对象的一个新的引用,修改其中任意一个变量都会影响到另一个。

浅拷贝:创建一个新的对象,但它包含的是对原始对象中包含项的引用(如果用引用的方式修改其中一个对象,另外一个也会修改改变){1,完全切片方法;2,工厂函数,如list();3,copy模块的copy()函数}

深拷贝:创建一个新的对象,并且递归的复制它所包含的对象(修改其中一个,另外一个不会改变){copy模块的deep.deepcopy()函数}

5)介绍一下except的用法和作用?

try…except…except…else…

执行try下的语句,如果引发异常,则执行过程会跳到except语句。对每个except分支顺序尝试执行,如果引发的异常与except中的异常组匹配,执行相应的语句。如果所有的except都不匹配,则异常会传递到下一个调用本代码的最高层try代码中。

try下的语句正常执行,则执行else块代码。如果发生异常,就不会执行如果存在finally语句,最后总是会执行。

6)Python中__new__与__init__方法的区别

__new__:它是创建对象时调用,会返回当前对象的一个实例,可以用__new__来实现单例

__init__:它是创建对象后调用,对当前对象的一些实例初始化,无返回值

7)常用的网络数据爬取方法

  • 正则表达式
  • Beautiful Soup
  • Lxml

8)遇到过得反爬虫策略以及解决方法

1.通过headers反爬虫

2.基于用户行为的发爬虫:(同一IP短时间内访问的频率)

3.动态网页反爬虫(通过ajax请求数据,或者通过JavaScript生成)

4.对部分数据进行加密处理的(数据是乱码)

解决方法:

对于基本网页的抓取可以自定义headers,添加headers的数据

使用多个代理ip进行抓取或者设置抓取的频率降低一些,动态网页的可以使用selenium + phantomjs 进行抓取

对部分数据进行加密的,可以使用selenium进行截图,使用python自带的pytesseract库进行识别,但是比较慢最直接的方法是找到加密的方法进行逆向推理。

9)urllib 和 urllib2 的区别

urllib 和urllib2都是接受URL请求的相关模块,但是urllib2可以接受一个Request类的实例来设置URL请求的headers,urllib仅可以接受URL。urllib不可以伪装你的User-Agent字符串。

urllib提供urlencode()方法用来GET查询字符串的产生,而urllib2没有。这是为何urllib常和urllib2一起使用的原因。

10)设计一个基于session登录验证的爬虫方案

11)列举网络爬虫所用到的网络数据包,解析包

网络数据包 urllib、urllib2、requests

解析包 re、xpath、beautiful soup、lxml

12)熟悉的爬虫框架

Scrapy框架 根据自己的实际情况回答

13)Python在服务器的部署流程,以及环境隔离

14)Django 和 Flask 的相同点与不同点,如何进行选择?

15)写一个Python中的单例模式

class Singleton(object):
_instance = None
def __new__(cls, *args, **kw):
if not cls._instance:
cls._instance = super(Singleton, cls).__new__(cls, *args, **kw) 
return cls._instance
class MyClass(Singleton): 
a = 1
one = MyClass()
two = MyClass()
id(one) = id(two)
>>> True

16)Linux部署服务脚本命令(包括启动和停止的shell脚本)

17)你用过多线程和异步嘛?除此之外你还用过什么方法来提高爬虫效率?

  • scrapy-redis 分布式爬取
  • 对于定向爬取可以用正则取代xpath

18)POST与 GET的区别

  • GET数据传输安全性低,POST传输数据安全性高,因为参数不会被保存在浏览器历史或web服务器日志中;
  • 在做数据查询时,建议用GET方式;而在做数据添加、修改或删除时,建议用POST方式;
  • GET在url中传递数据,数据信息放在请求头中;而POST请求信息放在请求体中进行传递数据;
  • GET传输数据的数据量较小,只能在请求头中发送数据,而POST传输数据信息比较大,一般不受限制;
  • 在执行效率来说,GET比POST好

19)什么是lambda函数?它有什么好处?

lambda 表达式,通常是在需要一个函数,但是又不想费神去命名一个函数的场合下使用,也就是指匿名函数

lambda函数:首要用途是指点短小的回调函数

lambda [arguments]:expression
>>> a=lambdax,y:x+y
>>> a(3,11)
Python 相关文章推荐
Python的shutil模块中文件的复制操作函数详解
Jul 05 Python
python 函数传参之传值还是传引用的分析
Sep 07 Python
python requests爬取高德地图数据的实例
Nov 10 Python
Numpy将二维数组添加到空数组的实现
Dec 05 Python
pytorch 自定义卷积核进行卷积操作方式
Dec 30 Python
pytorch中的自定义数据处理详解
Jan 06 Python
python实现实时视频流播放代码实例
Jan 11 Python
TensorFlow2.0矩阵与向量的加减乘实例
Feb 07 Python
python根据字典的键来删除元素的方法
Aug 16 Python
Django限制API访问频率常用方法解析
Oct 12 Python
PyCharm2020.3.2安装超详细教程
Feb 08 Python
python使用pycharm安装pyqt5以及相关配置
Apr 22 Python
Python入门必须知道的11个知识点
Mar 21 #Python
python使用Tesseract库识别验证
Mar 21 #Python
python如何派生内置不可变类型并修改实例化行为
Mar 21 #Python
python如何通过实例方法名字调用方法
Mar 21 #Python
python如何为被装饰的函数保留元数据
Mar 21 #Python
15行Python代码带你轻松理解令牌桶算法
Mar 21 #Python
Python反转序列的方法实例分析
Mar 21 #Python
You might like
PHP通用检测函数集合
2011/02/08 PHP
解析PHP中VC6 X86和VC9 X86的区别及 Non Thread Safe的意思
2013/06/28 PHP
php ci框架中加载css和js文件失败的解决方法
2014/03/03 PHP
CI(CodeIgniter)框架介绍
2014/06/09 PHP
PHP中__FILE__、dirname与basename用法实例分析
2014/12/01 PHP
PHP whois查询类定义与用法示例
2019/04/03 PHP
PHP执行系统命令函数实例讲解
2021/03/03 PHP
静态的动态续篇之来点XML
2006/12/23 Javascript
超强的IE背景图片闪烁(抖动)的解决办法
2007/09/09 Javascript
Moment.js 不容错过的超棒Javascript日期处理类库
2012/04/15 Javascript
JS比较两个时间大小的简单示例代码
2013/12/20 Javascript
js获取微信版本号的方法
2015/05/12 Javascript
原生js获取iframe中dom元素--父子页面相互获取对方dom元素的方法
2016/08/05 Javascript
vue文件树组件使用详解
2018/03/29 Javascript
Vue2.0 实现歌手列表滚动及右侧快速入口功能
2018/08/08 Javascript
vue+element实现打印页面功能
2019/05/20 Javascript
Nodejs异步流程框架async的方法
2019/06/07 NodeJs
Node.js 实现远程桌面监控的方法步骤
2019/07/02 Javascript
vue登录页面cookie的使用及页面跳转代码
2019/07/10 Javascript
简洁的十分钟Python入门教程
2015/04/03 Python
python实现将内容分行输出
2015/11/05 Python
学习python之编写简单简单连接数据库并执行查询操作
2016/02/27 Python
深入理解NumPy简明教程---数组1
2016/12/17 Python
漂亮的Django Markdown富文本app插件的实现
2019/01/02 Python
python自动化测试之异常及日志操作实例分析
2019/11/09 Python
如何利用python检测图片是否包含二维码
2020/10/15 Python
英国网上花店:Bunches
2016/11/29 全球购物
法国隐形眼镜网站:VisionDirect.fr
2020/03/03 全球购物
匡威俄罗斯官网:Converse俄罗斯
2020/05/09 全球购物
如何用SQL语句进行模糊查找
2015/09/25 面试题
司仪主持词两篇
2014/03/22 职场文书
优秀团员事迹材料1000字
2014/08/20 职场文书
乡镇干部先进性教育活动个人整改措施
2014/09/16 职场文书
2014年学校安全工作总结
2014/11/13 职场文书
惹女朋友生气检讨书
2015/05/06 职场文书
MySQL控制流函数(-if ,elseif,else,case...when)
2022/07/07 MySQL