Python3获取拉勾网招聘信息的方法实例


Posted in Python onApril 03, 2019

前言

为了了解跟python数据分析有关行业的信息,大概地了解一下对这个行业的要求以及薪资状况,我决定从网上获取信息并进行分析。既然想要分析就必须要有数据,于是我选择了拉勾,冒着危险深入内部,从他们那里得到了信息。不得不说,拉勾的反爬技术还挺厉害的,稍后再说明。话不多说,直接开始。

一、明确目的

每次爬虫都要有明确的目的,刚接触随便找东西试水的除外。我想要知道的是python数据分析的要求以及薪资状况,因此,薪资、学历、工作经验以及一些任职要求就是我的目的。

既然明确了目的,我们就要看一下它们在什么位置,所以我们打开浏览器,寻找目标。像拉勾这种网站他们的信息一般都是通过ajax加载的,而且在输入“python数据分析”敲击回车之后跳转的页面,招聘信息不是一开始就显示出来的,通过点击页码也只是招聘信息在变化甚至连network都没多大变化,可以大胆猜测他是通过post请求的,所以我们只关注post请求以及XHR文件,很快就发现了我们要的东西。

Python3获取拉勾网招聘信息的方法实例

点击preview可见详细信息以json形式保存着,其中‘salary'、‘workYear'、‘education'、‘positionID'(招聘信息详情页有关的id)是我们要的。再观察一下它的form data,其中kd=关键字,pn=pageNum(页码)这是我们请求的时候要带上的参数。另外我们要注意请求头的referer参数,待会儿要用。知道了目标之后,爬起来!

二、开始爬虫 

先设置请求头headers,把平时用的user-agent带上,再把formdata也带上,用requests库直接requests.post(url, headers=headers, data=formdata) ,然后就开始报错了: {"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"......","state":2402}

解决这个问题的关键在于,了解拉勾的反爬机制:在进入python数据分析招聘页之前,我们要在主页,不妨叫它start_url输入关键字跳转。在这个过程中,服务器会传回来一个cookies,如果带着这个cookies请求的话我们就可以得到要的东西,所以要先请求start_url获取cookies在请求目标url,而且在请求目标地址的话还要带上referer这个请求头参数,referer的含义大概是这样:告诉服务器我是从哪个页面链接过来的,服务器基此可以获得一些信息用于处理。另外,睡眠时间也要设置的长一点,不然很容易被封。知道了反爬机制之后,话不多说,直接上代码。

'''
@author: Max_Lyu
Create time: 2019/4/1
url: https://github.com/MaxLyu/Lagou_Analyze
'''
 # 请求起始 url 返回 cookies
 def get_start_url(self):
 session = requests.session()
 session.get(self.start_url, headers=self.headers, timeout=3)
 cookies = session.cookies
 return cookies

 # 将返回的 cookies 一起 post 给 target_url 并获取数据
 def post_target_url(self):
 cookies = self.get_start_url()
 pn = 1
 for pg in range(30):
  formdata = {
  'first': 'false',
  'pn': pn,
  'kd': 'python数据分析'
  }
  pn += 1

  response = requests.post(self.target_url, data=formdata, cookies=cookies, headers=self.headers, timeout=3)
  self.parse(response)
  time.sleep(60) # 拉勾的反扒技术比较强,短睡眠时间会被封

 # 解析 response,获取 items
 def parse(self, response):
 print(response)
 items = []
 print(response.text)
 data = json.loads(response.text)['content']['positionResult']['result']

 if len(data):
  for i in range(len(data)):
  positionId = data[i]['positionId']
  education = data[i]['education']
  workYear = data[i]['workYear']
  salary = data[i]['salary']
  list = [positionId, education, workYear, salary]
  items.append(list)
 self.save_data(items)
 time.sleep(1.3)

其中save_data(items)是保存文件,我是保存在csv文件。篇幅有限,这里就不展示了。

三、获取招聘详情 

上面说了positionID 是为了获取详情页,详情页里面有要的任职要求。这个要获取就相对容易了,不过文本的处理并没有很简单,我只能通过“要求”这两个字获取任职要求(虽然有的为任职技能啥的,就这样进行取舍了)。

'''
@author: Max_Lyu
Create time: 2019/4/1
url: https://github.com/MaxLyu/Lagou_Analyze
'''
def get_url():
 urls = []
 with open("analyst.csv", 'r', newline='') as file:
 # 读取文件
 reader = csv.reader(file)
 for row in reader:
  # 根据 positionID 补全 url
  if row[0] != "ID":
  url = "https://www.lagou.com/jobs/{}.html".format(row[0])
  urls.append(url)

 file.close()
 return urls

# 获取详细信息
def get_info():
 urls = get_url()
 length = len(urls)
 for url in urls:
 print(url)
 description = ''
 print(length)
 response = requests.get(url, headers=headers)
 response.encoding = 'utf-8'
 content = etree.HTML(response.text)
 detail = content.xpath('//*[@id="job_detail"]/dd[2]/div/p/text()')
 print(detail)

 for i in range(1, len(detail)):

  if '要求' in detail[i-1]:
  for j in range(i, len(detail)):
   detail[j] = detail[j].replace('\xa0', '')
   detail[j] = re.sub('[、;;.0-9。]', '', detail[j])
   description = description + detail[j] + '/'
  print(description)
 write_file(description)
 length -= 1
 time.sleep(3)

四、成果与展示

Python3获取拉勾网招聘信息的方法实例

Python3获取拉勾网招聘信息的方法实例 

到这里,爬取的任务就结束了,源码地址:https://github.com/MaxLyu/Lagou_Analyze  (本地下载)。获得数据之后就是小小地分析一下了,这个下次再总结。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python类定义的讲解
Nov 01 Python
Python中os.path用法分析
Jan 15 Python
用Python编写简单的微博爬虫
Mar 04 Python
利用python程序生成word和PDF文档的方法
Feb 14 Python
轻量级的Web框架Flask 中模块化应用的实现
Sep 11 Python
Python3 replace()函数使用方法
Mar 19 Python
对numpy和pandas中数组的合并和拆分详解
Apr 11 Python
python判断设备是否联网的方法
Jun 29 Python
详解Ubuntu16.04安装Python3.7及其pip3并切换为默认版本
Feb 25 Python
python爬虫解决验证码的思路及示例
Aug 01 Python
在vscode中配置python环境过程解析
Sep 28 Python
pandas apply多线程实现代码
Aug 17 Python
Python3实现的旋转矩阵图像算法示例
Apr 03 #Python
python3对拉勾数据进行可视化分析的方法详解
Apr 03 #Python
python2.7使用plotly绘制本地散点图和折线图
Apr 02 #Python
Python时间序列处理之ARIMA模型的使用讲解
Apr 02 #Python
Python代码实现删除一个list里面重复元素的方法
Apr 02 #Python
从0开始的Python学习014面向对象编程(推荐)
Apr 02 #Python
Python参数解析模块sys、getopt、argparse使用与对比分析
Apr 02 #Python
You might like
YB217、YB235、YB400浅听
2021/03/02 无线电
PHP的serialize序列化数据以及JSON格式化数据分析
2015/10/10 PHP
微信公众号模板消息群发php代码示例
2016/12/29 PHP
CentOS7系统搭建LAMP及更新PHP版本操作详解
2020/03/26 PHP
前台js改变Session的值(用ajax实现)
2012/12/28 Javascript
Javascript复制实例详解
2016/01/28 Javascript
基于JS判断iframe是否加载成功的方法(多种浏览器)
2016/05/13 Javascript
功能强大的Bootstrap使用手册(一)
2016/08/02 Javascript
jQuery图片轮播实现并封装(一)
2016/12/03 Javascript
原生JS实现圣旨卷轴展开效果
2017/03/06 Javascript
JQuery用$.ajax或$.getJSON跨域获取JSON数据的实现代码
2017/09/23 jQuery
vue 左滑删除功能的示例代码
2019/01/28 Javascript
js模拟F11页面全屏显示
2019/09/17 Javascript
JS实现简单tab选项卡切换
2019/10/25 Javascript
vue 图片裁剪上传组件的实现
2020/11/12 Javascript
Python2.5/2.6实用教程 入门基础篇
2009/11/29 Python
自动化Nginx服务器的反向代理的配置方法
2015/06/28 Python
Python使用PDFMiner解析PDF代码实例
2017/03/27 Python
Python批量查询域名是否被注册过
2017/06/21 Python
python更改已存在excel文件的方法
2018/05/03 Python
几个适合python初学者的简单小程序,看完受益匪浅!(推荐)
2019/04/16 Python
TensorFlow tf.nn.conv2d实现卷积的方式
2020/01/03 Python
html5中如何将图片的绝对路径转换成文件对象
2018/01/11 HTML / CSS
Opodo英国旅游网站:预订廉价航班、酒店和汽车租赁
2018/07/14 全球购物
美国最大的烧烤架和户外生活用品专业零售商:Barbeques Galore
2021/01/09 全球购物
求职简历中的自我评价分享
2013/12/08 职场文书
护理专业自我鉴定
2014/01/30 职场文书
计算机学生的自我评价分享
2014/02/18 职场文书
cf搞笑广告词
2014/03/14 职场文书
工业设计专业自荐书
2014/06/05 职场文书
暑期教师培训方案
2014/06/07 职场文书
国庆促销活动总结
2014/08/29 职场文书
教师查摆问题自查报告
2014/10/11 职场文书
班主任自我评价范文
2015/03/11 职场文书
Python机器学习之逻辑回归
2021/05/11 Python
MySQL插入数据与查询数据
2022/03/25 MySQL