Python3获取拉勾网招聘信息的方法实例


Posted in Python onApril 03, 2019

前言

为了了解跟python数据分析有关行业的信息,大概地了解一下对这个行业的要求以及薪资状况,我决定从网上获取信息并进行分析。既然想要分析就必须要有数据,于是我选择了拉勾,冒着危险深入内部,从他们那里得到了信息。不得不说,拉勾的反爬技术还挺厉害的,稍后再说明。话不多说,直接开始。

一、明确目的

每次爬虫都要有明确的目的,刚接触随便找东西试水的除外。我想要知道的是python数据分析的要求以及薪资状况,因此,薪资、学历、工作经验以及一些任职要求就是我的目的。

既然明确了目的,我们就要看一下它们在什么位置,所以我们打开浏览器,寻找目标。像拉勾这种网站他们的信息一般都是通过ajax加载的,而且在输入“python数据分析”敲击回车之后跳转的页面,招聘信息不是一开始就显示出来的,通过点击页码也只是招聘信息在变化甚至连network都没多大变化,可以大胆猜测他是通过post请求的,所以我们只关注post请求以及XHR文件,很快就发现了我们要的东西。

Python3获取拉勾网招聘信息的方法实例

点击preview可见详细信息以json形式保存着,其中‘salary'、‘workYear'、‘education'、‘positionID'(招聘信息详情页有关的id)是我们要的。再观察一下它的form data,其中kd=关键字,pn=pageNum(页码)这是我们请求的时候要带上的参数。另外我们要注意请求头的referer参数,待会儿要用。知道了目标之后,爬起来!

二、开始爬虫 

先设置请求头headers,把平时用的user-agent带上,再把formdata也带上,用requests库直接requests.post(url, headers=headers, data=formdata) ,然后就开始报错了: {"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"......","state":2402}

解决这个问题的关键在于,了解拉勾的反爬机制:在进入python数据分析招聘页之前,我们要在主页,不妨叫它start_url输入关键字跳转。在这个过程中,服务器会传回来一个cookies,如果带着这个cookies请求的话我们就可以得到要的东西,所以要先请求start_url获取cookies在请求目标url,而且在请求目标地址的话还要带上referer这个请求头参数,referer的含义大概是这样:告诉服务器我是从哪个页面链接过来的,服务器基此可以获得一些信息用于处理。另外,睡眠时间也要设置的长一点,不然很容易被封。知道了反爬机制之后,话不多说,直接上代码。

'''
@author: Max_Lyu
Create time: 2019/4/1
url: https://github.com/MaxLyu/Lagou_Analyze
'''
 # 请求起始 url 返回 cookies
 def get_start_url(self):
 session = requests.session()
 session.get(self.start_url, headers=self.headers, timeout=3)
 cookies = session.cookies
 return cookies

 # 将返回的 cookies 一起 post 给 target_url 并获取数据
 def post_target_url(self):
 cookies = self.get_start_url()
 pn = 1
 for pg in range(30):
  formdata = {
  'first': 'false',
  'pn': pn,
  'kd': 'python数据分析'
  }
  pn += 1

  response = requests.post(self.target_url, data=formdata, cookies=cookies, headers=self.headers, timeout=3)
  self.parse(response)
  time.sleep(60) # 拉勾的反扒技术比较强,短睡眠时间会被封

 # 解析 response,获取 items
 def parse(self, response):
 print(response)
 items = []
 print(response.text)
 data = json.loads(response.text)['content']['positionResult']['result']

 if len(data):
  for i in range(len(data)):
  positionId = data[i]['positionId']
  education = data[i]['education']
  workYear = data[i]['workYear']
  salary = data[i]['salary']
  list = [positionId, education, workYear, salary]
  items.append(list)
 self.save_data(items)
 time.sleep(1.3)

其中save_data(items)是保存文件,我是保存在csv文件。篇幅有限,这里就不展示了。

三、获取招聘详情 

上面说了positionID 是为了获取详情页,详情页里面有要的任职要求。这个要获取就相对容易了,不过文本的处理并没有很简单,我只能通过“要求”这两个字获取任职要求(虽然有的为任职技能啥的,就这样进行取舍了)。

'''
@author: Max_Lyu
Create time: 2019/4/1
url: https://github.com/MaxLyu/Lagou_Analyze
'''
def get_url():
 urls = []
 with open("analyst.csv", 'r', newline='') as file:
 # 读取文件
 reader = csv.reader(file)
 for row in reader:
  # 根据 positionID 补全 url
  if row[0] != "ID":
  url = "https://www.lagou.com/jobs/{}.html".format(row[0])
  urls.append(url)

 file.close()
 return urls

# 获取详细信息
def get_info():
 urls = get_url()
 length = len(urls)
 for url in urls:
 print(url)
 description = ''
 print(length)
 response = requests.get(url, headers=headers)
 response.encoding = 'utf-8'
 content = etree.HTML(response.text)
 detail = content.xpath('//*[@id="job_detail"]/dd[2]/div/p/text()')
 print(detail)

 for i in range(1, len(detail)):

  if '要求' in detail[i-1]:
  for j in range(i, len(detail)):
   detail[j] = detail[j].replace('\xa0', '')
   detail[j] = re.sub('[、;;.0-9。]', '', detail[j])
   description = description + detail[j] + '/'
  print(description)
 write_file(description)
 length -= 1
 time.sleep(3)

四、成果与展示

Python3获取拉勾网招聘信息的方法实例

Python3获取拉勾网招聘信息的方法实例 

到这里,爬取的任务就结束了,源码地址:https://github.com/MaxLyu/Lagou_Analyze  (本地下载)。获得数据之后就是小小地分析一下了,这个下次再总结。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python网络编程学习笔记(二):socket建立网络客户端
Jun 09 Python
python基于http下载视频或音频
Jun 20 Python
Django开发的简易留言板案例详解
Dec 04 Python
python中partial()基础用法说明
Dec 30 Python
Python元组常见操作示例
Feb 19 Python
python3使用腾讯企业邮箱发送邮件的实例
Jun 28 Python
Python GUI学习之登录系统界面篇
Aug 21 Python
Python Pandas 对列/行进行选择,增加,删除操作
May 17 Python
keras得到每层的系数方式
Jun 15 Python
浅析python 字典嵌套
Sep 29 Python
termux中matplotlib无法显示中文问题的解决方法
Jan 11 Python
Pytorch中的学习率衰减及其用法详解
Jun 05 Python
Python3实现的旋转矩阵图像算法示例
Apr 03 #Python
python3对拉勾数据进行可视化分析的方法详解
Apr 03 #Python
python2.7使用plotly绘制本地散点图和折线图
Apr 02 #Python
Python时间序列处理之ARIMA模型的使用讲解
Apr 02 #Python
Python代码实现删除一个list里面重复元素的方法
Apr 02 #Python
从0开始的Python学习014面向对象编程(推荐)
Apr 02 #Python
Python参数解析模块sys、getopt、argparse使用与对比分析
Apr 02 #Python
You might like
php 修改、增加xml结点属性的实现代码
2013/10/22 PHP
PHP语法自动检查的Vim插件
2014/08/11 PHP
浅谈php的优缺点
2015/07/14 PHP
数组任意位置插入元素,删除特定元素的实例
2017/03/02 PHP
flash javascript之间的通讯方法小结
2008/12/20 Javascript
JQuery.closest(),parent(),parents()寻找父结点
2012/02/17 Javascript
Javascript 面向对象(三)接口代码
2012/05/23 Javascript
我的Node.js学习之路(二)NPM模块管理
2014/07/06 Javascript
javascript+HTML5的canvas实现七夕情人节3D玫瑰花效果代码
2015/08/04 Javascript
JS实现的表格操作类详解(添加,删除,排序,上移,下移)
2015/12/22 Javascript
体验jQuery和AngularJS的不同点及AngularJS的迷人之处
2016/02/02 Javascript
javascript鼠标右键菜单自定义效果
2020/12/08 Javascript
Javascript 引擎工作机制详解
2016/11/30 Javascript
JavaScript中数组的各种操作的总结(必看篇)
2017/02/13 Javascript
require.js中的define函数详解
2017/07/10 Javascript
微信小程序开发之好友列表字母列表跳转对应位置
2017/09/26 Javascript
vue实现简单loading进度条
2018/06/06 Javascript
详解VUE自定义组件中用.sync修饰符与v-model的区别
2018/06/26 Javascript
深入Vue-Router路由嵌套理解
2018/08/13 Javascript
使用post方法实现json往返传输数据的方法
2019/03/30 Javascript
ES6入门教程之let、const的使用方法
2019/04/13 Javascript
Vue 递归多级菜单的实例代码
2019/05/05 Javascript
vue使用自定义指令实现拖拽
2021/01/29 Javascript
Python实现字符型图片验证码识别完整过程详解
2019/05/10 Python
基于Python实现剪切板实时监控方法解析
2019/09/11 Python
详解python statistics模块及函数用法
2019/10/27 Python
scrapy结合selenium解析动态页面的实现
2020/09/28 Python
Piercing Pagoda官网:耳环、戒指、项链、手链等
2020/09/28 全球购物
战略性融资合作协议书范本
2014/10/17 职场文书
优秀团支部申报材料
2014/12/26 职场文书
前台接待岗位职责范本
2015/04/03 职场文书
2015年公路路政个人工作总结
2015/07/24 职场文书
家属联谊会致辞
2015/07/31 职场文书
安全教育的主题班会
2015/08/13 职场文书
小学大队委竞选口号
2015/12/25 职场文书
vue实现在data里引入相对路径
2022/06/05 Vue.js