Python3获取拉勾网招聘信息的方法实例


Posted in Python onApril 03, 2019

前言

为了了解跟python数据分析有关行业的信息,大概地了解一下对这个行业的要求以及薪资状况,我决定从网上获取信息并进行分析。既然想要分析就必须要有数据,于是我选择了拉勾,冒着危险深入内部,从他们那里得到了信息。不得不说,拉勾的反爬技术还挺厉害的,稍后再说明。话不多说,直接开始。

一、明确目的

每次爬虫都要有明确的目的,刚接触随便找东西试水的除外。我想要知道的是python数据分析的要求以及薪资状况,因此,薪资、学历、工作经验以及一些任职要求就是我的目的。

既然明确了目的,我们就要看一下它们在什么位置,所以我们打开浏览器,寻找目标。像拉勾这种网站他们的信息一般都是通过ajax加载的,而且在输入“python数据分析”敲击回车之后跳转的页面,招聘信息不是一开始就显示出来的,通过点击页码也只是招聘信息在变化甚至连network都没多大变化,可以大胆猜测他是通过post请求的,所以我们只关注post请求以及XHR文件,很快就发现了我们要的东西。

Python3获取拉勾网招聘信息的方法实例

点击preview可见详细信息以json形式保存着,其中‘salary'、‘workYear'、‘education'、‘positionID'(招聘信息详情页有关的id)是我们要的。再观察一下它的form data,其中kd=关键字,pn=pageNum(页码)这是我们请求的时候要带上的参数。另外我们要注意请求头的referer参数,待会儿要用。知道了目标之后,爬起来!

二、开始爬虫 

先设置请求头headers,把平时用的user-agent带上,再把formdata也带上,用requests库直接requests.post(url, headers=headers, data=formdata) ,然后就开始报错了: {"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"......","state":2402}

解决这个问题的关键在于,了解拉勾的反爬机制:在进入python数据分析招聘页之前,我们要在主页,不妨叫它start_url输入关键字跳转。在这个过程中,服务器会传回来一个cookies,如果带着这个cookies请求的话我们就可以得到要的东西,所以要先请求start_url获取cookies在请求目标url,而且在请求目标地址的话还要带上referer这个请求头参数,referer的含义大概是这样:告诉服务器我是从哪个页面链接过来的,服务器基此可以获得一些信息用于处理。另外,睡眠时间也要设置的长一点,不然很容易被封。知道了反爬机制之后,话不多说,直接上代码。

'''
@author: Max_Lyu
Create time: 2019/4/1
url: https://github.com/MaxLyu/Lagou_Analyze
'''
 # 请求起始 url 返回 cookies
 def get_start_url(self):
 session = requests.session()
 session.get(self.start_url, headers=self.headers, timeout=3)
 cookies = session.cookies
 return cookies

 # 将返回的 cookies 一起 post 给 target_url 并获取数据
 def post_target_url(self):
 cookies = self.get_start_url()
 pn = 1
 for pg in range(30):
  formdata = {
  'first': 'false',
  'pn': pn,
  'kd': 'python数据分析'
  }
  pn += 1

  response = requests.post(self.target_url, data=formdata, cookies=cookies, headers=self.headers, timeout=3)
  self.parse(response)
  time.sleep(60) # 拉勾的反扒技术比较强,短睡眠时间会被封

 # 解析 response,获取 items
 def parse(self, response):
 print(response)
 items = []
 print(response.text)
 data = json.loads(response.text)['content']['positionResult']['result']

 if len(data):
  for i in range(len(data)):
  positionId = data[i]['positionId']
  education = data[i]['education']
  workYear = data[i]['workYear']
  salary = data[i]['salary']
  list = [positionId, education, workYear, salary]
  items.append(list)
 self.save_data(items)
 time.sleep(1.3)

其中save_data(items)是保存文件,我是保存在csv文件。篇幅有限,这里就不展示了。

三、获取招聘详情 

上面说了positionID 是为了获取详情页,详情页里面有要的任职要求。这个要获取就相对容易了,不过文本的处理并没有很简单,我只能通过“要求”这两个字获取任职要求(虽然有的为任职技能啥的,就这样进行取舍了)。

'''
@author: Max_Lyu
Create time: 2019/4/1
url: https://github.com/MaxLyu/Lagou_Analyze
'''
def get_url():
 urls = []
 with open("analyst.csv", 'r', newline='') as file:
 # 读取文件
 reader = csv.reader(file)
 for row in reader:
  # 根据 positionID 补全 url
  if row[0] != "ID":
  url = "https://www.lagou.com/jobs/{}.html".format(row[0])
  urls.append(url)

 file.close()
 return urls

# 获取详细信息
def get_info():
 urls = get_url()
 length = len(urls)
 for url in urls:
 print(url)
 description = ''
 print(length)
 response = requests.get(url, headers=headers)
 response.encoding = 'utf-8'
 content = etree.HTML(response.text)
 detail = content.xpath('//*[@id="job_detail"]/dd[2]/div/p/text()')
 print(detail)

 for i in range(1, len(detail)):

  if '要求' in detail[i-1]:
  for j in range(i, len(detail)):
   detail[j] = detail[j].replace('\xa0', '')
   detail[j] = re.sub('[、;;.0-9。]', '', detail[j])
   description = description + detail[j] + '/'
  print(description)
 write_file(description)
 length -= 1
 time.sleep(3)

四、成果与展示

Python3获取拉勾网招聘信息的方法实例

Python3获取拉勾网招聘信息的方法实例 

到这里,爬取的任务就结束了,源码地址:https://github.com/MaxLyu/Lagou_Analyze  (本地下载)。获得数据之后就是小小地分析一下了,这个下次再总结。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python中遍历文件的3个方法
Sep 02 Python
Python爬取网页中的图片(搜狗图片)详解
Mar 23 Python
python列表list保留顺序去重的实例
Dec 14 Python
python自定义函数实现一个数的三次方计算方法
Jan 20 Python
DataFrame:通过SparkSql将scala类转为DataFrame的方法
Jan 29 Python
Python with关键字,上下文管理器,@contextmanager文件操作示例
Oct 17 Python
Python 实现判断图片格式并转换,将转换的图像存到生成的文件夹中
Jan 13 Python
python词云库wordcloud的使用方法与实例详解
Feb 17 Python
TensorFlow2.X结合OpenCV 实现手势识别功能
Apr 08 Python
python实现处理mysql结果输出方式
Apr 09 Python
Python读取Excel数据并生成图表过程解析
Jun 18 Python
详解Python+OpenCV进行基础的图像操作
Feb 15 Python
Python3实现的旋转矩阵图像算法示例
Apr 03 #Python
python3对拉勾数据进行可视化分析的方法详解
Apr 03 #Python
python2.7使用plotly绘制本地散点图和折线图
Apr 02 #Python
Python时间序列处理之ARIMA模型的使用讲解
Apr 02 #Python
Python代码实现删除一个list里面重复元素的方法
Apr 02 #Python
从0开始的Python学习014面向对象编程(推荐)
Apr 02 #Python
Python参数解析模块sys、getopt、argparse使用与对比分析
Apr 02 #Python
You might like
给初学PHP的5个入手程序
2006/11/23 PHP
PHP使用HTML5 FileApi实现Ajax上传文件功能示例
2019/07/01 PHP
javascript document.images实例
2008/05/27 Javascript
JavaScript 封装Ajax传递的数据代码
2009/06/05 Javascript
Jquery 组合form元素为json格式,asp.net反序列化
2009/07/09 Javascript
类似天猫商品详情随浏览器移动的示例代码
2014/02/27 Javascript
jquery 实现input输入什么div图层显示什么
2014/06/15 Javascript
jQuery使用slideUp方法实现控制元素缓慢收起
2015/03/27 Javascript
text-align:justify实现文本两端对齐 兼容IE
2015/08/19 Javascript
javascript省市区三级联动下拉框菜单实例演示
2015/11/29 Javascript
Bootstrap每天必学之标签页(Tab)插件
2020/08/09 Javascript
使用递归遍历对象获得value值的实现方法
2016/06/14 Javascript
浅谈layer的iframe弹窗给里面的标签赋值的问题
2016/11/10 Javascript
laydate.js日期时间选择插件
2017/01/04 Javascript
利用jquery正则表达式在页面验证url网址输入是否正确
2017/04/04 jQuery
vue初尝试--项目结构(推荐)
2018/01/30 Javascript
vue百度地图 + 定位的详解
2019/05/13 Javascript
JS实现继承的几种常用方式示例
2019/06/22 Javascript
python调用cmd复制文件代码分享
2013/12/27 Python
python+Django+apache的配置方法详解
2016/06/01 Python
python 自动化将markdown文件转成html文件的方法
2016/09/23 Python
基于python 爬虫爬到含空格的url的处理方法
2018/05/11 Python
Python 文件操作之读取文件(read),文件指针与写入文件(write),文件打开方式示例
2019/09/29 Python
python 实现矩阵填充0的例子
2019/11/29 Python
matlab中imadjust函数的作用及应用举例
2020/02/27 Python
Python3.7下安装pyqt5的方法步骤(图文)
2020/05/12 Python
Keras 利用sklearn的ROC-AUC建立评价函数详解
2020/06/15 Python
公司董事长职责
2013/12/12 职场文书
护理专业自我鉴定
2014/01/30 职场文书
打架检讨书300字
2014/02/02 职场文书
人民教师的自我评价分享
2014/02/21 职场文书
淘宝客服工作职责
2014/07/11 职场文书
街道务虚会发言材料
2014/10/20 职场文书
七一活动主持词
2015/06/29 职场文书
小学生运动会广播
2015/08/19 职场文书
Pandas实现DataFrame的简单运算、统计与排序
2022/03/31 Python