Python3获取拉勾网招聘信息的方法实例


Posted in Python onApril 03, 2019

前言

为了了解跟python数据分析有关行业的信息,大概地了解一下对这个行业的要求以及薪资状况,我决定从网上获取信息并进行分析。既然想要分析就必须要有数据,于是我选择了拉勾,冒着危险深入内部,从他们那里得到了信息。不得不说,拉勾的反爬技术还挺厉害的,稍后再说明。话不多说,直接开始。

一、明确目的

每次爬虫都要有明确的目的,刚接触随便找东西试水的除外。我想要知道的是python数据分析的要求以及薪资状况,因此,薪资、学历、工作经验以及一些任职要求就是我的目的。

既然明确了目的,我们就要看一下它们在什么位置,所以我们打开浏览器,寻找目标。像拉勾这种网站他们的信息一般都是通过ajax加载的,而且在输入“python数据分析”敲击回车之后跳转的页面,招聘信息不是一开始就显示出来的,通过点击页码也只是招聘信息在变化甚至连network都没多大变化,可以大胆猜测他是通过post请求的,所以我们只关注post请求以及XHR文件,很快就发现了我们要的东西。

Python3获取拉勾网招聘信息的方法实例

点击preview可见详细信息以json形式保存着,其中‘salary'、‘workYear'、‘education'、‘positionID'(招聘信息详情页有关的id)是我们要的。再观察一下它的form data,其中kd=关键字,pn=pageNum(页码)这是我们请求的时候要带上的参数。另外我们要注意请求头的referer参数,待会儿要用。知道了目标之后,爬起来!

二、开始爬虫 

先设置请求头headers,把平时用的user-agent带上,再把formdata也带上,用requests库直接requests.post(url, headers=headers, data=formdata) ,然后就开始报错了: {"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"......","state":2402}

解决这个问题的关键在于,了解拉勾的反爬机制:在进入python数据分析招聘页之前,我们要在主页,不妨叫它start_url输入关键字跳转。在这个过程中,服务器会传回来一个cookies,如果带着这个cookies请求的话我们就可以得到要的东西,所以要先请求start_url获取cookies在请求目标url,而且在请求目标地址的话还要带上referer这个请求头参数,referer的含义大概是这样:告诉服务器我是从哪个页面链接过来的,服务器基此可以获得一些信息用于处理。另外,睡眠时间也要设置的长一点,不然很容易被封。知道了反爬机制之后,话不多说,直接上代码。

'''
@author: Max_Lyu
Create time: 2019/4/1
url: https://github.com/MaxLyu/Lagou_Analyze
'''
 # 请求起始 url 返回 cookies
 def get_start_url(self):
 session = requests.session()
 session.get(self.start_url, headers=self.headers, timeout=3)
 cookies = session.cookies
 return cookies

 # 将返回的 cookies 一起 post 给 target_url 并获取数据
 def post_target_url(self):
 cookies = self.get_start_url()
 pn = 1
 for pg in range(30):
  formdata = {
  'first': 'false',
  'pn': pn,
  'kd': 'python数据分析'
  }
  pn += 1

  response = requests.post(self.target_url, data=formdata, cookies=cookies, headers=self.headers, timeout=3)
  self.parse(response)
  time.sleep(60) # 拉勾的反扒技术比较强,短睡眠时间会被封

 # 解析 response,获取 items
 def parse(self, response):
 print(response)
 items = []
 print(response.text)
 data = json.loads(response.text)['content']['positionResult']['result']

 if len(data):
  for i in range(len(data)):
  positionId = data[i]['positionId']
  education = data[i]['education']
  workYear = data[i]['workYear']
  salary = data[i]['salary']
  list = [positionId, education, workYear, salary]
  items.append(list)
 self.save_data(items)
 time.sleep(1.3)

其中save_data(items)是保存文件,我是保存在csv文件。篇幅有限,这里就不展示了。

三、获取招聘详情 

上面说了positionID 是为了获取详情页,详情页里面有要的任职要求。这个要获取就相对容易了,不过文本的处理并没有很简单,我只能通过“要求”这两个字获取任职要求(虽然有的为任职技能啥的,就这样进行取舍了)。

'''
@author: Max_Lyu
Create time: 2019/4/1
url: https://github.com/MaxLyu/Lagou_Analyze
'''
def get_url():
 urls = []
 with open("analyst.csv", 'r', newline='') as file:
 # 读取文件
 reader = csv.reader(file)
 for row in reader:
  # 根据 positionID 补全 url
  if row[0] != "ID":
  url = "https://www.lagou.com/jobs/{}.html".format(row[0])
  urls.append(url)

 file.close()
 return urls

# 获取详细信息
def get_info():
 urls = get_url()
 length = len(urls)
 for url in urls:
 print(url)
 description = ''
 print(length)
 response = requests.get(url, headers=headers)
 response.encoding = 'utf-8'
 content = etree.HTML(response.text)
 detail = content.xpath('//*[@id="job_detail"]/dd[2]/div/p/text()')
 print(detail)

 for i in range(1, len(detail)):

  if '要求' in detail[i-1]:
  for j in range(i, len(detail)):
   detail[j] = detail[j].replace('\xa0', '')
   detail[j] = re.sub('[、;;.0-9。]', '', detail[j])
   description = description + detail[j] + '/'
  print(description)
 write_file(description)
 length -= 1
 time.sleep(3)

四、成果与展示

Python3获取拉勾网招聘信息的方法实例

Python3获取拉勾网招聘信息的方法实例 

到这里,爬取的任务就结束了,源码地址:https://github.com/MaxLyu/Lagou_Analyze  (本地下载)。获得数据之后就是小小地分析一下了,这个下次再总结。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python的ORM框架中SQLAlchemy库的查询操作的教程
Apr 25 Python
python3+PyQt5实现自定义窗口部件Counters
Apr 20 Python
python 图像平移和旋转的实例
Jan 10 Python
对Python3 解析html的几种操作方式小结
Feb 16 Python
python3 property装饰器实现原理与用法示例
May 15 Python
python3.4 将16进制转成字符串的实例
Jun 12 Python
python word转pdf代码实例
Aug 16 Python
将python包发布到PyPI和制作whl文件方式
Dec 25 Python
利用Python裁切tiff图像且读取tiff,shp文件的实例
Mar 10 Python
Python matplotlib实时画图案例
Apr 23 Python
在tensorflow下利用plt画论文中loss,acc等曲线图实例
Jun 15 Python
分享unittest单元测试框架中几种常用的用例加载方法
Dec 02 Python
Python3实现的旋转矩阵图像算法示例
Apr 03 #Python
python3对拉勾数据进行可视化分析的方法详解
Apr 03 #Python
python2.7使用plotly绘制本地散点图和折线图
Apr 02 #Python
Python时间序列处理之ARIMA模型的使用讲解
Apr 02 #Python
Python代码实现删除一个list里面重复元素的方法
Apr 02 #Python
从0开始的Python学习014面向对象编程(推荐)
Apr 02 #Python
Python参数解析模块sys、getopt、argparse使用与对比分析
Apr 02 #Python
You might like
WIN98下Apache1.3.14+PHP4.0.4的安装
2006/10/09 PHP
PHP初学者最感迷茫的问题小结
2010/03/27 PHP
php如何调用webservice应用介绍
2012/11/24 PHP
免费的ip数据库淘宝IP地址库简介和PHP调用实例
2014/04/08 PHP
一个图片地址分解程序(用于PHP小偷程序)
2014/08/23 PHP
php+html5使用FormData对象提交表单及上传图片的方法
2015/02/11 PHP
php中smarty实现多模版网站的方法
2015/06/11 PHP
Yii中CGridView实现批量删除的方法
2015/12/28 PHP
php时间计算相关问题小结
2016/05/09 PHP
php实现在线通讯录功能(附源码)
2016/05/13 PHP
thinkPHP中_initialize方法实例分析
2016/12/05 PHP
laravel-admin 在列表页添加自定义按钮的例子
2019/09/30 PHP
jquery日历控件实现方法分享
2014/03/07 Javascript
js+css实现select的美化效果
2016/03/24 Javascript
jQuery实现拖动剪裁图片作为头像
2016/12/28 Javascript
Html5+jQuery+CSS制作相册小记录
2016/12/30 Javascript
JavaScript之DOM插入更新删除_动力节点Java学院整理
2017/07/03 Javascript
vue.js实例todoList项目
2017/07/07 Javascript
Bootstrap框架建立树形菜单(Tree)的实例代码
2017/10/30 Javascript
vue项目中定义全局变量、函数的几种方法
2019/11/08 Javascript
JS写滑稽笑脸运动效果
2020/05/28 Javascript
Python单链表的简单实现方法
2014/09/23 Python
Python实现随机生成手机号及正则验证手机号的方法
2018/04/25 Python
Python实现将数据写入netCDF4中的方法示例
2018/08/30 Python
python实现音乐播放器 python实现花框音乐盒子
2020/02/25 Python
python实现Oracle查询分组的方法示例
2020/04/30 Python
python实现在线翻译
2020/06/18 Python
python怎么判断素数
2020/07/01 Python
html5启动原生APP总结
2020/07/03 HTML / CSS
Raffaello Network西班牙:意大利拉斐尔时尚购物网
2019/03/12 全球购物
英国排名第一的冲浪店:Ann’s Cottage
2020/06/21 全球购物
经济担保书范文
2014/04/02 职场文书
2015年社区党务工作总结
2015/04/21 职场文书
领导新年致辞2016
2015/07/29 职场文书
css背景和边框标签实例详解
2021/05/21 HTML / CSS
Anaconda配置各版本Pytorch的实现
2021/08/07 Python