Python爬取智联招聘数据分析师岗位相关信息的方法


Posted in Python onAugust 13, 2019

进入智联招聘官网,在搜索界面输入‘数据分析师',界面跳转,按F12查看网页源码,点击network

Python爬取智联招聘数据分析师岗位相关信息的方法

 选中XHR,然后刷新网页

Python爬取智联招聘数据分析师岗位相关信息的方法

可以看到一些Ajax请求, 找到画红线的XHR文件,点击可以看到网页的一些信息

Python爬取智联招聘数据分析师岗位相关信息的方法

Python爬取智联招聘数据分析师岗位相关信息的方法

Python爬取智联招聘数据分析师岗位相关信息的方法

在Header中有Request URL,我们需要通过找寻Request URL的特点来构造这个请求网址,

点击Preview,可以看到我们所需要的信息就存在result中,这信息基本是json格式,有些是列表;

下面我们通过Python爬虫来爬取上面的信息;

代码如下:

import requests
from urllib.parse import urlencode
import json
#from requests import codes
#import os
#from hashlib import md5
#from multiprocessing.pool import Pool
#import re
 
 
def get_page(offset):
  params = {
    'start': offset,
    'pageSize': '90',
    'cityId': '530',
    'salary': '0,0',
    'workExperience': '-1',
    'education': '-1',
    'companyType': '-1',
    'employmentType': '-1',
    'jobWelfareTag': '-1',
    'kw': '数据分析师',
    'kt': '3',
    '_v': '0.77091902',
    'x-zp-page-request-id': '8ff0aa73bf834b408f46324e44d89b84-1562722989022-210101',
    'x-zp-client-id': '2dc4c9a4-e80d-4488-84a3-03426dd69a1e'
    
    
  }
  base_url = 'https://fe-api.zhaopin.com/c/i/sou?'
  url = base_url + urlencode(params)
  try:
    resp = requests.get(url)
    print(url)
    if 200 == resp.status_code:
      print(resp.json())
      return resp.json()
  except requests.ConnectionError:
    return None
 
 
def get_information(json_page):
  if json_page.get('data'):
    results = json_page.get('data').get('results')    
    for result in results:
       yield {
         'city': result.get('city').get('display'),
          'company': result.get('company').get('name'),
          #'welfare':result.get('welfare'),
          'workingExp':result.get('workingExp').get('name'),
          'salary':result.get('salary'),
          'eduLevel':result.get('eduLevel').get('name')
        }
print('succ')
 
def write_to_file(content):
   with open('result.txt','a',encoding='utf-8') as f:
      print(type(json.dumps(content)))
      f.write(json.dumps(content,ensure_ascii=False)+'\n')
   
   
def main(offset):
  json_page=get_page(offset)  
  for content in get_information(json_page):
    write_to_file(content)
  
if __name__=='__main__':
   for i in range(10):
      main(offset=90*i)

爬取结果如下:

Python爬取智联招聘数据分析师岗位相关信息的方法

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中join和split用法实例
Apr 14 Python
利用python程序生成word和PDF文档的方法
Feb 14 Python
Python中%r和%s的详解及区别
Mar 16 Python
python爬虫框架scrapy实战之爬取京东商城进阶篇
Apr 24 Python
Python安装Numpy和matplotlib的方法(推荐)
Nov 02 Python
python在html中插入简单的代码并加上时间戳的方法
Oct 16 Python
python实现图片彩色转化为素描
Jan 15 Python
学Python 3的理由和必要性
Nov 19 Python
python的列表List求均值和中位数实例
Mar 03 Python
利用python中的matplotlib打印混淆矩阵实例
Jun 16 Python
如何使用pycharm连接Databricks的步骤详解
Sep 23 Python
python 使用xlsxwriter循环向excel中插入数据和图片的操作
Jan 01 Python
python基于json文件实现的gearman任务自动重启代码实例
Aug 13 #Python
Python 写入训练日志文件并控制台输出解析
Aug 13 #Python
基于MATLAB和Python实现MFCC特征参数提取
Aug 13 #Python
Python 使用 docopt 解析json参数文件过程讲解
Aug 13 #Python
Django项目中实现使用qq第三方登录功能
Aug 13 #Python
一篇文章搞定Python操作文件与目录
Aug 13 #Python
Python Django Cookie 简单用法解析
Aug 13 #Python
You might like
用php实现像JSP,ASP里Application那样的全局变量
2007/01/12 PHP
php实现的简单美国商品税计算函数
2015/07/13 PHP
Zend Framework动作助手(Zend_Controller_Action_Helper)用法详解
2016/03/05 PHP
Zend Framework教程之Zend_Config_Xml用法分析
2016/03/23 PHP
php使用Header函数,PHP_AUTH_PW和PHP_AUTH_USER做用户验证
2016/05/04 PHP
centos+php+coreseek+sphinx+mysql之一coreseek安装篇
2016/10/25 PHP
Laravel学习教程之路由模块
2017/08/18 PHP
JQuery 写的个性导航菜单
2009/12/24 Javascript
得到jQuery detach()后节点中的某个值实现代码
2013/02/05 Javascript
改变隐藏的input中value的值代码
2013/12/30 Javascript
javascript表单验证和Window详解
2014/12/11 Javascript
js由下向上不断上升冒气泡效果实例
2015/05/07 Javascript
全面介绍javascript实用技巧及单竖杠
2016/07/18 Javascript
vue项目tween方法实现返回顶部的示例代码
2018/03/02 Javascript
nodejs中密码加密处理操作详解
2018/03/20 NodeJs
解决bootstrap中下拉菜单点击后不关闭的问题
2018/08/10 Javascript
layui中使用jquery控制radio选中事件的示例代码
2018/08/15 jQuery
ng-events类似ionic中Events的angular全局事件
2018/09/05 Javascript
webpack4.0 入门实践教程
2018/10/08 Javascript
对于防止按钮重复点击的尝试详解
2019/04/22 Javascript
python 读文件,然后转化为矩阵的实例
2018/04/23 Python
Python简单实现网页内容抓取功能示例
2018/06/07 Python
Python之用户输入的实例
2018/06/22 Python
符合语言习惯的 Python 优雅编程技巧【推荐】
2018/09/25 Python
Python模块相关知识点小结
2020/03/09 Python
Python HTMLTestRunner可视化报告实现过程解析
2020/04/10 Python
使用jupyter notebook运行python和R的步骤
2020/08/13 Python
css3实现input输入框颜色渐变发光效果代码
2014/04/02 HTML / CSS
目标责任书范文
2014/04/14 职场文书
小学生综合素质评语
2014/04/23 职场文书
水利水电专业自荐信
2014/07/08 职场文书
课前一分钟演讲稿
2014/08/26 职场文书
中职毕业生自我鉴定
2014/09/13 职场文书
有子女的离婚协议书怎么写(范本)
2014/09/29 职场文书
研究生导师评语
2014/12/31 职场文书
商务宴请邀请函范文
2015/02/02 职场文书