编程 Javascript

node.js爬虫爬取拉勾网职位信息

Posted in Javascript onMarch 14, 2017

简介

用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考

数据结果

node.js爬虫爬取拉勾网职位信息

上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

node.js爬虫爬取拉勾网职位信息

爬取到的数据文件

node.js爬虫爬取拉勾网职位信息

json数据文件

node.js爬虫爬取拉勾网职位信息

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。

代码地址及使用

github：https://github.com/zsqosos/positionAnalysis

代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

node.js爬虫爬取拉勾网职位信息

- Author -

陌路黄昏后

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Javascript 相关文章推荐

js的event详解。

Sep 06 Javascript

javascript 禁止复制网页

Jun 11 Javascript

新老版本juqery获取radio对象的方法

Mar 01 Javascript

jQuery EasyUI API 中文文档 - Pagination分页

Sep 29 Javascript

JS中setInterval、setTimeout不能传递带参数的函数的解决方案

Apr 28 Javascript

非常漂亮的JS+CSS图片幻灯切换特效

Nov 20 Javascript

今天抽时间给大家整理jquery和ajax的相关知识

Nov 17 Javascript

BootStrap的select2既可以查询又可以输入的实现代码

Feb 17 Javascript

微信小程序微信支付接入开发实例详解

Apr 12 Javascript

用js实现每隔一秒刷新时间的实例(含年月日时分秒)

Oct 25 Javascript

微信小程序实现跳转的几种方式总结（推荐）

Apr 24 Javascript

通过js示例讲解时间复杂度与空间复杂度

Aug 06 Javascript

AngularJS实现页面定时刷新

Mar 14 #Javascript

原生JS实现左右箭头选择日期实例代码

Mar 14 #Javascript

JavaScript校验Number(4,1)格式的数字实例代码

Mar 13 #Javascript

Bootstrap笔记—折叠实例代码

Mar 13 #Javascript

jquery插件ContextMenu设置右键菜单

Mar 13 #Javascript

jQuery实现表格奇偶行显示不同背景色就这么简单

Mar 13 #Javascript

轻松实现jQuery添加删除按钮Click事件

Mar 13 #Javascript

You might like

php产生随机数的两种方法实例代码输出随机IP

2011/04/08 PHP

php伪静态验证码不显示的解决方案

2019/09/26 PHP

laravel 实现用户登录注销并限制功能

2019/10/24 PHP

php生成随机数/生成随机字符串的方法小结【5种方法】

2020/05/27 PHP

JavaScript实现的一个倒计时的类

2015/03/12 Javascript

jquery让指定的元素闪烁显示的方法

2015/03/17 Javascript

Node.js事件驱动

2015/06/18 Javascript

JS实现鼠标滑过折叠与展开菜单效果代码

2015/09/06 Javascript

详解Bootstrap按钮

2016/01/04 Javascript

jquery简单插件制作(fn.extend)完整实例

2016/05/24 Javascript

使用do...while的方法输入一个月中所有的周日(实例代码)

2016/07/22 Javascript

jquery实现ajax提交表单信息的简单方法(推荐)

2016/08/24 Javascript

AngularJS使用ng-app自动加载bootstrap框架问题分析

2017/01/04 Javascript

canvas绘图不清晰的解决方案

2017/02/28 Javascript

vue使用vue-cli快速创建工程

2017/07/28 Javascript

Vue $mount实战之实现消息弹窗组件

2019/04/22 Javascript

Python编程中类与类的关系详解

2019/08/08 Python

Pytorch抽取网络层的Feature Map(Vgg)实例

2019/08/20 Python

关于tf.nn.dynamic_rnn返回值详解

2020/01/20 Python

python3中sorted函数里cmp参数改变详解

2020/03/12 Python

python能否java成为主流语言吗

2020/06/22 Python

python Timer 类使用介绍

2020/12/28 Python

KENZO官网：高田贤三在法国创立的品牌

2019/05/16 全球购物

TALLY WEiJL法国网上商店：服装、时装及配饰

2019/08/31 全球购物

机械专业个人求职自荐信格式

2013/09/21 职场文书

店长岗位的工作内容

2013/11/12 职场文书

国际商务专业职业生涯规划书范文

2014/01/17 职场文书

CAD制图人员的自荐信

2014/02/07 职场文书

小学生元旦感言

2014/02/26 职场文书

关于学习的演讲稿

2014/05/10 职场文书

员工工作及收入证明

2014/10/28 职场文书

2015年乡镇统计工作总结

2015/04/22 职场文书

在校大学生才艺比赛策划书怎么写？

2019/08/26 职场文书

Python基础之操作MySQL数据库

2021/05/06 Python

MYSQL(电话号码,身份证)数据脱敏的实现

2021/05/28 MySQL

vue+echarts实现多条折线图

2022/03/21 Vue.js