编程 Javascript

node.js爬虫爬取拉勾网职位信息

Posted in Javascript onMarch 14, 2017

简介

用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考

数据结果

node.js爬虫爬取拉勾网职位信息

上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

node.js爬虫爬取拉勾网职位信息

爬取到的数据文件

node.js爬虫爬取拉勾网职位信息

json数据文件

node.js爬虫爬取拉勾网职位信息

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。

代码地址及使用

github：https://github.com/zsqosos/positionAnalysis

代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

node.js爬虫爬取拉勾网职位信息

- Author -

陌路黄昏后

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Javascript 相关文章推荐

javascript实现焦点滚动图效果具体方法

Jun 24 Javascript

IE下双击checkbox反应延迟问题的解决方法

Mar 27 Javascript

Lab.js初次使用笔记

Feb 28 Javascript

js实现字符串和数组之间相互转换操作

Jan 12 Javascript

基于JavaScript实现智能右键菜单

Mar 02 Javascript

理解javascript正则表达式

Mar 08 Javascript

浅谈几种常用的JS类定义方法

Jun 08 Javascript

easyui-combobox 实现简单的自动补全功能示例

Nov 08 Javascript

Angular中的interceptors拦截器

Jun 25 Javascript

JS运动改变单物体透明度的方法分析

Jan 23 Javascript

在Vue中使用highCharts绘制3d饼图的方法

Feb 08 Javascript

原生小程序封装跑马灯效果

Oct 21 Javascript

AngularJS实现页面定时刷新

Mar 14 #Javascript

原生JS实现左右箭头选择日期实例代码

Mar 14 #Javascript

JavaScript校验Number(4,1)格式的数字实例代码

Mar 13 #Javascript

Bootstrap笔记—折叠实例代码

Mar 13 #Javascript

jquery插件ContextMenu设置右键菜单

Mar 13 #Javascript

jQuery实现表格奇偶行显示不同背景色就这么简单

Mar 13 #Javascript

轻松实现jQuery添加删除按钮Click事件

Mar 13 #Javascript

You might like

写php分页时出现的Fatal error的解决方法

2011/04/18 PHP

2个Codeigniter文件批量上传控制器写法例子

2014/07/25 PHP

Smarty分页实现方法完整实例

2016/05/11 PHP

php数据库的增删改查 php与javascript之间的交互

2017/08/31 PHP

laravel数据库查询结果自动转数组修改实例

2021/02/27 PHP

JS 遮照层实现代码

2010/03/31 Javascript

精通Javascript系列之数据类型字符串

2011/06/08 Javascript

22点关于jquery性能优化的建议

2014/05/28 Javascript

Flexigrid在IE下不显示数据的有效处理方法

2014/09/04 Javascript

JS实现可自定义大小，可双击关闭的弹出层效果

2015/10/16 Javascript

全面解析Bootstrap弹窗的实现方法

2015/12/01 Javascript

基于JavaScript如何实现ajax调用后台定义的方法

2015/12/29 Javascript

JavaScript知识点总结(十)之this关键字

2016/05/31 Javascript

轻松5句话解决JavaScript的作用域

2016/07/15 Javascript

利用JS轻松实现获取表单数据

2016/12/06 Javascript

详解React 在服务端渲染的实现

2017/11/16 Javascript

nodejs使用http模块发送get与post请求的方法示例

2018/01/08 NodeJs

JS/HTML5游戏常用算法之路径搜索算法随机迷宫算法详解【普里姆算法】

2018/12/13 Javascript

JS实现二维数组元素的排列组合运算简单示例

2019/01/28 Javascript

[01:42]辉夜杯战队访谈宣传片—FANTUAN

2015/12/25 DOTA

[01:05:40]VG vs Newbee 2018国际邀请赛小组赛BO2 第二场 8.17

2018/08/20 DOTA

Python模块学习 filecmp 文件比较

2012/08/27 Python

Python爬虫实现网页信息抓取功能示例【URL与正则模块】

2017/05/18 Python

Python进度条实时显示处理进度的示例代码

2018/01/30 Python

selenium设置proxy、headers的方法(phantomjs、Chrome、Firefox)

2018/11/29 Python

python自动分箱,计算woe,iv的实例代码

2019/11/22 Python

python实现while循环打印星星的四种形状

2019/11/23 Python

python 使用opencv 把视频分割成图片示例

2019/12/12 Python

使用CSS3实现圆角,阴影,透明

2014/12/23 HTML / CSS

雷曼兄弟的五金店：Lehman’s Hardware Store

2019/04/10 全球购物

食品安全工作方案

2014/05/07 职场文书

生产操作工岗位职责

2014/09/16 职场文书

篮球赛闭幕式主持词

2015/07/03 职场文书

热爱劳动主题班会

2015/08/14 职场文书

银行客户经理培训心得体会

2016/01/09 职场文书

2019终止劳动合同协议书最新范本！

2019/07/09 职场文书