编程 Javascript

node.js爬虫爬取拉勾网职位信息

Posted in Javascript onMarch 14, 2017

简介

用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考

数据结果

node.js爬虫爬取拉勾网职位信息

上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

node.js爬虫爬取拉勾网职位信息

爬取到的数据文件

node.js爬虫爬取拉勾网职位信息

json数据文件

node.js爬虫爬取拉勾网职位信息

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。

代码地址及使用

github：https://github.com/zsqosos/positionAnalysis

代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

node.js爬虫爬取拉勾网职位信息

- Author -

陌路黄昏后

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Javascript 相关文章推荐

让焦点自动跳转

Jul 01 Javascript

autoPlay 基于jquery的图片自动播放效果

Dec 07 Javascript

有关javascript的性能优化 (repaint和reflow)

Apr 12 Javascript

使用JSLint提高JS代码质量方法分享

Dec 16 Javascript

ion content 滚动到底部会遮住一部分视图的快速解决方法

Sep 06 Javascript

Json对象和字符串互相转换json数据拼接和JSON使用方式详细介绍(小结)

Oct 25 Javascript

Angular.JS判断复选框checkbox是否选中并实时显示

Nov 30 Javascript

解析Javascript单例模式概念与实例

Dec 05 Javascript

Bootstrap基本组件学习笔记之按钮组(8)

Dec 07 Javascript

a标签置灰不可点击的实现方法

Feb 06 Javascript

详解JavaScript对数组操作（添加/删除/截取/排序/倒序）

Apr 28 Javascript

微信小程序用户盒子、宫格列表的实现

Jul 01 Javascript

AngularJS实现页面定时刷新

Mar 14 #Javascript

原生JS实现左右箭头选择日期实例代码

Mar 14 #Javascript

JavaScript校验Number(4,1)格式的数字实例代码

Mar 13 #Javascript

Bootstrap笔记—折叠实例代码

Mar 13 #Javascript

jquery插件ContextMenu设置右键菜单

Mar 13 #Javascript

jQuery实现表格奇偶行显示不同背景色就这么简单

Mar 13 #Javascript

轻松实现jQuery添加删除按钮Click事件

Mar 13 #Javascript

You might like

基于PHP编程注意事项的小结

2013/04/27 PHP

PHP延迟静态绑定使用方法实例解析

2020/09/05 PHP

javascript web对话框与弹出窗口

2009/02/22 Javascript

限制文本框输入N个字符的js代码

2010/05/13 Javascript

C#中TrimStart,TrimEnd,Trim在javascript上的实现

2011/01/17 Javascript

FireFox下XML对象转化成字符串的解决方法

2011/12/09 Javascript

解析ScrollPic在ie8下只滚动一遍,然后变为空白 ie6,ie7,chrome,firefox正常

2013/06/26 Javascript

可简单避免的三个JS发布错误的详细介绍

2013/08/02 Javascript

jquery选择器-根据多个属性选择示例代码

2013/10/21 Javascript

JavaScript中使用Substring删除字符串最后一个字符

2013/11/03 Javascript

js隐式全局变量造成的bug示例代码

2014/04/22 Javascript

js使用for循环与innerHTML获取选中tr下td值

2014/09/26 Javascript

jQuery实现Twitter的自动文字补齐特效

2014/11/28 Javascript

同一个网页中实现多个JavaScript特效的方法

2015/02/02 Javascript

jQuery中的pushStack实现原理和应用实例

2015/02/03 Javascript

jQuery事件委托之Safari

2016/07/05 Javascript

JavaScript实现in-place思想的快速排序方法

2016/08/07 Javascript

jQuery根据ID、CLASS、等获取对象的实例

2016/12/04 Javascript

javascript中apply/call和bind的使用

2017/02/15 Javascript

详解vue跨组件通信的几种方法

2017/06/15 Javascript

JS设计模式之观察者模式实现实时改变页面中金额数的方法

2018/02/05 Javascript

解决vue 打包发布去#和页面空白的问题

2018/09/04 Javascript

使用express来代理服务的方法

2019/06/21 Javascript

如何在Vue.JS中使用图标组件

2020/08/04 Javascript

利用JS判断元素是否为数组的方法示例

2021/01/08 Javascript

python类继承用法实例分析

2014/10/10 Python

Python中数字以及算数运算符的相关使用

2015/10/12 Python

解决python使用open打开文件中文乱码的问题

2017/12/29 Python

Python使用pickle模块储存对象操作示例

2018/08/15 Python

Django 创建新App及其常用命令的实现方法

2019/08/04 Python

英国建筑用品在线：Building Supplies Online（BSO）

2018/04/30 全球购物

Shell脚本如何向终端输出信息

2014/04/25 面试题

《英英学古诗》教学反思

2014/04/11 职场文书

2014年教师节座谈会发言稿

2014/09/10 职场文书

销售2014年度工作总结

2014/12/08 职场文书

2021年国产动漫公司排行前十名，玄机科技上榜，第二推出过铠甲勇士

2022/03/18 杂记