编程 Javascript

node.js爬虫爬取拉勾网职位信息

Posted in Javascript onMarch 14, 2017

简介

用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考

数据结果

node.js爬虫爬取拉勾网职位信息

上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

node.js爬虫爬取拉勾网职位信息

爬取到的数据文件

node.js爬虫爬取拉勾网职位信息

json数据文件

node.js爬虫爬取拉勾网职位信息

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。

代码地址及使用

github：https://github.com/zsqosos/positionAnalysis

代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

node.js爬虫爬取拉勾网职位信息

- Author -

陌路黄昏后

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Javascript 相关文章推荐

Javascript 陷阱 window全局对象

Nov 26 Javascript

推荐10个2014年最佳的jQuery视频插件

Nov 12 Javascript

14个有用的Jquery技巧分享

Jan 08 Javascript

深入理解JavaScript系列（45）：代码复用模式（避免篇）详解

Mar 04 Javascript

jQuery实现简单的日期输入格式化控件

Mar 12 Javascript

值得分享的Bootstrap Ace模板实现菜单和Tab页效果

Dec 30 Javascript

基于javascript实现tab选项卡切换特效调试笔记

Mar 30 Javascript

jquery实现无刷新验证码的简单实例

May 19 Javascript

用js控件div的滚动条,让它在内容更新时自动滚到底部的实现方法

Oct 27 Javascript

JS实现选定指定HTML元素对象中指定文本内容功能示例

Feb 13 Javascript

AngularJS 防止页面闪烁的方法

Mar 09 Javascript

Javascript执行上下文顺序的深入讲解

Nov 04 Javascript

AngularJS实现页面定时刷新

Mar 14 #Javascript

原生JS实现左右箭头选择日期实例代码

Mar 14 #Javascript

JavaScript校验Number(4,1)格式的数字实例代码

Mar 13 #Javascript

Bootstrap笔记—折叠实例代码

Mar 13 #Javascript

jquery插件ContextMenu设置右键菜单

Mar 13 #Javascript

jQuery实现表格奇偶行显示不同背景色就这么简单

Mar 13 #Javascript

轻松实现jQuery添加删除按钮Click事件

Mar 13 #Javascript

You might like

类的另类用法--数据的封装

2006/10/09 PHP

建立动态的WML站点(一)

2006/10/09 PHP

PHP静态类

2006/11/25 PHP

Php Mssql操作简单封装支持存储过程

2009/12/11 PHP

php Notice: Undefined index 错误提示解决方法

2010/08/29 PHP

PHP 与 js的通信（via ajax,json）

2010/11/16 Javascript

下拉列表选择项的选中在不同浏览器中的兼容性问题探讨

2013/09/18 Javascript

JavaScript基于setTimeout实现计数的方法

2015/05/08 Javascript

jQuery+PHP+MySQL实现无限级联下拉框效果

2016/02/19 Javascript

js 弹出对话框(遮罩)透明,可拖动的简单实例

2016/07/11 Javascript

JavaScript 数组- Array的方法总结(推荐)

2016/07/21 Javascript

js中class的点击事件没有效果的解决方法

2016/10/13 Javascript

详解10分钟学会vue滚动行为

2017/09/21 Javascript

js防抖和节流的深入讲解

2018/12/06 Javascript

详解angular2 控制视图的封装模式

2018/12/27 Javascript

微信小程序如何调用新闻接口实现列表循环

2019/07/02 Javascript

javascript二维数组和对象的深拷贝与浅拷贝实例分析

2019/10/26 Javascript

JS表格的动态操作完整示例

2020/01/13 Javascript

JavaScript实现切换多张图片

2021/01/27 Javascript

python字符串连接方式汇总

2014/08/21 Python

安装dbus-python的简要教程

2015/05/05 Python

python发送HTTP请求的方法小结

2015/07/08 Python

Python实现快速排序和插入排序算法及自定义排序的示例

2016/02/16 Python

Python3.5内置模块之os模块、sys模块、shutil模块用法实例分析

2019/04/27 Python

Python获取数据库数据并保存在excel表格中的方法

2019/06/12 Python

python关于调用函数外的变量实例

2019/12/26 Python

基于python实现简单C/S模式代码实例

2020/09/14 Python

Python pymysql模块安装并操作过程解析

2020/10/13 Python

美国和加拿大计算机和电子产品购物网站：TigerDirect.com

2019/09/13 全球购物

银行个人求职自荐信范文

2013/12/16 职场文书

《难忘的泼水节》教学反思

2014/02/27 职场文书

空乘英文求职信

2014/04/13 职场文书

杨善洲电影观后感

2015/06/04 职场文书

高中生军训感言

2015/08/01 职场文书

2016入党培训心得体会范文

2016/01/08 职场文书

《群青的幻想曲》京力秋树角色PV公开

2022/04/08 日漫