编程 Javascript

node.js爬虫爬取拉勾网职位信息

Posted in Javascript onMarch 14, 2017

简介

用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考

数据结果

node.js爬虫爬取拉勾网职位信息

上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

node.js爬虫爬取拉勾网职位信息

爬取到的数据文件

node.js爬虫爬取拉勾网职位信息

json数据文件

node.js爬虫爬取拉勾网职位信息

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。

代码地址及使用

github：https://github.com/zsqosos/positionAnalysis

代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

node.js爬虫爬取拉勾网职位信息

- Author -

陌路黄昏后

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Javascript 相关文章推荐

一端时间轮换的广告

Jun 26 Javascript

Javascript的IE和Firefox兼容性汇编

Jul 01 Javascript

jQuery 第二课操作包装集元素代码

Mar 14 Javascript

jquery实用代码片段集合

Aug 12 Javascript

两种常用的javascript数组去重方法思路及代码

Mar 26 Javascript

jQuery中:checked选择器用法实例

Jan 04 Javascript

BootStrap使用popover插件实现鼠标经过显示并保持显示框

Jun 23 Javascript

Bootstrap框架安装使用详解

Jan 21 Javascript

Javascript实现页面滚动时导航智能定位

May 06 Javascript

Node.js学习之TCP/IP数据通讯(实例讲解)

Oct 11 Javascript

解决vue+ element ui 表单验证有值但验证失败问题

Jan 16 Javascript

JavaScript实现字符串与HTML格式相互转换

Mar 17 Javascript

AngularJS实现页面定时刷新

Mar 14 #Javascript

原生JS实现左右箭头选择日期实例代码

Mar 14 #Javascript

JavaScript校验Number(4,1)格式的数字实例代码

Mar 13 #Javascript

Bootstrap笔记—折叠实例代码

Mar 13 #Javascript

jquery插件ContextMenu设置右键菜单

Mar 13 #Javascript

jQuery实现表格奇偶行显示不同背景色就这么简单

Mar 13 #Javascript

轻松实现jQuery添加删除按钮Click事件

Mar 13 #Javascript

You might like

第五节--克隆

2006/11/16 PHP

PHP反向代理类代码

2014/08/15 PHP

php实现倒计时效果

2015/12/19 PHP

php往mysql中批量插入数据实例教程

2018/12/12 PHP

PHP文件打开关闭及读写操作示例解析

2020/08/06 PHP

如何用javascript去掉字符串里的所有空格

2007/02/08 Javascript

JSON 入门指南想了解json的朋友可以看下

2009/08/26 Javascript

json 入门基础教程推荐

2009/10/31 Javascript

javascript 设为首页与加入收藏兼容多浏览器代码

2011/01/11 Javascript

Javascript表单验证要注意的事项

2014/09/29 Javascript

jquery简单倒计时实现方法

2015/12/18 Javascript

JS拖拽组件学习使用

2016/01/19 Javascript

Vuejs 用$emit与$on来进行兄弟组件之间的数据传输通信

2017/02/23 Javascript

简单谈谈CommonsChunkPlugin抽取公共模块

2017/12/31 Javascript

vue 实现数字滚动增加效果的实例代码

2018/07/06 Javascript

vue遍历生成的输入框绑定及修改值示例

2019/10/30 Javascript

js判断一个对象是数组（函数）的方法实例

2019/12/19 Javascript

javascript实现移动端触屏拖拽功能

2020/07/29 Javascript

在vue中使用jsonp进行跨域请求接口操作

2020/10/29 Javascript

Python入门教程之运算符与控制流

2016/08/17 Python

Python基于回溯法子集树模板实现8皇后问题

2017/09/01 Python

python语言元素知识点详解

2019/05/15 Python

Python Web框架之Django框架文件上传功能详解

2019/08/16 Python

Python HTTP下载文件并显示下载进度条功能的实现

2020/04/02 Python

django 实现简单的插入视频

2020/04/07 Python

python 实现学生信息管理系统的示例

2020/11/28 Python

python数据抓取3种方法总结

2021/02/07 Python

html5清空画布方法（三种）

2017/10/16 HTML / CSS

阿迪达斯比利时官方商城：adidas比利时

2016/10/10 全球购物

Tory Burch德国官网：美国时尚生活品牌

2018/01/03 全球购物

智能电子秤、手表和健康监测仪：Withings（之前为诺基亚健康）

2018/10/30 全球购物

销售顾问岗位职责

2014/02/25 职场文书

大二学生学年自我鉴定

2014/09/12 职场文书

2014年公务员转正工作总结

2014/11/07 职场文书

歼十出击观后感

2015/06/11 职场文书

python中使用 unittest.TestCase单元测试的用例详解

2021/08/30 Python