编程 Javascript

node.js爬虫爬取拉勾网职位信息

Posted in Javascript onMarch 14, 2017

简介

用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考

数据结果

node.js爬虫爬取拉勾网职位信息

上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

node.js爬虫爬取拉勾网职位信息

爬取到的数据文件

node.js爬虫爬取拉勾网职位信息

json数据文件

node.js爬虫爬取拉勾网职位信息

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。

代码地址及使用

github：https://github.com/zsqosos/positionAnalysis

代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

node.js爬虫爬取拉勾网职位信息

- Author -

陌路黄昏后

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Javascript 相关文章推荐

Jquery 点击按钮显示和隐藏层的代码

Jul 25 Javascript

setTimeout()与setInterval()方法区别介绍

Dec 24 Javascript

DOM 事件流详解

Jan 20 Javascript

JavaScript使用indexOf获得子字符串在字符串中位置的方法

Apr 06 Javascript

AngularJS入门教程之 XMLHttpRequest实例讲解

Jul 27 Javascript

javascript简单实现跟随滚动条漂浮的返回顶部按钮效果

Aug 19 Javascript

jQuery设计思想

Mar 07 Javascript

vue使用watch 观察路由变化，重新获取内容

Mar 08 Javascript

字太多用...代替的方法（两种）

Mar 15 Javascript

Angular.js初始化之ng-app的自动绑定与手动绑定详解

Jul 31 Javascript

使用ECharts实现状态区间图

Oct 25 Javascript

js中let能否完全替代IIFE

Jun 15 Javascript

AngularJS实现页面定时刷新

Mar 14 #Javascript

原生JS实现左右箭头选择日期实例代码

Mar 14 #Javascript

JavaScript校验Number(4,1)格式的数字实例代码

Mar 13 #Javascript

Bootstrap笔记—折叠实例代码

Mar 13 #Javascript

jquery插件ContextMenu设置右键菜单

Mar 13 #Javascript

jQuery实现表格奇偶行显示不同背景色就这么简单

Mar 13 #Javascript

轻松实现jQuery添加删除按钮Click事件

Mar 13 #Javascript

You might like

PHP date函数参数详解

2006/11/27 PHP

php 表单验证实现代码

2009/03/10 PHP

PHP图片验证码制作实现分享(全)

2012/05/10 PHP

Laravel框架实现的上传图片到七牛功能详解

2019/09/06 PHP

jquery常用技巧及常用方法列表集合

2011/04/06 Javascript

javascript学习笔记（三）显示当时时间的代码

2011/04/08 Javascript

jquery聚焦文本框与扩展文本框聚焦方法

2012/10/12 Javascript

JavaScript的setAttribute兼容性问题解决方法

2013/11/11 Javascript

将JavaScript的jQuery库中表单转化为JSON对象的方法

2015/11/17 Javascript

BootStrap 图标icon符号图标glyphicons不正常显示的快速解决办法

2016/12/08 Javascript

微信小程序标签传入数据

2017/05/08 Javascript

AngularJS中scope的绑定策略实例分析

2017/10/30 Javascript

axios向后台传递数组作为参数的方法

2018/08/11 Javascript

vue 实现移动端键盘搜索事件监听

2019/11/06 Javascript

Postman无法正常返回结果问题解决

2020/08/28 Javascript

在Angular项目使用socket.io实现通信的方法

2021/01/05 Javascript

python常规方法实现数组的全排列

2015/03/17 Python

win10下Python3.6安装、配置以及pip安装包教程

2017/10/01 Python

基于Python __dict__与dir()的区别详解

2017/10/30 Python

对numpy中array和asarray的区别详解

2018/04/17 Python

12个步骤教你理解Python装饰器

2019/07/01 Python

FFrpc python客户端lib使用解析

2019/08/24 Python

python、PyTorch图像读取与numpy转换实例

2020/01/13 Python

python爬虫基础知识点整理

2020/06/02 Python

python为什么会环境变量设置不成功

2020/06/23 Python

Python子进程subpocess原理及用法解析

2020/07/16 Python

推荐值得学习的12款python-web开发框架

2020/08/10 Python

Selenium Webdriver元素定位的八种常用方式(小结)

2021/01/13 Python

Python入门基础之数字字符串与列表

2021/02/01 Python

python 基于DDT实现数据驱动测试

2021/02/18 Python

利用CSS3的定位页面元素

2009/08/29 HTML / CSS

《小动物过冬》教学反思

2014/04/17 职场文书

如何理解python接口自动化之logging日志模块

2021/06/15 Python

浅谈克隆 JavaScript

2021/11/02 Javascript

SpringBoot中获取profile的方法详解

2022/04/08 Java/Android

Win11如何启用启动修复 ? Win11执行启动修复的三种方法

2022/04/08 数码科技