编程 Javascript

node.js爬虫爬取拉勾网职位信息

Posted in Javascript onMarch 14, 2017

简介

用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考

数据结果

node.js爬虫爬取拉勾网职位信息

上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

node.js爬虫爬取拉勾网职位信息

爬取到的数据文件

node.js爬虫爬取拉勾网职位信息

json数据文件

node.js爬虫爬取拉勾网职位信息

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。

代码地址及使用

github：https://github.com/zsqosos/positionAnalysis

代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

node.js爬虫爬取拉勾网职位信息

- Author -

陌路黄昏后

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Javascript 相关文章推荐

JavaScript 学习笔记二字符串拼接

Mar 28 Javascript

JS delegate与live浅析

Dec 21 Javascript

jQuery使用ajaxSubmit()提交表单示例

Apr 04 Javascript

javascript实现Email邮件显示与删除功能

Nov 21 Javascript

基于JavaScript实现点击页面任何位置返回

Aug 31 Javascript

巧用canvas

Jan 21 Javascript

Vue2 配置 Axios api 接口调用文件的方法

Nov 13 Javascript

jQuery NProgress.js加载进度插件的简单使用方法

Jan 31 jQuery

Vue.js 通过jQuery ajax获取数据实现更新后重新渲染页面的方法

Aug 09 jQuery

关于AOP在JS中的实现与应用详解

May 06 Javascript

解决使用layui的时候form表单中的select等不能渲染的问题

Sep 18 Javascript

使用webpack搭建vue环境的教程详解

Dec 31 Javascript

AngularJS实现页面定时刷新

Mar 14 #Javascript

原生JS实现左右箭头选择日期实例代码

Mar 14 #Javascript

JavaScript校验Number(4,1)格式的数字实例代码

Mar 13 #Javascript

Bootstrap笔记—折叠实例代码

Mar 13 #Javascript

jquery插件ContextMenu设置右键菜单

Mar 13 #Javascript

jQuery实现表格奇偶行显示不同背景色就这么简单

Mar 13 #Javascript

轻松实现jQuery添加删除按钮Click事件

Mar 13 #Javascript

You might like

Windows下利用Gvim写PHP产生中文乱码问题解决方法

2011/04/20 PHP

div li的多行多列无刷新分页示例代码

2013/10/16 PHP

通过php修改xml文档内容的方法

2015/01/23 PHP

php实现上传图片保存到数据库的方法

2015/02/11 PHP

php+ajax实现的点击浏览量加1

2015/04/16 PHP

PHP人民币金额转大写实例代码

2015/10/02 PHP

深入浅析PHP的session反序列化漏洞问题

2017/06/15 PHP

详解json在php中的应用

2018/09/30 PHP

jQuery 前的按键判断代码

2010/03/19 Javascript

JQuery报错Uncaught TypeError: Illegal invocation的处理方法

2015/03/13 Javascript

利用jQuery和CSS将背景图片拉伸

2015/10/16 Javascript

jQuery实现简单的图片查看器

2020/09/11 Javascript

Jquery on方法绑定事件后执行多次的解决方法

2016/06/02 Javascript

微信小程序地图（map）实例详解

2016/11/16 Javascript

简单了解小程序+node梳理登陆流程

2019/06/24 Javascript

JS实现音量控制拖动

2020/01/15 Javascript

JS数组Reduce方法功能与用法实例详解

2020/04/29 Javascript

[59:44]2018DOTA2亚洲邀请赛 3.31 小组赛 B组 paiN vs iG

2018/03/31 DOTA

python33 urllib2使用方法细节讲解

2013/12/03 Python

利用PyInstaller将python程序.py转为.exe的方法详解

2017/05/03 Python

Python设计模式之代理模式简单示例

2018/01/09 Python

使用OpCode绕过Python沙箱的方法详解

2019/09/03 Python

使用python将最新的测试报告以附件的形式发到指定邮箱

2019/09/20 Python

CSS3 对过渡(transition)进行调速以及延时

2020/10/21 HTML / CSS

HTML5+CSS3模仿优酷视频截图功能示例

2017/01/05 HTML / CSS

html5 postMessage前端跨域并前端监听的方法示例

2018/11/01 HTML / CSS

魔声耳机官方网站：Monster是世界第一品牌的高性能耳机

2016/10/26 全球购物

New Balance天猫官方旗舰店：始于1906年，百年慢跑品牌

2017/11/15 全球购物

ｅ路東瀛(JAPANiCAN)香港：日本旅游、日本酒店和温泉旅馆预订

2018/11/21 全球购物

请写出 float x 与＂零值＂比较的 if 语句

2016/01/04 面试题

毕业实习评语

2014/02/10 职场文书

元旦促销方案

2014/03/15 职场文书

2015年教务主任工作总结

2015/07/22 职场文书

小学生作文之《压岁钱的烦恼》

2019/09/27 职场文书

Springboot/Springcloud项目集成redis进行存取的过程解析

2021/12/04 Redis

《原神》新角色演示“神里绫人：林隐泓洄” 宠妹狂魔

2022/04/03 其他游戏