编程 Javascript

node.js爬虫爬取拉勾网职位信息

Posted in Javascript onMarch 14, 2017

简介

用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考

数据结果

node.js爬虫爬取拉勾网职位信息

上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

node.js爬虫爬取拉勾网职位信息

爬取到的数据文件

node.js爬虫爬取拉勾网职位信息

json数据文件

node.js爬虫爬取拉勾网职位信息

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。

代码地址及使用

github：https://github.com/zsqosos/positionAnalysis

代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

node.js爬虫爬取拉勾网职位信息

- Author -

陌路黄昏后

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Javascript 相关文章推荐

Jquery Autocomplete 结合asp.net使用要点

Oct 29 Javascript

jquery 操作表格实现代码(多种操作打包)

Mar 20 Javascript

javascript垃圾收集机制与内存泄漏详细解析

Nov 11 Javascript

JQuery基础语法小结

Feb 27 Javascript

60行js代码实现俄罗斯方块

Mar 31 Javascript

jQuery实现下拉框选择图片功能实例

Aug 08 Javascript

JavaScript中的事件委托及好处

Jul 12 Javascript

使用微信内嵌H5网页解决JS倒计时失效问题

Jan 13 Javascript

关于vuex的学习实践笔记

Apr 05 Javascript

十大 Node.js 的 Web 框架（快速提升工作效率）

Jun 30 Javascript

node的process以及child_process模块学习笔记

Mar 06 Javascript

vue+elementUI实现表格列的显示与隐藏

Apr 13 Vue.js

AngularJS实现页面定时刷新

Mar 14 #Javascript

原生JS实现左右箭头选择日期实例代码

Mar 14 #Javascript

JavaScript校验Number(4,1)格式的数字实例代码

Mar 13 #Javascript

Bootstrap笔记—折叠实例代码

Mar 13 #Javascript

jquery插件ContextMenu设置右键菜单

Mar 13 #Javascript

jQuery实现表格奇偶行显示不同背景色就这么简单

Mar 13 #Javascript

轻松实现jQuery添加删除按钮Click事件

Mar 13 #Javascript

You might like

用PHP函数解决SQL injection

2006/10/09 PHP

PHP 字符串分割和比较

2009/10/06 PHP

浅谈php优化需要注意的地方

2014/11/27 PHP

深入理解PHP中的Streams工具

2015/07/03 PHP

PHP后期静态绑定实例浅析

2018/12/21 PHP

用Javascript读取中文COOKIE的解决办法

2007/02/15 Javascript

JQuery Tips(4) 一些关于提高JQuery性能的Tips

2009/12/19 Javascript

JavaScript中链式调用之研习

2011/04/07 Javascript

JavaScript异步编程:异步数据收集的具体方法

2013/08/19 Javascript

JQuery 在线引用及测试引用是否成功

2014/06/24 Javascript

JS+CSS实现Li列表隔行换色效果的方法

2015/02/16 Javascript

asp.net中oracle 存储过程（图文）

2015/08/12 Javascript

浅谈jQuery中的eq()与DOM中element.[]的区别

2016/10/28 Javascript

javascript prototype原型详解(比较基础)

2016/12/26 Javascript

js实现多行文本框统计剩余字数功能

2017/03/28 Javascript

基于JavaScript表单脚本(详解)

2017/10/18 Javascript

vue.js单文件组件中非父子组件的传值实例

2018/09/13 Javascript

JS前端知识点总结之内置对象，日期对象和定时器相关操作

2019/07/05 Javascript

react使用antd表单赋值,用于修改弹框的操作

2020/10/29 Javascript

Python实现的简单万年历例子分享

2014/04/25 Python

python决策树之CART分类回归树详解

2017/12/20 Python

python批量实现Word文件转换为PDF文件

2018/03/15 Python

解决sublime+python3无法输出中文的问题

2018/12/12 Python

tensorflow 初始化未初始化的变量实例

2020/02/06 Python

keras分类之二分类实例(Cat and dog)

2020/07/09 Python

浅谈pandas dataframe对除数是零的处理

2020/07/20 Python

DC Shoes官网：美国滑板鞋和服饰品牌

2017/09/03 全球购物

Linux如何压缩可执行文件

2014/03/27 面试题

学生党员思想汇报范文

2014/01/09 职场文书

四群教育工作实施方案

2014/03/26 职场文书

教师批评与自我批评总结

2014/10/16 职场文书

幼儿园开学温馨提示

2015/07/15 职场文书

幼儿教师师德培训心得体会

2016/01/09 职场文书

高中体育课教学反思

2016/02/16 职场文书

Vue实现导入Excel功能步骤详解

2021/07/03 Vue.js

Python装饰器的练习题

2021/11/23 Python