详解50行代码,Node爬虫练手项目


Posted in Javascript onApril 22, 2019

First

项目地址:Crawler-for-Github-Trending

项目中基本每一句代码都写有注释(因为就这么几行?),适合对Node爬虫感兴趣的同学入入门。

Introduction

50 lines, minimalist node crawler for Trending.

一个50行的node爬虫,一个简单的 axios, express, cheerio 体验项目。

Usage

首先保证电脑已存在node环境,然后

1.拉取本项目

git clone https://github.com/ZY2071/Crawler-for-Github-Trending.git
cd Crawler-for-Github-Trending
npm i
node index.js

2.或者下载本项目压缩包,解压

cd Crawler-for-Github-Trending-master // 进入项目文件夹
npm i
node index.js

Examples

当启动项目后,可以看到控制台输出

Listening on port 3000!

 此时打开浏览器,进入本地服务 http://localhost:3000/daily

http://localhost:3000/time-language // time表示周期,language代表语言  例如:
http://localhost:3000/daily // 代表今日 可选参数:weekly,monthly
http://localhost:3000/daily-JavaScript// 代表今日的java分类 可选参数:任意语言

 稍微等待即可看到爬取完毕的返回数据:

[
 {
 "title": "lib-pku / libpku",
 "links": "https://github.com/lib-pku/libpku",
 "description": "贵校课程资料民间整理",
 "language": "JavaScript",
 "stars": "14,297",
 "forks": "4,360",
 "info": "3,121 stars this week"
 },
 {
 "title": "SqueezerIO / squeezer",
 "links": "https://github.com/SqueezerIO/squeezer",
 "description": "Squeezer Framework - Build serverless dApps",
 "language": "JavaScript",
 "stars": "3,212",
 "forks": "80",
 "info": "2,807 stars this week"
 },
 ...
]

More

本项目仅供爬取体验,每次访问都会实时爬取数据,所以数据返回速度会比较慢,实际操作应该是定时爬取数据然后将数据存进数据库,数据从数据库返回从而提高数据返回效率。

但项目很基础,可以作为以上各个node模块最基础的练手使用,希望可以帮到大家 ?

Javascript 相关文章推荐
兼容Mozilla必须知道的知识。
Jan 09 Javascript
js控制的回到页面顶端goTop的代码实现
Mar 20 Javascript
json数据处理技巧(字段带空格、增加字段、排序等等)
Jun 14 Javascript
键盘上一张下一张兼容IE/google/firefox等浏览器
Jan 28 Javascript
js实现页面跳转重定向的几种方式
May 29 Javascript
图片旋转、鼠标滚轮缩放、镜像、切换图片js代码
Dec 13 Javascript
详解js中Number()、parseInt()和parseFloat()的区别
Dec 20 Javascript
Vuex和前端缓存的整合策略详解
May 09 Javascript
JS基于设计模式中的单例模式(Singleton)实现封装对数据增删改查功能
Feb 06 Javascript
使用typescript开发angular模块并发布npm包
Apr 19 Javascript
Vue学习笔记之计算属性与侦听器用法
Dec 07 Javascript
js实现贪吃蛇小游戏(加墙)
Jul 31 Javascript
Vue匿名插槽与作用域插槽的合并和覆盖行为
Apr 22 #Javascript
详解Vue 匿名、具名和作用域插槽的使用方法
Apr 22 #Javascript
详解Node.js一行命令上传本地文件到服务器
Apr 22 #Javascript
使用 vue 实例更好的监听事件及vue实例的方法
Apr 22 #Javascript
Angular中使用ng-zorro图标库部分图标不能正常显示问题
Apr 22 #Javascript
关于vue-cli 3配置打包优化要点(推荐)
Apr 22 #Javascript
说说如何利用 Node.js 代理解决跨域问题
Apr 22 #Javascript
You might like
六酷社区论坛HOME页清新格调免费版 下载
2007/03/07 PHP
PHP Header用于页面跳转要注意的几个问题总结
2008/10/03 PHP
destoon首页调用求购供应信息的地区名称的方法
2014/08/21 PHP
ASP.NET jQuery 实例2 (表单中使用回车在TextBox之间向下移动)
2012/01/13 Javascript
JS版的date函数(和PHP的date函数一样)
2014/05/12 Javascript
BootStrap无限级分类(无限极分类封装版)
2016/08/26 Javascript
jQGrid动态填充select下拉框的选项值(动态填充)
2016/11/28 Javascript
vue.js+Element实现表格里的增删改查
2017/01/18 Javascript
深入理解Vue transition源码分析
2017/07/30 Javascript
详解JS浏览器事件循环机制
2019/03/27 Javascript
使用VScode 插件debugger for chrome 调试react源码的方法
2019/09/13 Javascript
Vue 实现一个命令式弹窗组件功能
2019/09/25 Javascript
JS+CSS实现随机点名(实例代码)
2019/11/04 Javascript
[01:06]欢迎来到上海,TI9
2018/08/26 DOTA
python字符类型的一些方法小结
2016/05/16 Python
python绘制简单折线图代码示例
2017/12/19 Python
python中bs4.BeautifulSoup的基本用法
2019/07/27 Python
Python Selenium 设置元素等待的三种方式
2020/03/18 Python
Django ModelForm操作及验证方式
2020/03/30 Python
keras 读取多标签图像数据方式
2020/06/12 Python
pytorch 计算Parameter和FLOP的操作
2021/03/04 Python
装潢设计专业推荐信模板
2013/11/26 职场文书
西北政法大学自主招生自荐信
2014/01/29 职场文书
道德模范先进事迹
2014/02/14 职场文书
给校长的一封建议书
2014/03/12 职场文书
机关节能减排实施方案
2014/03/17 职场文书
副主任竞聘演讲稿
2014/08/18 职场文书
幼儿园校园小喇叭广播稿
2014/10/17 职场文书
市委召开党的群众路线教育实践活动总结大会报告
2014/10/21 职场文书
幼儿园感谢信
2015/01/21 职场文书
2015银行年终工作总结范文
2015/05/26 职场文书
交通处罚决定书
2015/06/24 职场文书
2015年学校医务室工作总结
2015/07/20 职场文书
心理健康教育主题班会
2015/08/13 职场文书
2019年最新证婚词精选集!
2019/06/28 职场文书
使用ICOM IC-R9500接收机同时测评十台收音机中波接收性能
2022/05/10 无线电