node.js 抓取代理ip实例代码


Posted in Javascript onApril 30, 2017

node.js实现抓取代理ip

主要文件:index.js

/*
* 支持:node.js v7.9.0
*/
const cheerio=require('cheerio');
const fetch =require('node-fetch');
const Promise=require('bluebird');
let mongoose=require('mongoose');

Promise.promisifyAll(mongoose);
let Schema=mongoose.Schema;
mongoose.connect('mongodb://localhost:27017/ipproxypool');
let IPpool=new Schema({
  ip:{type:String,unique:true}
})
let Ipproxy=mongoose.model('IP',IPpool);

function fetchUrl(url){
  fetch(url,{
    method:'get',
    headers:{
    }
  })
  .then(res=>res.text())
  .then(body=>{
    let $=cheerio.load(body);
    let length=$('#list table tbody').find('tr').length;
    for (let i=0;i<length;i++){
    let ipaddress= $('#list table tbody').find('tr').eq(i).find('td').eq(0).text() ;
    let port = $('#list table tbody').find('tr').eq(i).find('td').eq(1).text();
    console.log(`IP:${ipaddress}:${port}`);
    let ip=`${ipaddress}:${port}`
    let ippool=new Ipproxy({
      ip:ip
    })
    ippool.save();
    }
  })
}

var sleep = function (time) {
  return new Promise(function (resolve, reject) {
    setTimeout(function () {
      resolve('ok');
    }, time);
  })
};
const pageNumber=10;
var start = async function(){
  for(let j=1;j<pageNumber;j++){
     console.log(`当前是第${j}次等待..`);
    fetchUrl(`http://www.kuaidaili.com/free/inha/${j}/`);
    await sleep(1500);
  }
}
start();

包支持 : package.json

{
 "name": "demo-4-ipproxypool",
 "version": "1.0.0",
 "description": "",
 "main": "index.js",
 "scripts": {
  "test": "echo \"Error: no test specified\" && exit 1"
 },
 "author": "false-l",
 "license": "",
 "devDependencies": {
  "babel-preset-es2015": "^6.24.1",
  "babel-preset-react": "^6.24.1",
  "babel-preset-stage-3": "^6.24.1"
 },
 "dependencies": {
  "babel-core": "^6.24.1",
  "bluebird": "^3.5.0",
  "cheerio": "^0.22.0",
  "koa": "^2.2.0",
  "koa-router": "^7.1.1",
  "mongoose": "^4.9.6",
  "node-fetch": "^1.6.3"
 }
}

本地需要安装mongodb数据库,用于存储抓取到的ip,目前还未实现ip验证。写这个主要是处于好奇。

上面的代码就可以实现抓取ip代理网站的ip并存到mongodb数据库中。

下面在放出一个基于koa2的api接口的简易服务器实现

server

const Promise=require('bluebird');
let mongoose=require('mongoose');
const koa=require('koa');
const app=new koa();
var router = require('koa-router')();
Promise.promisifyAll(mongoose);
let Schema=mongoose.Schema;
mongoose.connect('mongodb://localhost:27017/ipproxypool');
let IPpool=new Schema({
  ip:{type:String,unique:true}
})
let Ipproxy=mongoose.model('IP',IPpool);

app.use(async (ctx, next) => {
 await next();
 var data=await Ipproxy.find({},function(err,ips){
  var ipmap=[];
   ips.forEach(function(ip){
     ipmap[ip._id]=ip;
     //console.log(ip)
   });
 })
 var map=data.map(ip=>ip.ip);
 ctx.response.type = 'text/json';
 ctx.response.body = map;
});
app.listen(3000);
console.log('server listen:3000')

至于为什么既有promise又有async,是因为对异步语法还不是很熟,怎么会怎么写了。

使用方式:

 根据package.json

npm install   // 安装支持

node index.js  //获取代理 ip

node server.js  //运行简易ip接口

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Javascript 相关文章推荐
使用jQuery向asp.net Mvc传递复杂json数据-ModelBinder篇
May 07 Javascript
js实现点击添加一个input节点
Dec 05 Javascript
JS创建对象几种不同方法详解
Mar 01 Javascript
微信JS-SDK坐标位置如何转换为百度地图坐标
Jul 04 Javascript
Bootstrap实现弹性搜索框
Jul 11 Javascript
深入剖析JavaScript面向对象编程
Jul 12 Javascript
微信js-sdk预览图片接口及从拍照或手机相册中选图接口用法示例
Oct 13 Javascript
js for循环倒序输出数组元素的实例
Mar 01 Javascript
AngularJS双向绑定和依赖反转实例详解
Apr 15 Javascript
Vue Spa切换页面时更改标题的实例代码
Jul 15 Javascript
layui点击按钮添加可编辑的一行方法
Aug 15 Javascript
Vue中保存数据到磁盘文件的方法
Sep 06 Javascript
socket.io学习教程之深入学习篇(三)
Apr 29 #Javascript
socket.io学习教程之基本应用(二)
Apr 29 #Javascript
socket.io学习教程之基础介绍(一)
Apr 29 #Javascript
Vue.js实现一个SPA登录页面的过程【推荐】
Apr 29 #Javascript
Vue.js在使用中的一些注意知识点
Apr 29 #Javascript
jQuery实现按比例缩放图片的方法
Apr 29 #jQuery
Vue开发中整合axios的文件整理
Apr 29 #Javascript
You might like
PHP中设置时区方法小结
2012/06/03 PHP
PHP递归返回值时出现的问题解决办法
2013/02/19 PHP
thinkphp5 migrate数据库迁移工具
2018/02/20 PHP
php写入txt乱码的解决方法
2019/09/17 PHP
js 图片缩放(按比例)控制代码
2009/05/27 Javascript
简单的js表单验证函数
2013/10/28 Javascript
getAsDataURL在Firefox7.0下无法预览本地图片的解决方法
2013/11/15 Javascript
window.open打开页面居中显示的示例代码
2013/12/27 Javascript
jQuery实现Flash效果上下翻动的中英文导航菜单代码
2015/09/22 Javascript
JS实现来回出现文字的状态栏特效代码
2015/10/31 Javascript
微信小程序 时间格式化(util.formatTime(new Date))详解
2016/11/16 Javascript
详解vue-resource promise兼容性问题
2017/06/20 Javascript
JavaScript实现简单生成随机颜色的方法
2017/09/21 Javascript
AngularJS select加载数据选中默认值的方法
2018/02/28 Javascript
p5.js实现斐波那契螺旋的示例代码
2018/03/22 Javascript
Node.js+ELK日志规范的实现
2019/05/23 Javascript
Flutter 超实用简单菜单弹出框 PopupMenuButton功能
2019/08/06 Javascript
用Python的Django框架编写从Google Adsense中获得报表的应用
2015/04/17 Python
Python中的choice()方法使用详解
2015/05/15 Python
Python实现截屏的函数
2015/07/25 Python
利用python模拟sql语句对员工表格进行增删改查
2017/07/05 Python
python实现随机森林random forest的原理及方法
2017/12/21 Python
100行Python代码实现自动抢火车票(附源码)
2018/01/11 Python
python实现事件驱动
2018/11/21 Python
基于torch.where和布尔索引的速度比较
2020/01/02 Python
使用pytorch和torchtext进行文本分类的实例
2020/01/08 Python
Pytorch保存模型用于测试和用于继续训练的区别详解
2020/01/10 Python
pytorch-RNN进行回归曲线预测方式
2020/01/14 Python
python 爬虫 实现增量去重和定时爬取实例
2020/02/28 Python
Python内置函数及功能简介汇总
2020/10/13 Python
html5教程制作简单画板代码分享
2013/12/04 HTML / CSS
电子商务网站的创业计划书
2014/01/05 职场文书
养殖项目策划书范文
2014/01/13 职场文书
2015年简历自我评价范文
2015/03/11 职场文书
多人股份制合作协议书
2016/03/19 职场文书
新员工入职感言范文!
2019/07/04 职场文书