node.js 抓取代理ip实例代码


Posted in Javascript onApril 30, 2017

node.js实现抓取代理ip

主要文件:index.js

/*
* 支持:node.js v7.9.0
*/
const cheerio=require('cheerio');
const fetch =require('node-fetch');
const Promise=require('bluebird');
let mongoose=require('mongoose');

Promise.promisifyAll(mongoose);
let Schema=mongoose.Schema;
mongoose.connect('mongodb://localhost:27017/ipproxypool');
let IPpool=new Schema({
  ip:{type:String,unique:true}
})
let Ipproxy=mongoose.model('IP',IPpool);

function fetchUrl(url){
  fetch(url,{
    method:'get',
    headers:{
    }
  })
  .then(res=>res.text())
  .then(body=>{
    let $=cheerio.load(body);
    let length=$('#list table tbody').find('tr').length;
    for (let i=0;i<length;i++){
    let ipaddress= $('#list table tbody').find('tr').eq(i).find('td').eq(0).text() ;
    let port = $('#list table tbody').find('tr').eq(i).find('td').eq(1).text();
    console.log(`IP:${ipaddress}:${port}`);
    let ip=`${ipaddress}:${port}`
    let ippool=new Ipproxy({
      ip:ip
    })
    ippool.save();
    }
  })
}

var sleep = function (time) {
  return new Promise(function (resolve, reject) {
    setTimeout(function () {
      resolve('ok');
    }, time);
  })
};
const pageNumber=10;
var start = async function(){
  for(let j=1;j<pageNumber;j++){
     console.log(`当前是第${j}次等待..`);
    fetchUrl(`http://www.kuaidaili.com/free/inha/${j}/`);
    await sleep(1500);
  }
}
start();

包支持 : package.json

{
 "name": "demo-4-ipproxypool",
 "version": "1.0.0",
 "description": "",
 "main": "index.js",
 "scripts": {
  "test": "echo \"Error: no test specified\" && exit 1"
 },
 "author": "false-l",
 "license": "",
 "devDependencies": {
  "babel-preset-es2015": "^6.24.1",
  "babel-preset-react": "^6.24.1",
  "babel-preset-stage-3": "^6.24.1"
 },
 "dependencies": {
  "babel-core": "^6.24.1",
  "bluebird": "^3.5.0",
  "cheerio": "^0.22.0",
  "koa": "^2.2.0",
  "koa-router": "^7.1.1",
  "mongoose": "^4.9.6",
  "node-fetch": "^1.6.3"
 }
}

本地需要安装mongodb数据库,用于存储抓取到的ip,目前还未实现ip验证。写这个主要是处于好奇。

上面的代码就可以实现抓取ip代理网站的ip并存到mongodb数据库中。

下面在放出一个基于koa2的api接口的简易服务器实现

server

const Promise=require('bluebird');
let mongoose=require('mongoose');
const koa=require('koa');
const app=new koa();
var router = require('koa-router')();
Promise.promisifyAll(mongoose);
let Schema=mongoose.Schema;
mongoose.connect('mongodb://localhost:27017/ipproxypool');
let IPpool=new Schema({
  ip:{type:String,unique:true}
})
let Ipproxy=mongoose.model('IP',IPpool);

app.use(async (ctx, next) => {
 await next();
 var data=await Ipproxy.find({},function(err,ips){
  var ipmap=[];
   ips.forEach(function(ip){
     ipmap[ip._id]=ip;
     //console.log(ip)
   });
 })
 var map=data.map(ip=>ip.ip);
 ctx.response.type = 'text/json';
 ctx.response.body = map;
});
app.listen(3000);
console.log('server listen:3000')

至于为什么既有promise又有async,是因为对异步语法还不是很熟,怎么会怎么写了。

使用方式:

 根据package.json

npm install   // 安装支持

node index.js  //获取代理 ip

node server.js  //运行简易ip接口

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Javascript 相关文章推荐
拖动Html元素集合 Drag and Drop any item
Dec 22 Javascript
JS获取scrollHeight问题想到的标准问题
May 27 Javascript
jQuery Ajax之$.get()方法和$.post()方法
Oct 12 Javascript
js Calender控件使用详解
Jan 05 Javascript
Jquery中find与each方法用法实例
Feb 04 Javascript
jQuery过滤HTML标签并高亮显示关键字的方法
Aug 07 Javascript
AngularJS使用angular-formly进行表单验证
Dec 27 Javascript
微信小程序 Windows2008 R2服务器配置TLS1.2方法
Dec 05 Javascript
详谈表单格式化插件jquery.serializeJSON
Jun 23 jQuery
用最简单的方法判断JavaScript中this的指向(推荐)
Sep 04 Javascript
微信小程序之数据缓存的实例详解
Sep 29 Javascript
js获取url页面id,也就是最后的数字文件名
Sep 25 Javascript
socket.io学习教程之深入学习篇(三)
Apr 29 #Javascript
socket.io学习教程之基本应用(二)
Apr 29 #Javascript
socket.io学习教程之基础介绍(一)
Apr 29 #Javascript
Vue.js实现一个SPA登录页面的过程【推荐】
Apr 29 #Javascript
Vue.js在使用中的一些注意知识点
Apr 29 #Javascript
jQuery实现按比例缩放图片的方法
Apr 29 #jQuery
Vue开发中整合axios的文件整理
Apr 29 #Javascript
You might like
php接口技术实例详解
2016/12/07 PHP
PHP设计模式(一)工厂模式Factory实例详解【创建型】
2020/05/02 PHP
该如何加载google-analytics(或其他第三方)的JS
2010/05/13 Javascript
使用JavaScript动态设置样式实现代码及演示动画
2013/01/25 Javascript
JS截取字符串常用方法详细整理
2013/10/28 Javascript
jquery教程ajax请求json数据示例
2014/01/13 Javascript
JS案例分享之金额小写转大写
2014/05/15 Javascript
javascript鼠标跟随运动3种效果(眼球效果,苹果菜单,方向跟随)
2016/10/27 Javascript
HTML5 JS压缩图片并获取图片BASE64编码上传
2020/11/16 Javascript
JavaScript基本类型值-Undefined、Null、Boolean
2017/02/23 Javascript
Vue 路由切换时页面内容没有重新加载的解决方法
2018/09/01 Javascript
JS实现移动端点击按钮复制文本内容
2019/07/28 Javascript
[03:36]DOTA2完美大师赛coL战队趣味视频——我演你猜
2017/11/23 DOTA
[47:03]完美世界DOTA2联赛PWL S3 access vs LBZS 第一场 12.20
2020/12/23 DOTA
python实现带声音的摩斯码翻译实现方法
2015/05/20 Python
Python聚类算法之基本K均值实例详解
2015/11/20 Python
使用python进行文本预处理和提取特征的实例
2018/06/05 Python
django实现更改数据库某个字段以及字段段内数据
2020/03/31 Python
用opencv给图片换背景色的示例代码
2020/07/08 Python
python实现自动清理重复文件
2020/08/24 Python
纯CSS3实现圆圈动态发光特效动画的示例代码
2021/03/08 HTML / CSS
Html5之title吸顶功能
2018/06/04 HTML / CSS
澳大利亚优质的家居用品和生活方式公司:Bed Bath N’ Table
2019/04/16 全球购物
美国婴儿和儿童服装购物网站:PatPat
2020/10/01 全球购物
Linden Leaves官网:新西兰纯净护肤品
2020/12/20 全球购物
乌克兰网上珠宝商店:GoldSoveren
2020/03/31 全球购物
总裁岗位职责
2013/12/04 职场文书
社区学习十八大感想
2014/01/22 职场文书
数控技术应用个人求职信范文
2014/02/03 职场文书
青年文明号创建承诺
2014/03/31 职场文书
产品生产计划书
2014/05/07 职场文书
儿童生日会策划方案
2014/05/15 职场文书
正风肃纪剖析材料范文
2014/10/10 职场文书
2015年元旦联欢晚会活动总结
2014/11/28 职场文书
学雷锋广播稿大全
2015/08/19 职场文书
2016春季运动会前导词
2015/11/25 职场文书