利用Node.js批量抓取高清妹子图片实例教程


Posted in Javascript onAugust 02, 2018

前言

写了一个抓取图片的小玩意,分享一下。

Github地址:https://github.com/focalhot/node.js-crawler (本地下载)

示例代码

//依赖模块
 var fs = require('fs');
 var request = require("request");
 var cheerio = require("cheerio");
 var mkdirp = require('mkdirp');
 
 //目标网址
 var url = 'http://me2-sex.lofter.com/tag/美女摄影?page=';
 
 //本地存储目录
 var dir = './images';
 
 //创建目录
 mkdirp(dir, function(err) {
 if(err){
 console.log(err);
 }
 });
 
 //发送请求
 request(url, function(error, response, body) {
 if(!error && response.statusCode == 200) {
 var $ = cheerio.load(body);
 $('.img img').each(function() {
 var src = $(this).attr('src');
 console.log('正在下载' + src);
 download(src, dir, Math.floor(Math.random()*100000) + src.substr(-4,4));
 console.log('下载完成');
 });
 }
 });
 
 //下载方法
 var download = function(url, dir, filename){
 request.head(url, function(err, res, body){
 request(url).pipe(fs.createWriteStream(dir + "/" + filename));
 });
 };

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Javascript 相关文章推荐
Prototype使用指南之form.js
Jan 10 Javascript
Javascript 面向对象 继承
May 13 Javascript
可以用来调试JavaScript错误的解决方案
Aug 07 Javascript
Firefox/Chrome/Safari的中可直接使用$/$$函数进行调试
Feb 13 Javascript
jQuery提示效果代码分享
Nov 20 Javascript
基于Bootstrap实现的下拉菜单手机端不能选择菜单项的原因附解决办法
Jul 22 Javascript
jQuery对checkbox 复选框的全选全不选反选的操作
Aug 09 Javascript
JavaScript中函数声明与函数表达式的区别详解
Aug 18 Javascript
兼容浏览器的js事件绑定函数(详解)
May 09 Javascript
详解Vue中一种简易路由传参办法
Sep 15 Javascript
JavaScript基于数组实现的栈与队列操作示例
Dec 22 Javascript
uniapp实现可滑动选项卡
Oct 21 Javascript
在微信小程序里使用watch和computed的方法
Aug 02 #Javascript
在小程序中使用Echart图表的示例代码
Aug 02 #Javascript
node.js读取Excel数据(下载图片)的方法示例
Aug 02 #Javascript
Vue-cli配置打包文件本地使用的教程图解
Aug 02 #Javascript
详解使用VueJS开发项目中的兼容问题
Aug 02 #Javascript
重新认识vue之事件阻止冒泡的实现
Aug 02 #Javascript
深入浅出理解JavaScript高级定时器原理与用法
Aug 02 #Javascript
You might like
火影忍者:三大瞳力之一的白眼,为什么没有写轮眼那么出色?
2020/03/02 日漫
PHP常用函数小技巧
2008/09/11 PHP
thinkphp的c方法使用示例
2014/02/24 PHP
php把session写入数据库示例
2014/02/26 PHP
php实现12306余票查询、价格查询示例
2014/04/17 PHP
php将远程图片保存到本地服务器的实现代码
2015/08/03 PHP
PHP的Laravel框架中使用消息队列queue及异步队列的方法
2016/03/21 PHP
利用php抓取蜘蛛爬虫痕迹的示例代码
2016/09/30 PHP
Laravle eloquent 多对多模型关联实例详解
2017/11/22 PHP
基于jquery的自定义鼠标提示效果 jquery.toolTip
2010/11/14 Javascript
jQuery '行 4954 错误: 不支持该属性或方法' 的问题解决方法
2011/01/19 Javascript
JQuery验证工具类搜集整理
2013/01/16 Javascript
事件冒泡是什么如何用jquery阻止事件冒泡
2013/03/20 Javascript
javascript打印大全(打印页面设置/打印预览代码)
2013/03/29 Javascript
js页面跳转的常用方法整理
2013/10/18 Javascript
ECMAScript6轮播图实践知识总结
2016/08/17 Javascript
JS+HTML5实现图片在线预览功能
2017/07/22 Javascript
基于JS实现html中placeholder属性提示文字效果示例
2018/04/19 Javascript
解决修复npm安装全局模块权限的问题
2018/05/17 Javascript
JavaScript实现学生在线做题计时器功能
2018/12/05 Javascript
vue-cli3添加模式配置多环境变量的方法
2019/06/05 Javascript
解决vue-cli@3.xx安装不成功的问题及搭建ts-vue项目
2020/02/09 Javascript
Python中的XML库4Suite Server的介绍
2015/04/14 Python
利用Python读取文件的四种不同方法比对
2017/05/18 Python
python实现自动化上线脚本的示例
2019/07/01 Python
python 实现IP子网计算
2021/02/18 Python
css3 图片圆形显示 如何CSS将正方形图片显示为圆形图片布局
2014/10/10 HTML / CSS
html5简介_动力节点Java学院整理
2017/07/07 HTML / CSS
销售工作岗位职责
2013/12/24 职场文书
大学生党员自我批评
2014/02/14 职场文书
服装采购员岗位职责
2014/03/15 职场文书
临床医学专业求职信
2014/08/08 职场文书
竞聘演讲稿怎么写
2014/08/28 职场文书
2015国庆节66周年演讲稿
2015/03/20 职场文书
盗窃案辩护词
2015/05/21 职场文书
2016优秀教师先进个人事迹材料
2016/02/25 职场文书