利用Node.js批量抓取高清妹子图片实例教程


Posted in Javascript onAugust 02, 2018

前言

写了一个抓取图片的小玩意,分享一下。

Github地址:https://github.com/focalhot/node.js-crawler (本地下载)

示例代码

//依赖模块
 var fs = require('fs');
 var request = require("request");
 var cheerio = require("cheerio");
 var mkdirp = require('mkdirp');
 
 //目标网址
 var url = 'http://me2-sex.lofter.com/tag/美女摄影?page=';
 
 //本地存储目录
 var dir = './images';
 
 //创建目录
 mkdirp(dir, function(err) {
 if(err){
 console.log(err);
 }
 });
 
 //发送请求
 request(url, function(error, response, body) {
 if(!error && response.statusCode == 200) {
 var $ = cheerio.load(body);
 $('.img img').each(function() {
 var src = $(this).attr('src');
 console.log('正在下载' + src);
 download(src, dir, Math.floor(Math.random()*100000) + src.substr(-4,4));
 console.log('下载完成');
 });
 }
 });
 
 //下载方法
 var download = function(url, dir, filename){
 request.head(url, function(err, res, body){
 request(url).pipe(fs.createWriteStream(dir + "/" + filename));
 });
 };

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Javascript 相关文章推荐
javascript web对话框与弹出窗口
Feb 22 Javascript
javascript 二分法(数组array)
Apr 24 Javascript
myeclipse安装jQuery插件的方法
Mar 29 Javascript
JavaScript程序员应该知道的45个实用技巧
Mar 04 Javascript
JavaScript模拟可展开、拖动与关闭的聊天窗口实例
May 12 Javascript
ECMAScript6函数剩余参数(Rest Parameters)
Jun 12 Javascript
原生JS查找元素的方法(推荐)
Nov 22 Javascript
ES6数组的扩展详解
Apr 25 Javascript
webpack打包单页面如何引用的js
Jun 07 Javascript
JavaScript实现的可变动态数字键盘控件方式实例代码
Jul 15 Javascript
图片加载完成再执行事件的实例
Nov 16 Javascript
vue 实现上传组件
May 31 Vue.js
在微信小程序里使用watch和computed的方法
Aug 02 #Javascript
在小程序中使用Echart图表的示例代码
Aug 02 #Javascript
node.js读取Excel数据(下载图片)的方法示例
Aug 02 #Javascript
Vue-cli配置打包文件本地使用的教程图解
Aug 02 #Javascript
详解使用VueJS开发项目中的兼容问题
Aug 02 #Javascript
重新认识vue之事件阻止冒泡的实现
Aug 02 #Javascript
深入浅出理解JavaScript高级定时器原理与用法
Aug 02 #Javascript
You might like
PHP+Ajax异步通讯实现用户名邮箱验证是否已注册( 2种方法实现)
2011/12/28 PHP
PHP实现对文本数据库的常用操作方法实例演示
2014/07/04 PHP
php自定义排序uasort函数示例【二维数组按指定键值排序】
2019/06/19 PHP
jQuery live( type, fn ) 委派事件实现
2009/10/11 Javascript
jQuery DOM操作小结与实例
2010/01/07 Javascript
javascript模拟map输出与去除重复项的方法
2015/02/09 Javascript
jquery移除了live()、die(),新版事件绑定on()、off()的方法
2016/10/26 Javascript
js推箱子小游戏步骤代码解析
2018/01/10 Javascript
jquery实现搜索框功能实例详解
2018/07/23 jQuery
JavaScript设计模式之命令模式实例分析
2019/01/16 Javascript
微信小程序转发事件实现解析
2019/10/22 Javascript
基于js实现数组相邻元素上移下移
2020/05/19 Javascript
vue内置组件component--通过is属性动态渲染组件操作
2020/07/28 Javascript
JavaScript日期库date-fn.js使用方法解析
2020/09/09 Javascript
简单的python协同过滤程序实例代码
2018/01/31 Python
PyTorch的深度学习入门教程之构建神经网络
2019/06/27 Python
Python字典的概念及常见应用实例详解
2019/10/30 Python
PageFactory设计模式基于python实现
2020/04/14 Python
200行python代码实现贪吃蛇游戏
2020/04/24 Python
Python decimal模块使用方法详解
2020/06/08 Python
Keras设置以及获取权重的实现
2020/06/19 Python
Python爬虫爬取有道实现翻译功能
2020/11/27 Python
伊芙丽官方旗舰店:中国淑女一线品牌
2017/12/01 全球购物
银行见习期自我鉴定
2014/01/29 职场文书
迎新晚会邀请函
2014/02/01 职场文书
求职教师自荐书
2014/06/19 职场文书
初中优秀教师事迹材料
2014/08/18 职场文书
关于保护环境的建议书
2014/08/26 职场文书
2014学校领导四风问题对照检查材料思想汇报
2014/09/22 职场文书
党的群众路线教育实践活动先进个人材料
2014/12/24 职场文书
优秀教研组申报材料
2014/12/26 职场文书
出生公证书
2015/01/23 职场文书
2015中秋节晚会主持词
2015/07/01 职场文书
2019年教师入党申请书
2019/06/27 职场文书
Python办公自动化解决world文件批量转换
2021/09/15 Python
AngularJS实现多级下拉框
2022/03/25 Javascript