利用Node.js批量抓取高清妹子图片实例教程


Posted in Javascript onAugust 02, 2018

前言

写了一个抓取图片的小玩意,分享一下。

Github地址:https://github.com/focalhot/node.js-crawler (本地下载)

示例代码

//依赖模块
 var fs = require('fs');
 var request = require("request");
 var cheerio = require("cheerio");
 var mkdirp = require('mkdirp');
 
 //目标网址
 var url = 'http://me2-sex.lofter.com/tag/美女摄影?page=';
 
 //本地存储目录
 var dir = './images';
 
 //创建目录
 mkdirp(dir, function(err) {
 if(err){
 console.log(err);
 }
 });
 
 //发送请求
 request(url, function(error, response, body) {
 if(!error && response.statusCode == 200) {
 var $ = cheerio.load(body);
 $('.img img').each(function() {
 var src = $(this).attr('src');
 console.log('正在下载' + src);
 download(src, dir, Math.floor(Math.random()*100000) + src.substr(-4,4));
 console.log('下载完成');
 });
 }
 });
 
 //下载方法
 var download = function(url, dir, filename){
 request.head(url, function(err, res, body){
 request(url).pipe(fs.createWriteStream(dir + "/" + filename));
 });
 };

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Javascript 相关文章推荐
第一个JavaScript入门基础 document.write输出
Feb 22 Javascript
jQuery让控件左右移动的三种实现方法
Sep 08 Javascript
JS小功能(onmouseover实现选择月份)实例代码
Nov 28 Javascript
JQuery判断HTML元素是否存在的两种解决方法
Dec 26 Javascript
js数组依据下标删除元素
Apr 14 Javascript
解决bootstrap导航栏navbar在IE8上存在缺陷的方法
Jul 01 Javascript
原生JS实现《别踩白块》游戏(兼容IE)
Feb 20 Javascript
w3c编程挑战_初级脚本算法实战篇
Jun 23 Javascript
vuejs中监听窗口关闭和窗口刷新事件的方法
Sep 21 Javascript
Vue开发Html5微信公众号的步骤
Apr 11 Javascript
vue中keep-alive,include的缓存问题
Nov 26 Javascript
JavaScript 自定义html元素鼠标右键菜单功能
Dec 02 Javascript
在微信小程序里使用watch和computed的方法
Aug 02 #Javascript
在小程序中使用Echart图表的示例代码
Aug 02 #Javascript
node.js读取Excel数据(下载图片)的方法示例
Aug 02 #Javascript
Vue-cli配置打包文件本地使用的教程图解
Aug 02 #Javascript
详解使用VueJS开发项目中的兼容问题
Aug 02 #Javascript
重新认识vue之事件阻止冒泡的实现
Aug 02 #Javascript
深入浅出理解JavaScript高级定时器原理与用法
Aug 02 #Javascript
You might like
vBulletin Forum 2.3.xx SQL Injection
2006/10/09 PHP
smarty中先strip_tags过滤html标签后truncate截取文章运用
2010/10/25 PHP
WordPress迁移时一些常见问题的解决方法整理
2015/11/24 PHP
Zend Framework教程之Resource Autoloading用法实例
2016/03/08 PHP
PHP分享图片的生成方法
2018/04/25 PHP
php获取目录下所有文件及目录(多种方法)(推荐)
2019/05/14 PHP
json 实例详细说明教程
2009/10/31 Javascript
JQuery入门——用one()方法绑定事件处理函数(仅触发一次)
2013/02/05 Javascript
Javascript算符的优先级介绍
2013/03/20 Javascript
jQuery 快速结束当前正在执行的动画
2013/11/20 Javascript
可以浮动某个物体的jquery控件用法实例
2015/07/24 Javascript
js简单正则验证汉字英文及下划线的方法
2016/11/28 Javascript
Angular.js实现注册系统的实例详解
2016/12/18 Javascript
Bootstrap table右键功能实现方法
2017/02/20 Javascript
详解vue-meta如何让你更优雅的管理头部标签
2018/01/18 Javascript
Vue的elementUI实现自定义主题方法
2018/02/23 Javascript
python中随机函数random用法实例
2015/04/30 Python
python结合opencv实现人脸检测与跟踪
2015/06/08 Python
Python统计文件中去重后uuid个数的方法
2015/07/30 Python
详解Python编程中time模块的使用
2015/11/20 Python
Python实现Pig Latin小游戏实例代码
2018/02/02 Python
Python 给屏幕打印信息加上颜色的实现方法
2019/04/24 Python
Django如何防止定时任务并发浅析
2019/05/14 Python
Python判断字符串是否xx开始或结尾的示例
2019/08/08 Python
Django+Uwsgi+Nginx如何实现生产环境部署
2020/07/31 Python
python 密码学示例——理解哈希(Hash)算法
2020/09/21 Python
python 如何用urllib与服务端交互(发送和接收数据)
2021/03/04 Python
Mavi牛仔裤美国官网:土耳其著名牛仔品牌
2016/09/24 全球购物
卡骆驰英国官网:Crocs英国
2019/08/22 全球购物
PHP面试题集
2016/12/18 面试题
优秀研究生自我鉴定
2013/12/04 职场文书
探矿工程师自荐信
2014/01/24 职场文书
教师个人年终总结
2015/02/11 职场文书
宾馆前台接待岗位职责
2015/04/02 职场文书
2015年超市工作总结范文
2015/05/26 职场文书
错误码NET::ERR_CERT_DATE_INVALID证书已过期解决方法?
2022/07/07 数码科技