利用Node.js批量抓取高清妹子图片实例教程


Posted in Javascript onAugust 02, 2018

前言

写了一个抓取图片的小玩意,分享一下。

Github地址:https://github.com/focalhot/node.js-crawler (本地下载)

示例代码

//依赖模块
 var fs = require('fs');
 var request = require("request");
 var cheerio = require("cheerio");
 var mkdirp = require('mkdirp');
 
 //目标网址
 var url = 'http://me2-sex.lofter.com/tag/美女摄影?page=';
 
 //本地存储目录
 var dir = './images';
 
 //创建目录
 mkdirp(dir, function(err) {
 if(err){
 console.log(err);
 }
 });
 
 //发送请求
 request(url, function(error, response, body) {
 if(!error && response.statusCode == 200) {
 var $ = cheerio.load(body);
 $('.img img').each(function() {
 var src = $(this).attr('src');
 console.log('正在下载' + src);
 download(src, dir, Math.floor(Math.random()*100000) + src.substr(-4,4));
 console.log('下载完成');
 });
 }
 });
 
 //下载方法
 var download = function(url, dir, filename){
 request.head(url, function(err, res, body){
 request(url).pipe(fs.createWriteStream(dir + "/" + filename));
 });
 };

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Javascript 相关文章推荐
javascript基础的动画教程,直观易懂
Jan 10 Javascript
javascript 跨浏览器开发经验总结(五) js 事件
May 19 Javascript
jQuery获取地址栏参数插件(模仿C#)
Oct 26 Javascript
跟我学Node.js(四)---Node.js的模块载入方式与机制
Jun 04 Javascript
jquery结合html实现中英文页面切换
Nov 29 Javascript
javascript实现二叉树遍历的代码
Jun 08 Javascript
Vue利用路由钩子token过期后跳转到登录页的实例
Oct 26 Javascript
Angular实现的table表格排序功能完整示例
Dec 22 Javascript
Vue实现6位数密码效果
Aug 18 Javascript
JavaScript Reflect Metadata实现详解
Dec 12 Javascript
JavaScript canvas实现雨滴特效
Jan 10 Javascript
vue组件冲突之引用另一个组件出现组件不显示的问题
Apr 13 Vue.js
在微信小程序里使用watch和computed的方法
Aug 02 #Javascript
在小程序中使用Echart图表的示例代码
Aug 02 #Javascript
node.js读取Excel数据(下载图片)的方法示例
Aug 02 #Javascript
Vue-cli配置打包文件本地使用的教程图解
Aug 02 #Javascript
详解使用VueJS开发项目中的兼容问题
Aug 02 #Javascript
重新认识vue之事件阻止冒泡的实现
Aug 02 #Javascript
深入浅出理解JavaScript高级定时器原理与用法
Aug 02 #Javascript
You might like
php allow_url_include的应用和解释
2010/04/22 PHP
php处理斐波那契数列非递归方法
2012/02/04 PHP
PHP实现文件上传下载实例
2016/10/18 PHP
javascript 继承实现方法
2009/08/26 Javascript
js 优化次数过多的循环 考虑到性能问题
2011/03/05 Javascript
jquery创建一个ajax关键词数据搜索实现思路
2013/02/26 Javascript
一个可以增加和删除行的table并可编辑表格中内容
2014/06/16 Javascript
Yii2使用Bootbox插件实现自定义弹窗
2015/04/02 Javascript
jQuery实现可展开合拢的手风琴面板菜单
2015/09/15 Javascript
JavaScript实现获取某个元素相邻兄弟节点的prev与next方法
2016/01/25 Javascript
arcgis for js 修改infowindow样式的方法
2016/11/02 Javascript
vue2.0开发实践总结之入门篇
2016/12/06 Javascript
浅谈Angular的$q, defer, promise
2016/12/20 Javascript
Popup弹出框添加数据实现方法
2017/10/27 Javascript
cropper js基于vue的图片裁剪上传功能的实现代码
2018/03/01 Javascript
Vue监听事件实现计数点击依次增加的方法
2018/09/26 Javascript
基于vue 实现表单中password输入的显示与隐藏功能
2019/07/19 Javascript
小程序实现左滑删除效果
2019/07/25 Javascript
node.JS路径解析之PATH模块使用方法详解
2020/02/06 Javascript
vue 数据操作相关总结
2020/12/17 Vue.js
[46:44]VG vs TNC Supermajor小组赛B组败者组决赛 BO3 第一场 6.2
2018/06/03 DOTA
[32:17]完美世界DOTA2联赛循环赛LBZS vs Forest第二场 10月30日
2020/10/31 DOTA
Python+matplotlib实现填充螺旋实例
2018/01/15 Python
详解Python 协程的详细用法使用和例子
2018/06/15 Python
详解python 注释、变量、类型
2018/08/10 Python
python网络爬虫 Scrapy中selenium用法详解
2019/09/28 Python
opencv3/Python 稠密光流calcOpticalFlowFarneback详解
2019/12/11 Python
python opencv把一张图片嵌入(叠加)到另一张图片上的实现代码
2020/06/11 Python
采购部部门职责
2013/12/15 职场文书
个人素质的自我评价分享
2013/12/16 职场文书
拾金不昧的表扬信
2014/01/16 职场文书
婚前协议书怎么写
2014/04/15 职场文书
职业生涯规划书前言
2014/04/15 职场文书
建国大业观后感800字
2015/06/01 职场文书
图文详解matlab原始处理图像几何变换
2021/07/09 Python
MSSQL基本语法操作
2022/04/11 SQL Server