Java中多线程下载图片并压缩能提高效率吗


Posted in Java/Android onJuly 01, 2021
目录
  • 前言
  • 实现思路
  • 实测

前言

需求 导出Excel:本身以为是一个简单得导出,但是每行得记录文件中有一列为图片url,需要下载所有记录行对应得图片,然后压缩整个文件夹。

Java中多线程下载图片并压缩能提高效率吗

这里只做4.5.得代码讲解描述,其它也没什么好说得,话不多说上代码.

实现思路

多线程实现使用了线程池,Jdk1.8并发包下的CompletableFuture

第一步:得到基础数值

// 线程数
        Integer threadNum = 10;
        // 每条线程需要处理的图片数  
        int dataNum = imageInfoVos.size() / threadNum;
        // 写入线程数
        List<Integer> threadS = new ArrayList<>();
        for(int i=0; i<threadNum; i++){
                threadS.add(i);
        }

首先我们保存了需要下载的图片的Url列表,多线程的方式下载我们需要保证每个线程下载的图片不会重复,因此我们需要根据规则来切割保存Url列表的集合,从而保证每个线程下载属于自己的任务,上代码:

// 接上文代码
 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{
                List<Image> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));
                        threadDownPic(theadItem,item,dirName);
            },threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{
                try {
                    item.get();
                }catch (Exception e){
                    log.error("============  多线程down执行等待异常 msg:{} =============", e.getMessage());
                }
    });

这里进行拆分讲解

使用CompletableFuture.runAsync 走异步方式,遍历item

如item=10,也就是线程数为10,则直接执行10次(有线程池的前提下)

// 使用CompletableFuture.runAsync 走异步方式,遍历item
 // 如item=10,也就是线程数为10,则直接执行10次(有线程池的前提下)
 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{

规则:根据item数值通过sublist 从开始到结束,截取对应线程所需要下载的Url列表

例:dataNum为每个线程需要完成的下载数如上文 dataNum为100时

如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100

(item+1)==threadNum?imageInfoVos.size() 此次是为了保证最后一个线程处理最后不足的图片

根据如上规则即可得到每个线程需要下载的图片Url保证不会重复

// 根据item数值通过sublist 从开始到结束,截取对应线程所需要下载的Url列表
   // 例:dataNum为每个线程需要完成的下载数如上文 dataNum为100时
   // 如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100
   // 根据如上规则即可得到每个线程需要下载的图片Url保证不会重复
   // (item+1)==threadNum?imageInfoVos.size() 此次是为了保证最后一个线程处理最后不足的图片
   List<ImageInfoVo> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));
   // theadItem:图片Url  item:所属下标  dirName:写入路径url
   threadDownPic(theadItem,item,dirName);

由于执行的异步方式,此处是为了线程池中所有线程都结束才能往下走,执行压缩文件步骤,这里提一嘴,如果没有手动赋予线程池,CompletableFuture默认使用ForkJoinPool.commonPool,会根据电脑核心数来指定,
比如:我本机未指定就是7个线程,执行方法时,会执行完前面7个线程任务,才会继续创建3个线程继续执行后续未完成的

},threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{
                try {
                    item.get();
                }catch (Exception e){
                    log.error("============  多线程down执行等待异常 msg:{} =============", e.getMessage());
                }
            });

实测

主要代码也写完了,这种方式真的能提高效率吗?下面我贴几张测试图来说明

Java中多线程下载图片并压缩能提高效率吗

其实这种方式并没有显著的提高效率,当然这是我本机环境测试的。

效率是由网速决定,而不是由本机Cpu和io决定,比如10M带宽,一个线程一个一个顺序下载,但速度是10M,10个线程,可能每个线程的速度是1M,结果没有什么两样。

相对于网速,多线程带来的cpu以及io节省的时间几乎可以忽略,瓶颈还是在网速.

到此这篇关于Java中多线程下载图片并压缩能提高效率吗的文章就介绍到这了,更多相关Java 多线程下载提高效率内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Java/Android 相关文章推荐
Jackson 反序列化时实现大小写不敏感设置
Jun 29 Java/Android
Java基础之this关键字的使用
Jun 30 Java/Android
java实现对Hadoop的操作
Jul 01 Java/Android
springboot+WebMagic+MyBatis爬虫框架的使用
Aug 07 Java/Android
Spring Security中用JWT退出登录时遇到的坑
Oct 16 Java/Android
Java tomcat手动配置servlet详解
Nov 27 Java/Android
Java设计模式之享元模式示例详解
Mar 03 Java/Android
Java 通过手写分布式雪花SnowFlake生成ID方法详解
Apr 07 Java/Android
Java 异步任务计算FutureTask
Apr 28 Java/Android
详解Android中的TimePickerView(时间选择器)的用法
Apr 30 Java/Android
java开发双人五子棋游戏
May 06 Java/Android
Spring boot admin 服务监控利器详解
Aug 05 Java/Android
分析ZooKeeper分布式锁的实现
Java并发编程必备之Future机制
详解Spring Boot使用系统参数表提升系统的灵活性
Jun 30 #Java/Android
浅谈resultMap的用法及关联结果集映射
Spring中bean的生命周期之getSingleton方法
每日六道java新手入门面试题,通往自由的道路
Jun 30 #Java/Android
mybatis 解决从列名到属性名的自动映射失败问题
Jun 30 #Java/Android
You might like
PHP脚本数据库功能详解(中)
2006/10/09 PHP
NOD32 v2.70.32 简体中文封装版 提供下载了
2007/02/27 PHP
PHP中__get()和__set()的用法实例详解
2013/06/04 PHP
php + nginx项目中的权限详解
2017/05/23 PHP
php实现的二叉树遍历算法示例
2017/06/15 PHP
jquery放大镜效果超漂亮噢
2013/11/15 Javascript
JSON相关知识汇总
2015/07/03 Javascript
jQuery基于ajax实现带动画效果无刷新柱状图投票代码
2015/08/10 Javascript
基于jQuery通过jQuery.form.js插件实现异步上传
2015/12/13 Javascript
Vue.js Ajax动态参数与列表显示实现方法
2016/10/20 Javascript
js实现砖头在页面拖拉效果
2020/11/20 Javascript
easyui导出excel无法弹出下载框的快速解决方法
2016/11/10 Javascript
Vuex2.0+Vue2.0构建备忘录应用实践
2016/11/30 Javascript
详解Angular 4.x Injector
2017/05/04 Javascript
VsCode新建VueJs项目的详细步骤
2017/09/23 Javascript
vue router 跳转后回到顶部的实例
2018/08/31 Javascript
微信小程序页面间传值与页面取值操作实例分析
2019/04/30 Javascript
微信小程序自定义组件传值 页面和组件相互传数据操作示例
2019/05/05 Javascript
[36:17]DOTA2上海特级锦标赛 - VGL音乐会全集
2016/03/06 DOTA
[47:18]完美世界DOTA2联赛循环赛 IO vs FTD BO2第一场 11.05
2020/11/06 DOTA
python创建一个最简单http webserver服务器的方法
2015/05/08 Python
Python学习小技巧之利用字典的默认行为
2017/05/20 Python
通过Python 接口使用OpenCV的方法
2018/04/02 Python
python获取代码运行时间的实例代码
2018/06/11 Python
Python 音频生成器的实现示例
2019/12/24 Python
python脚本和网页有何区别
2020/07/02 Python
Python3利用openpyxl读写Excel文件的方法实例
2021/02/03 Python
函数只定义了一次, 调用了一次, 但编译器提示非法重定义了-什么问题?
2014/10/03 面试题
大四学生毕业自荐信
2013/11/07 职场文书
抽样调查项目计划书
2014/04/24 职场文书
实验室的标语
2014/06/20 职场文书
公务员上班玩游戏检讨书
2014/09/17 职场文书
2014年护士个人工作总结
2014/11/11 职场文书
田径运动会广播稿
2015/08/19 职场文书
读《皮囊》有感:理解是对他人的最大的善举
2019/11/14 职场文书
vue3获取当前路由地址
2022/02/18 Vue.js