Java中多线程下载图片并压缩能提高效率吗


Posted in Java/Android onJuly 01, 2021
目录
  • 前言
  • 实现思路
  • 实测

前言

需求 导出Excel:本身以为是一个简单得导出,但是每行得记录文件中有一列为图片url,需要下载所有记录行对应得图片,然后压缩整个文件夹。

Java中多线程下载图片并压缩能提高效率吗

这里只做4.5.得代码讲解描述,其它也没什么好说得,话不多说上代码.

实现思路

多线程实现使用了线程池,Jdk1.8并发包下的CompletableFuture

第一步:得到基础数值

// 线程数
        Integer threadNum = 10;
        // 每条线程需要处理的图片数  
        int dataNum = imageInfoVos.size() / threadNum;
        // 写入线程数
        List<Integer> threadS = new ArrayList<>();
        for(int i=0; i<threadNum; i++){
                threadS.add(i);
        }

首先我们保存了需要下载的图片的Url列表,多线程的方式下载我们需要保证每个线程下载的图片不会重复,因此我们需要根据规则来切割保存Url列表的集合,从而保证每个线程下载属于自己的任务,上代码:

// 接上文代码
 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{
                List<Image> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));
                        threadDownPic(theadItem,item,dirName);
            },threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{
                try {
                    item.get();
                }catch (Exception e){
                    log.error("============  多线程down执行等待异常 msg:{} =============", e.getMessage());
                }
    });

这里进行拆分讲解

使用CompletableFuture.runAsync 走异步方式,遍历item

如item=10,也就是线程数为10,则直接执行10次(有线程池的前提下)

// 使用CompletableFuture.runAsync 走异步方式,遍历item
 // 如item=10,也就是线程数为10,则直接执行10次(有线程池的前提下)
 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{

规则:根据item数值通过sublist 从开始到结束,截取对应线程所需要下载的Url列表

例:dataNum为每个线程需要完成的下载数如上文 dataNum为100时

如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100

(item+1)==threadNum?imageInfoVos.size() 此次是为了保证最后一个线程处理最后不足的图片

根据如上规则即可得到每个线程需要下载的图片Url保证不会重复

// 根据item数值通过sublist 从开始到结束,截取对应线程所需要下载的Url列表
   // 例:dataNum为每个线程需要完成的下载数如上文 dataNum为100时
   // 如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100
   // 根据如上规则即可得到每个线程需要下载的图片Url保证不会重复
   // (item+1)==threadNum?imageInfoVos.size() 此次是为了保证最后一个线程处理最后不足的图片
   List<ImageInfoVo> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));
   // theadItem:图片Url  item:所属下标  dirName:写入路径url
   threadDownPic(theadItem,item,dirName);

由于执行的异步方式,此处是为了线程池中所有线程都结束才能往下走,执行压缩文件步骤,这里提一嘴,如果没有手动赋予线程池,CompletableFuture默认使用ForkJoinPool.commonPool,会根据电脑核心数来指定,
比如:我本机未指定就是7个线程,执行方法时,会执行完前面7个线程任务,才会继续创建3个线程继续执行后续未完成的

},threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{
                try {
                    item.get();
                }catch (Exception e){
                    log.error("============  多线程down执行等待异常 msg:{} =============", e.getMessage());
                }
            });

实测

主要代码也写完了,这种方式真的能提高效率吗?下面我贴几张测试图来说明

Java中多线程下载图片并压缩能提高效率吗

其实这种方式并没有显著的提高效率,当然这是我本机环境测试的。

效率是由网速决定,而不是由本机Cpu和io决定,比如10M带宽,一个线程一个一个顺序下载,但速度是10M,10个线程,可能每个线程的速度是1M,结果没有什么两样。

相对于网速,多线程带来的cpu以及io节省的时间几乎可以忽略,瓶颈还是在网速.

到此这篇关于Java中多线程下载图片并压缩能提高效率吗的文章就介绍到这了,更多相关Java 多线程下载提高效率内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Java/Android 相关文章推荐
浅谈什么是SpringBoot异常处理自动配置的原理
Jun 21 Java/Android
解决ObjectMapper.convertValue() 遇到的一些问题
Jun 30 Java/Android
Java Kafka 消费积压监控的示例代码
Jul 01 Java/Android
java固定大小队列的几种实现方式详解
Jul 15 Java/Android
使用Spring处理x-www-form-urlencoded方式
Nov 02 Java/Android
零基础学java之方法的定义与调用详解
Apr 10 Java/Android
Java版 单机五子棋
May 04 Java/Android
springboot读取resources下文件的方式详解
Jun 21 Java/Android
Android实现图片九宫格
Jun 28 Java/Android
向Spring IOC 容器动态注册bean实现方式
Jul 15 Java/Android
Java实现超大Excel文件解析(XSSF,SXSSF,easyExcel)
Jul 15 Java/Android
java获取一个文本文件的编码(格式)信息
Sep 23 Java/Android
分析ZooKeeper分布式锁的实现
Java并发编程必备之Future机制
详解Spring Boot使用系统参数表提升系统的灵活性
Jun 30 #Java/Android
浅谈resultMap的用法及关联结果集映射
Spring中bean的生命周期之getSingleton方法
每日六道java新手入门面试题,通往自由的道路
Jun 30 #Java/Android
mybatis 解决从列名到属性名的自动映射失败问题
Jun 30 #Java/Android
You might like
最贵的咖啡是怎么产生的,它的风味怎么样?
2021/03/04 新手入门
php 日期和时间的处理-郑阿奇(续)
2011/07/04 PHP
php获取本周星期一具体日期的方法
2015/04/20 PHP
PHP实现的策略模式简单示例
2017/08/25 PHP
JavaScript 参考教程
2006/12/29 Javascript
Javascript 类与静态类的实现
2010/04/01 Javascript
javascript中注册和移除事件的4种方式
2013/03/20 Javascript
ECMAScript 6即将带给我们新的数组操作方法前瞻
2015/01/06 Javascript
js实现添加可信站点、修改activex安全设置,禁用弹出窗口阻止程序
2016/08/17 Javascript
浅谈Vue.js 1.x 和 2.x 实例的生命周期
2017/07/25 Javascript
jQuery中过滤器的基本用法示例
2017/10/11 jQuery
jQuery实现的鼠标拖动画矩形框示例【可兼容IE8】
2019/05/17 jQuery
vue项目中openlayers绘制行政区划
2020/12/24 Vue.js
[58:59]完美世界DOTA2联赛PWL S3 access vs CPG 第一场 12.13
2020/12/16 DOTA
[01:03:50]DOTA2-DPC中国联赛 正赛 CDEC vs DLG BO3 第二场 2月7日
2021/03/11 DOTA
深入剖析Python的爬虫框架Scrapy的结构与运作流程
2016/01/20 Python
Python使用正则表达式抓取网页图片的方法示例
2017/04/21 Python
python bottle框架支持jquery ajax的RESTful风格的PUT和DELETE方法
2017/05/24 Python
利用python库在局域网内传输文件的方法
2018/06/04 Python
python django中8000端口被占用的解决
2019/12/17 Python
Pytorch之卷积层的使用详解
2019/12/31 Python
Python统计学一数据的概括性度量详解
2020/03/03 Python
把Anaconda中的环境导入到Pycharm里面的方法步骤
2020/10/30 Python
python 发送邮件的四种方法汇总
2020/12/02 Python
利于python脚本编写可视化nmap和masscan的方法
2020/12/29 Python
安装不同版本的tensorflow与models方法实现
2021/02/20 Python
日本著名化妆品零售网站:Cosme Land
2019/03/01 全球购物
PHP解析URL是哪个函数?怎么用?
2013/05/09 面试题
电厂厂长岗位职责
2014/01/02 职场文书
酒店个人求职信范文
2014/01/25 职场文书
会计自荐信范文
2014/03/09 职场文书
四下基层实施方案
2014/03/28 职场文书
工商行政管理专业求职书
2014/05/23 职场文书
网球场地租赁协议范本
2014/10/07 职场文书
投资入股协议书
2016/03/22 职场文书
用 Python 元类的特性实现 ORM 框架
2021/05/19 Python