首页
所有分类
TAGS
文字工具 EMOJI BIBLE
数据库 Redis

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

Posted in Redis onFebruary 12, 2022

前言

最近在做阅读类的业务，需要记录用户的PV，UV；

项目状况：前期尝试业务阶段；

特点：

快速实现（不需要做太重，满足初期推广运营即可）快速投入市场去运营

收集用户的原始数据，三要素：

谁在什么时间阅读哪篇文章

提到PV，UV脑海中首先浮现特点：

需要考虑性能（每个客户每打开一篇文章进行记录）允许数据有较小误差（少部分数据丢失）

架构设计

架构图：

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

时序图

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

记录基础数据MySQL表结构

CREATE TABLE `zh_article_count` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `bu_no` varchar(32) DEFAULT NULL COMMENT '业务编码',
  `customer_id` varchar(32) DEFAULT NULL COMMENT '用户编码',
  `type` int(2) DEFAULT '0' COMMENT '统计类型:0APP内文章阅读',
  `article_no` varchar(32) DEFAULT NULL COMMENT '文章编码',
  `read_time` datetime DEFAULT NULL COMMENT '阅读时间',
  `create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `update_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '更新时间',
  `param1` int(2) DEFAULT NULL COMMENT '预留字段1',
  `param2` int(4) DEFAULT NULL COMMENT '预留字段2',
  `param3` int(11) DEFAULT NULL COMMENT '预留字段3',
  `param4` varchar(20) DEFAULT NULL COMMENT '预留字段4',
  `param5` varchar(32) DEFAULT NULL COMMENT '预留字段5',
  `param6` varchar(64) DEFAULT NULL COMMENT '预留字段6',
  PRIMARY KEY (`id`) USING BTREE,
  UNIQUE KEY `uk_zh_article_count_buno` (`bu_no`),
  KEY `key_zh_article_count_csign` (`customer_id`),
  KEY `key_zh_article_count_ano` (`article_no`),
  KEY `key_zh_article_count_rtime` (`read_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='文章阅读统计表';

技术实现方案

SpringBoot

Redis

MySQL

代码实现

完整代码（GitHub，欢迎大家Star,Fork,Watch)

https://github.com/dangnianchuntian/springboot

主要代码展示

Controller

/*
 * Copyright (c) 2020. zhanghan_java@163.com All Rights Reserved.
 * 项目名称：Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库
 * 类名称：ArticleCountController.java
 * 创建人：张晗
 * 联系方式：zhanghan_java@163.com
 * 开源地址: https://github.com/dangnianchuntian/springboot
 * 博客地址: https://zhanghan.blog.csdn.net
 */

package com.zhanghan.zhredistodb.controller;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.validation.annotation.Validated;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RestController;
import com.zhanghan.zhredistodb.controller.request.PostArticleViewsRequest;
import com.zhanghan.zhredistodb.service.ArticleCountService;
@RestController
public class ArticleCountController {
    @Autowired
    private ArticleCountService articleCountService;
   /**
    * 记录用户访问记录
    */
    @RequestMapping(value = "/post/article/views", method = RequestMethod.POST)
    public Object postArticleViews(@RequestBody @Validated PostArticleViewsRequest postArticleViewsRequest) {
        return articleCountService.postArticleViews(postArticleViewsRequest);
    }
    /**
     *  批量将缓存中的数据同步到MySQL（模拟定时任务操作）
     */
    @RequestMapping(value = "/post/batch", method = RequestMethod.POST)
    public Object postBatch() {
        return articleCountService.postBatchRedisToDb();
}

Service

/*
 * Copyright (c) 2020. zhanghan_java@163.com All Rights Reserved.
 * 项目名称：Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库
 * 类名称：ArticleCountServiceImpl.java
 * 创建人：张晗
 * 联系方式：zhanghan_java@163.com
 * 开源地址: https://github.com/dangnianchuntian/springboot
 * 博客地址: https://zhanghan.blog.csdn.net
 */

package com.zhanghan.zhredistodb.service.impl;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.stream.Collectors;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Service;
import org.springframework.util.CollectionUtils;
import com.alibaba.fastjson.JSON;
import com.zhanghan.zhredistodb.controller.request.PostArticleViewsRequest;
import com.zhanghan.zhredistodb.dto.ArticleCountDto;
import com.zhanghan.zhredistodb.mybatis.mapper.XArticleCountMapper;
import com.zhanghan.zhredistodb.service.ArticleCountService;
import com.zhanghan.zhredistodb.util.wrapper.WrapMapper;
import cn.hutool.core.util.IdUtil;
@Service
public class ArticleCountServiceImpl implements ArticleCountService {
    private static Logger logger = LoggerFactory.getLogger(ArticleCountServiceImpl.class);
    @Autowired
    private RedisTemplate<String, String> strRedisTemplate;
    private XArticleCountMapper xArticleCountMapper;
    @Value("${zh.article.count.redis.key:zh}")
    private String zhArticleCountRedisKey;
    @Value("#{T(java.lang.Integer).parseInt('${zh..article.read.num:3}')}")
    private Integer articleReadNum;
    /**
     * 记录用户访问记录
     */
    @Override
    public Object postArticleViews(PostArticleViewsRequest postArticleViewsRequest) {
        ArticleCountDto articleCountDto = new ArticleCountDto();
        articleCountDto.setBuNo(IdUtil.simpleUUID());
        articleCountDto.setCustomerId(postArticleViewsRequest.getCustomerId());
        articleCountDto.setArticleNo(postArticleViewsRequest.getArticleNo());
        articleCountDto.setReadTime(new Date());
        String strArticleCountDto = JSON.toJSONString(articleCountDto);
        strRedisTemplate.opsForList().rightPush(zhArticleCountRedisKey, strArticleCountDto);
        return WrapMapper.ok();
    }
     * 批量将缓存中的数据同步到MySQL
    public Object postBatchRedisToDb() {
        Date now = new Date();
        while (true) {
            List<String> strArticleCountList =
                    strRedisTemplate.opsForList().range(zhArticleCountRedisKey, 0, articleReadNum);
            if (CollectionUtils.isEmpty(strArticleCountList)) {
                return WrapMapper.ok();
            }
            List<ArticleCountDto> articleCountDtoList = new ArrayList<>();
            strArticleCountList.stream().forEach(x -> {
                ArticleCountDto articleCountDto = JSON.parseObject(x, ArticleCountDto.class);
                articleCountDtoList.add(articleCountDto);
            });
            //过滤出本次定时任务之前的缓存中数据,防止死循环
            List<ArticleCountDto> beforeArticleCountDtoList = articleCountDtoList.stream().filter(x -> x.getReadTime()
                    .before(now)).collect(Collectors.toList());
            if (CollectionUtils.isEmpty(beforeArticleCountDtoList)) {
            xArticleCountMapper.batchAdd(beforeArticleCountDtoList);
            Integer delSize = beforeArticleCountDtoList.size();
            strRedisTemplate.opsForList().trim(zhArticleCountRedisKey, delSize, -1L);
        }
}

测试

模拟用户请求访问后台（多次请求）

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

查看缓存中访问数据

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

模拟定时任务将缓存中数据同步到DB中

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

这时查看缓存中的数据已经没了

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

查看数据库表结构

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

总结

  • 项目中定时任务
  • 问演示方便用http代替定时任务调度；实际项目中用XXL-job
  • 定时任务项目中用redis锁防止并发（定时任务调度端多次调度等)
  • 后期运营数据可以从阅读记录表中拉数据进行相关分析
  • 访问量大：可以将MySQL中的阅读记录表定时迁移走（MySQL建历史表，MongoDB等）

到此这篇关于Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库的文章就介绍到这了,更多相关Spring Boot高并发数据入库内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木！

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

- Author -

当年的春天

- Original Sources -

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Redis 相关文章推荐
redis限流的实际应用
Apr 24 Redis
基于Redis过期事件实现订单超时取消
May 08 Redis
基于Redis延迟队列的实现代码
May 13 Redis
redis不能访问本机真实ip地址的解决方案
Jul 07 Redis
Redis中一个String类型引发的惨案
Jul 25 Redis
使用redis实现延迟通知功能(Redis过期键通知)
Sep 04 Redis
Redis的字符串是如何实现的
Oct 24 Redis
Redis高并发防止秒杀超卖实战源码解决方案
Nov 01 Redis
Redis高可用集群redis-cluster详解
Mar 20 Redis
redis数据结构之压缩列表
Mar 21 Redis
使用Redis做预定库存缓存功能
Apr 02 Redis
关于Redis的主从复制及哨兵问题
Jun 16 Redis
基于Redis zSet实现滑动窗口对短信进行防刷限流的问题
Feb 12 #Redis
聊聊redis-dump工具安装问题
Jan 18 #Redis
redis的list数据类型相关命令介绍及使用
Jan 18 #Redis
关于使用Redisson订阅数问题
Jan 18 #Redis
Redis中缓存穿透/击穿/雪崩问题和解决方法
linux下安装redis图文详细步骤
Springboot/Springcloud项目集成redis进行存取的过程解析
德生(17) 1 Tube Radio(1) YB235(1) PL-365(1) TECSUN(1) 东方红(1) 再生机(1) YB400(2) 海燕B411(1) YB217(1)
You might like
PHP中在数据库中保存Checkbox数据(2)
2006/10/09 PHP
PHP5中Cookie与 Session使用详解
2013/04/30 PHP
推荐十款免费 WordPress 插件
2015/03/24 PHP
js实现图片拖动改变顺序附图
2014/05/13 Javascript
js获取元素外链样式的方法
2015/01/27 Javascript
jQuery Validation Plugin验证插件手动验证
2016/01/26 Javascript
JS模仿手机端九宫格登录功能实现代码
2016/04/28 Javascript
JavaScript计算值然后把值嵌入到html中的实现方法
2016/10/29 Javascript
基于jquery实现多级菜单效果
2017/07/25 jQuery
javascript input输入框模糊提示功能的实现
2017/09/25 Javascript
react redux入门示例
2018/04/19 Javascript
layui获取多选框中的值方法
2018/08/15 Javascript
详解JavaScript的内存空间、赋值和深浅拷贝
2019/04/17 Javascript
了解JavaScript函数中的默认参数
2019/05/30 Javascript
vue quill editor 使用富文本添加上传音频功能
2020/01/14 Javascript
js的Object.assign用法示例分析
2020/03/05 Javascript
JavaScript的一些小技巧分享
2021/01/06 Javascript
python使用numpy读取、保存txt数据的实例
2018/10/14 Python
python调用opencv实现猫脸检测功能
2019/01/15 Python
Python学习笔记之Zip和Enumerate用法实例分析
2019/08/14 Python
python-序列解包(对可迭代元素的快速取值方法)
2019/08/24 Python
Python ArgumentParse的subparser用法说明
2020/04/20 Python
python 3.8.3 安装配置图文教程
2020/05/21 Python
基于python tkinter的点名小程序功能的实例代码
2020/08/22 Python
python3.7 openpyxl 在excel单元格中写入数据实例
2020/09/01 Python
CSS3动画之利用requestAnimationFrame触发重新播放功能
2019/09/11 HTML / CSS
阿迪达斯中国官网：Adidas中国
2020/12/14 全球购物
学校党员对照检查材料
2014/08/28 职场文书
社区助残日活动总结
2014/08/29 职场文书
2014年机关后勤工作总结
2014/12/16 职场文书
反邪教警示教育活动总结
2015/05/09 职场文书
党员读书活动心得体会
2016/01/14 职场文书
分享：关于学习的励志名言赏析
2019/08/16 职场文书
古诗之感恩老师
2019/10/24 职场文书
一文搞懂MySQL索引页结构
2022/02/28 MySQL
使用Nginx+Tomcat实现负载均衡的全过程
2022/05/30 Servers