首页
所有分类
TAGS
文字工具 EMOJI BIBLE
数据库 Redis

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

Posted in Redis onFebruary 12, 2022

前言

最近在做阅读类的业务，需要记录用户的PV，UV；

项目状况：前期尝试业务阶段；

特点：

快速实现（不需要做太重，满足初期推广运营即可）快速投入市场去运营

收集用户的原始数据，三要素：

谁在什么时间阅读哪篇文章

提到PV，UV脑海中首先浮现特点：

需要考虑性能（每个客户每打开一篇文章进行记录）允许数据有较小误差（少部分数据丢失）

架构设计

架构图：

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

时序图

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

记录基础数据MySQL表结构

CREATE TABLE `zh_article_count` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `bu_no` varchar(32) DEFAULT NULL COMMENT '业务编码',
  `customer_id` varchar(32) DEFAULT NULL COMMENT '用户编码',
  `type` int(2) DEFAULT '0' COMMENT '统计类型:0APP内文章阅读',
  `article_no` varchar(32) DEFAULT NULL COMMENT '文章编码',
  `read_time` datetime DEFAULT NULL COMMENT '阅读时间',
  `create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `update_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '更新时间',
  `param1` int(2) DEFAULT NULL COMMENT '预留字段1',
  `param2` int(4) DEFAULT NULL COMMENT '预留字段2',
  `param3` int(11) DEFAULT NULL COMMENT '预留字段3',
  `param4` varchar(20) DEFAULT NULL COMMENT '预留字段4',
  `param5` varchar(32) DEFAULT NULL COMMENT '预留字段5',
  `param6` varchar(64) DEFAULT NULL COMMENT '预留字段6',
  PRIMARY KEY (`id`) USING BTREE,
  UNIQUE KEY `uk_zh_article_count_buno` (`bu_no`),
  KEY `key_zh_article_count_csign` (`customer_id`),
  KEY `key_zh_article_count_ano` (`article_no`),
  KEY `key_zh_article_count_rtime` (`read_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='文章阅读统计表';

技术实现方案

SpringBoot

Redis

MySQL

代码实现

完整代码（GitHub，欢迎大家Star,Fork,Watch)

https://github.com/dangnianchuntian/springboot

主要代码展示

Controller

/*
 * Copyright (c) 2020. zhanghan_java@163.com All Rights Reserved.
 * 项目名称：Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库
 * 类名称：ArticleCountController.java
 * 创建人：张晗
 * 联系方式：zhanghan_java@163.com
 * 开源地址: https://github.com/dangnianchuntian/springboot
 * 博客地址: https://zhanghan.blog.csdn.net
 */

package com.zhanghan.zhredistodb.controller;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.validation.annotation.Validated;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RestController;
import com.zhanghan.zhredistodb.controller.request.PostArticleViewsRequest;
import com.zhanghan.zhredistodb.service.ArticleCountService;
@RestController
public class ArticleCountController {
    @Autowired
    private ArticleCountService articleCountService;
   /**
    * 记录用户访问记录
    */
    @RequestMapping(value = "/post/article/views", method = RequestMethod.POST)
    public Object postArticleViews(@RequestBody @Validated PostArticleViewsRequest postArticleViewsRequest) {
        return articleCountService.postArticleViews(postArticleViewsRequest);
    }
    /**
     *  批量将缓存中的数据同步到MySQL（模拟定时任务操作）
     */
    @RequestMapping(value = "/post/batch", method = RequestMethod.POST)
    public Object postBatch() {
        return articleCountService.postBatchRedisToDb();
}

Service

/*
 * Copyright (c) 2020. zhanghan_java@163.com All Rights Reserved.
 * 项目名称：Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库
 * 类名称：ArticleCountServiceImpl.java
 * 创建人：张晗
 * 联系方式：zhanghan_java@163.com
 * 开源地址: https://github.com/dangnianchuntian/springboot
 * 博客地址: https://zhanghan.blog.csdn.net
 */

package com.zhanghan.zhredistodb.service.impl;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.stream.Collectors;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Service;
import org.springframework.util.CollectionUtils;
import com.alibaba.fastjson.JSON;
import com.zhanghan.zhredistodb.controller.request.PostArticleViewsRequest;
import com.zhanghan.zhredistodb.dto.ArticleCountDto;
import com.zhanghan.zhredistodb.mybatis.mapper.XArticleCountMapper;
import com.zhanghan.zhredistodb.service.ArticleCountService;
import com.zhanghan.zhredistodb.util.wrapper.WrapMapper;
import cn.hutool.core.util.IdUtil;
@Service
public class ArticleCountServiceImpl implements ArticleCountService {
    private static Logger logger = LoggerFactory.getLogger(ArticleCountServiceImpl.class);
    @Autowired
    private RedisTemplate<String, String> strRedisTemplate;
    private XArticleCountMapper xArticleCountMapper;
    @Value("${zh.article.count.redis.key:zh}")
    private String zhArticleCountRedisKey;
    @Value("#{T(java.lang.Integer).parseInt('${zh..article.read.num:3}')}")
    private Integer articleReadNum;
    /**
     * 记录用户访问记录
     */
    @Override
    public Object postArticleViews(PostArticleViewsRequest postArticleViewsRequest) {
        ArticleCountDto articleCountDto = new ArticleCountDto();
        articleCountDto.setBuNo(IdUtil.simpleUUID());
        articleCountDto.setCustomerId(postArticleViewsRequest.getCustomerId());
        articleCountDto.setArticleNo(postArticleViewsRequest.getArticleNo());
        articleCountDto.setReadTime(new Date());
        String strArticleCountDto = JSON.toJSONString(articleCountDto);
        strRedisTemplate.opsForList().rightPush(zhArticleCountRedisKey, strArticleCountDto);
        return WrapMapper.ok();
    }
     * 批量将缓存中的数据同步到MySQL
    public Object postBatchRedisToDb() {
        Date now = new Date();
        while (true) {
            List<String> strArticleCountList =
                    strRedisTemplate.opsForList().range(zhArticleCountRedisKey, 0, articleReadNum);
            if (CollectionUtils.isEmpty(strArticleCountList)) {
                return WrapMapper.ok();
            }
            List<ArticleCountDto> articleCountDtoList = new ArrayList<>();
            strArticleCountList.stream().forEach(x -> {
                ArticleCountDto articleCountDto = JSON.parseObject(x, ArticleCountDto.class);
                articleCountDtoList.add(articleCountDto);
            });
            //过滤出本次定时任务之前的缓存中数据,防止死循环
            List<ArticleCountDto> beforeArticleCountDtoList = articleCountDtoList.stream().filter(x -> x.getReadTime()
                    .before(now)).collect(Collectors.toList());
            if (CollectionUtils.isEmpty(beforeArticleCountDtoList)) {
            xArticleCountMapper.batchAdd(beforeArticleCountDtoList);
            Integer delSize = beforeArticleCountDtoList.size();
            strRedisTemplate.opsForList().trim(zhArticleCountRedisKey, delSize, -1L);
        }
}

测试

模拟用户请求访问后台（多次请求）

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

查看缓存中访问数据

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

模拟定时任务将缓存中数据同步到DB中

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

这时查看缓存中的数据已经没了

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

查看数据库表结构

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

总结

  • 项目中定时任务
  • 问演示方便用http代替定时任务调度；实际项目中用XXL-job
  • 定时任务项目中用redis锁防止并发（定时任务调度端多次调度等)
  • 后期运营数据可以从阅读记录表中拉数据进行相关分析
  • 访问量大：可以将MySQL中的阅读记录表定时迁移走（MySQL建历史表，MongoDB等）

到此这篇关于Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库的文章就介绍到这了,更多相关Spring Boot高并发数据入库内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木！

Spring Boot实战解决高并发数据入库之 Redis 缓存+MySQL 批量入库问题

- Author -

当年的春天

- Original Sources -

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Redis 相关文章推荐
解决redis sentinel 频繁主备切换的问题
Apr 12 Redis
详解Redis实现限流的三种方式
Apr 27 Redis
Redis实现订单自动过期功能的示例代码
May 08 Redis
基于Redis延迟队列的实现代码
May 13 Redis
Django使用redis配置缓存的方法
Jun 01 Redis
redis中lua脚本使用教程
Nov 01 Redis
Redis模仿手机验证码发送的实现示例
Nov 02 Redis
linux下安装redis图文详细步骤
Dec 04 Redis
sentinel支持的redis高可用集群配置详解
Apr 01 Redis
redis 解决库存并发问题实现数量控制
Apr 08 Redis
Redis特殊数据类型HyperLogLog基数统计算法讲解
Jun 01 Redis
Redis sentinel哨兵集群的实现步骤
Jul 15 Redis
基于Redis zSet实现滑动窗口对短信进行防刷限流的问题
Feb 12 #Redis
聊聊redis-dump工具安装问题
Jan 18 #Redis
redis的list数据类型相关命令介绍及使用
Jan 18 #Redis
关于使用Redisson订阅数问题
Jan 18 #Redis
Redis中缓存穿透/击穿/雪崩问题和解决方法
linux下安装redis图文详细步骤
Springboot/Springcloud项目集成redis进行存取的过程解析
scss(1) TimePickerView(1) 事件调度器(1) sched(1) 项目打包(2) watch(1) Yolov5(1) vue-router-link(1) vue-cli3.x(1) 监听(2)
You might like
发一个php简单的伪原创程序，配合商城采集用的
2010/10/12 PHP
PHP用strstr()函数阻止垃圾评论(通过判断a标记)
2013/09/28 PHP
PHP中is_file()函数使用指南
2015/05/08 PHP
yum命令安装php7和相关扩展
2016/07/04 PHP
Laravel jwt 多表（多用户端）验证隔离的实现
2019/12/18 PHP
可输入的下拉框
2006/06/19 Javascript
jQuery Ajax之$.get()方法和$.post()方法
2009/10/12 Javascript
深入理解JavaScript系列（14） 作用域链介绍(Scope Chain)
2012/04/12 Javascript
html+js实现动态显示本地时间
2013/09/21 Javascript
javaScript实现浮点数转十六进制字符
2013/10/29 Javascript
jQuery取得select选择的文本与值的示例
2013/12/09 Javascript
Nodejs为什么选择javascript为载体语言
2015/01/13 NodeJs
BootStrap3学习笔记(一)之网格系统
2016/05/20 Javascript
基于Javascript倒计时效果
2016/12/22 Javascript
微信小程序引用公共js里的方法的实例详解
2017/08/17 Javascript
老生常谈javascript的面向对象思想
2017/08/22 Javascript
在LayUI图片上传中,解决由跨域问题引起的请求接口错误的方法
2019/09/24 Javascript
JavaScript 防盗链的原理以及破解方法
2020/12/29 Javascript
Python中变量交换的例子
2014/08/25 Python
python基础教程之常用运算符
2014/08/29 Python
Python open()文件处理使用介绍
2014/11/30 Python
Python脚本实现下载合并SAE日志
2015/02/10 Python
Python实现计算文件夹下.h和.cpp文件的总行数
2015/04/23 Python
Python函数返回值实例分析
2015/06/08 Python
K-means聚类算法介绍与利用python实现的代码示例
2017/11/13 Python
python字典快速保存于读取的方法
2018/03/23 Python
Python小游戏之300行代码实现俄罗斯方块
2019/01/04 Python
python搜索包的路径的实现方法
2019/07/19 Python
python Manager 之dict KeyError问题的解决
2019/12/21 Python
Keras 切换后端方式(Theano和TensorFlow)
2020/06/19 Python
信息管理专业推荐信
2013/10/29 职场文书
年级组长自我鉴定
2014/02/22 职场文书
学生个人自我鉴定范文
2014/03/28 职场文书
护林防火标语
2014/06/27 职场文书
党员教师批评与自我批评发言稿
2014/10/15 职场文书
html输入两个数实现加减乘除功能
2021/07/01 HTML / CSS