首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Java/Android

Netty结合Protobuf进行编解码的方法

Posted in Java/Android onJune 26, 2021

 

 一般在使用netty时，数据传输的时候都会选择对传输的数据进行编解码，编码后的数据变小， 有利于在有限的带宽下传输更多的数据。

由于java本身序列化的缺点较多（无法跨语言，序列化后的码流太大，序列化的性能太低等），业界主流的编解码框架主要有如下三个:

  1. Google的Protobuf
  2. Facebook的Thrift
  3. JBoss的Marshalling

今天我们简单介绍一下Netty结合google的Protobuf框架进行数据的编解码。

1. 什么是Protobuf？

Protobuf全称是Google Protocol Buffers, 它是谷歌公司开源的一个序列化框架。

它将数据结构以.proto文件进行描述，通过代码生成工具可以生成对应数据结构的POJO对象和Protobuf相关的方法和属性。

它的特点如下：

  1. 结构化数据存储格式
  2. 高效的编解码性能
  3. 语言无关、平台无关、扩展性好
  4. 官方支持多个语言（java，c++，python，c#等）

2. 下载安装

Protobuf已经托管在github上，可以在release页面下载，本案例使用的是v3.6（要下载后缀为-win32.zip的）。

下载后，将压缩包进行解压。这里主要用到bin目录下的protoc.exe。

3. 定义好proto文件

SubscribeReq.proto

// 区分不同的protobuf版本，必须有
syntax = "proto2";
 
package netty;
// 生成的目标类的包路径
option java_package = "cn.ddlover.nettystudy.protobuf";
// 生成的目标类的名字
option java_outer_classname = "SubscribeReqProto";
 
message SubscribeReq{
    required int32 subReqID = 1;
    required string userName = 2;
    required string productName = 3;
    repeated string address = 4;
}

SubscribeResp.proto

syntax = "proto2";
package netty;
 
option java_package = "cn.ddlover.nettystudy.protobuf";
option java_outer_classname = "SubscribeRespProto";
 
message SubscribeResp{
    required int32 subReqID = 1;
    required int32 respCode = 2;
    required string desc = 3;
}

此时项目结构如下

Netty结合Protobuf进行编解码的方法

重点关注一下两个proto文件的位置，是位于项目的根路径下

4. 分别执行以下命令

D:\xhb\protoc-3.6.1-win32\bin\protoc.exe --java_out=.\src\main\java SubscribeResp.proto 

D:\xhb\protoc-3.6.1-win32\bin\protoc.exe --java_out=.\src\main\java SubscribeReq.proto 

这里需要把protoc.exe的位置换成自己的， --java_out命令设置的是proto文件中java_package指令的父目录。

5. 此时项目结构如下

Netty结合Protobuf进行编解码的方法

下面开始代码方面的开发，

1. 先贴一波maven的配置

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
 
    <groupId>cn.ddlover</groupId>
    <artifactId>nettystudy</artifactId>
    <version>1.0-SNAPSHOT</version>
 
 
    <properties>
        <java.version>1.8</java.version>
    </properties>
 
    <dependencies>
        <!-- https://mvnrepository.com/artifact/io.netty/netty-all -->
        <dependency>
            <groupId>io.netty</groupId>
            <artifactId>netty-all</artifactId>
            <version>4.1.33.Final</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.google.protobuf/protobuf-java -->
        <dependency>
            <groupId>com.google.protobuf</groupId>
            <artifactId>protobuf-java</artifactId>
            <version>3.6.1</version>
        </dependency>
 
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.4</version>
        </dependency>
    </dependencies>
</project>

2. 这里贴上完整代码的项目结构

Netty结合Protobuf进行编解码的方法

3. SubReqServer.java

import cn.ddlover.nettystudy.handler.SubReqServerHandler;
import cn.ddlover.nettystudy.protobuf.SubscribeReqProto;
import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelOption;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;
import io.netty.handler.codec.protobuf.ProtobufDecoder;
import io.netty.handler.codec.protobuf.ProtobufEncoder;
import io.netty.handler.codec.protobuf.ProtobufVarint32FrameDecoder;
import io.netty.handler.codec.protobuf.ProtobufVarint32LengthFieldPrepender;
import io.netty.handler.logging.LogLevel;
import io.netty.handler.logging.LoggingHandler;
 
/**
 * Protobuf版本图书订购代码
 */
public class SubReqServer {
    private static final int PORT = 8080;
 
    public static void main(String[] args) {
        bind(PORT);
    }
 
    private static void bind(int port) {
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();
 
        ServerBootstrap b = new ServerBootstrap();
        try {
            b.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .option(ChannelOption.SO_BACKLOG, 100)
                    .handler(new LoggingHandler(LogLevel.INFO))
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel socketChannel) throws Exception {
                            // 半包处理
                            socketChannel.pipeline().addLast(new ProtobufVarint32FrameDecoder());
                            socketChannel.pipeline().addLast(new ProtobufDecoder(SubscribeReqProto.SubscribeReq.getDefaultInstance()));
                            socketChannel.pipeline().addLast(new ProtobufVarint32LengthFieldPrepender());
                            socketChannel.pipeline().addLast(new ProtobufEncoder());
                            socketChannel.pipeline().addLast(new SubReqServerHandler());
                        }
                    });
            ChannelFuture future = b.bind(port).sync();
            future.channel().closeFuture().sync();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

4. SubReqServerHandler.java

import cn.ddlover.nettystudy.protobuf.SubscribeReqProto;
import cn.ddlover.nettystudy.protobuf.SubscribeRespProto;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelInboundHandlerAdapter;
 
public class SubReqServerHandler extends ChannelInboundHandlerAdapter {
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        SubscribeReqProto.SubscribeReq req = (SubscribeReqProto.SubscribeReq)msg;
 
        if ("张三".equals(req.getUserName())) {
            System.out.println("Server accept clietn subscribe req : ["+req.toString()+"]");
            ctx.writeAndFlush(resp(req.getSubReqID()));
        }
    }
 
    private SubscribeRespProto.SubscribeResp resp(int subReqID) {
        SubscribeRespProto.SubscribeResp.Builder builder = SubscribeRespProto.SubscribeResp.newBuilder();
        builder.setSubReqID(subReqID);
        builder.setRespCode(0);
        builder.setDesc("netty书籍下单成功，3天后将会送到你的住处");
        return builder. build();
    }
 
    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

5. SubReqClient.java

import cn.ddlover.nettystudy.handler.SubReqClientHandler;
import cn.ddlover.nettystudy.protobuf.SubscribeRespProto;
import io.netty.bootstrap.Bootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelOption;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioSocketChannel;
import io.netty.handler.codec.protobuf.ProtobufDecoder;
import io.netty.handler.codec.protobuf.ProtobufEncoder;
import io.netty.handler.codec.protobuf.ProtobufVarint32FrameDecoder;
import io.netty.handler.codec.protobuf.ProtobufVarint32LengthFieldPrepender;
 
public class SubReqClient {
    private static final String HOST = "localhost";
    private static final int PORT = 8080;
 
    public static void main(String[] args) {
        connect(HOST, PORT);
    }
 
    private static void connect(String host, int port) {
        EventLoopGroup group = new NioEventLoopGroup();
 
        Bootstrap b = new Bootstrap();
        try {
            b.group(group).channel(NioSocketChannel.class)
                    .option(ChannelOption.TCP_NODELAY, true)
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel socketChannel) throws Exception {
 
                            // 半包处理
                            socketChannel.pipeline().addLast(new ProtobufVarint32FrameDecoder());
                            socketChannel.pipeline().addLast(new ProtobufDecoder(SubscribeRespProto.SubscribeResp.getDefaultInstance()));
                            socketChannel.pipeline().addLast(new ProtobufVarint32LengthFieldPrepender());
                            socketChannel.pipeline().addLast(new ProtobufEncoder());
                            socketChannel.pipeline().addLast(new SubReqClientHandler());
                        }
                    });
            ChannelFuture f = b.connect(host, port).sync();
            f.channel().closeFuture().sync();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }finally {
            group.shutdownGracefully();
        }
    }
}

6. SubReqClientHandler.java

import cn.ddlover.nettystudy.protobuf.SubscribeReqProto;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelInboundHandlerAdapter;
 
import java.util.ArrayList;
import java.util.List;
 
public class SubReqClientHandler extends ChannelInboundHandlerAdapter {
 
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        for (int i =0;i<10;i++) {
            ctx.write(subReq(i));
        }
        ctx.flush();
    }
 
    private SubscribeReqProto.SubscribeReq subReq(int i) {
        SubscribeReqProto.SubscribeReq.Builder builder = SubscribeReqProto.SubscribeReq.newBuilder();
        builder.setSubReqID(i);
        builder.setUserName("张三");
        builder.setProductName("Netty Book");
        List<String> address = new ArrayList<>();
        address.add("NanJing YuHuaTai");
        address.add("BeiJing LiuLiChang");
        address.add("ShenZhen HongShuLin");
        builder.addAllAddress(address);
        return builder.build();
    }
 
    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        System.out.println("Receive server response : ["+ msg +"]");
    }
 
 
    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

代码部分到此就结束了，然后分别运行SubReqServer和SubReqClient， 就可以发现运行成功了。

这里要注意的事，调用toString的时候，中文在控制台打印的是字节，而调用对应属性的getter方法的时候，是可以做中文的判断的，显然这里protobuf的toString没有被修改好呀。

当然，我们也可以发现，netty本身已经封装好了对谷歌的protobuf的支持。Netty还是很强大的。

到此这篇关于Netty结合Protobuf进行编解码的文章就介绍到这了,更多相关Netty结合Protobuf编解码内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木！

Netty结合Protobuf进行编解码的方法

- Author -

xiah_jp

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Java/Android 相关文章推荐
Springboot如何使用logback实现多环境配置?
Jun 16 Java/Android
启动Tomcat时出现大量乱码的解决方法
Jun 21 Java/Android
Spring boot应用启动后首次访问很慢的解决方案
Jun 23 Java/Android
如何给HttpServletRequest增加消息头
Jun 30 Java/Android
Spring Boot 整合 Apache Dubbo的示例代码
Jul 04 Java/Android
spring boot中nativeQuery的用法
Jul 26 Java/Android
Spring中的使用@Async异步调用方法
Nov 01 Java/Android
SpringCloud Feign请求头删除修改的操作代码
Mar 20 Java/Android
Spring Boot项目如何优雅实现Excel导入与导出功能
Jun 10 Java/Android
Java服务调用RestTemplate与HttpClient的使用详解
Jun 21 Java/Android
Android实现获取短信验证码并自动填充
May 21 Java/Android
Java常用工具类汇总 附示例代码
Java多条件判断场景中规则执行器的设计
Java基于字符界面的简易收银台
springboot集成flyway自动创表的详细配置
idea搭建可运行Servlet的Web项目
Java Dubbo框架知识点梳理
Java实现多线程聊天室
分块(1) IDEA(2) 循环(3) 嵌套(1) android studio(3) 二维数组(2) 查找算法(1) OpenLayer(1) 安卓(1) 移动开发(2)
You might like
通过源码解析Laravel的依赖注入
2018/01/22 PHP
Smarty模板配置实例简析
2019/07/20 PHP
广告切换效果(缓动切换)
2009/05/27 Javascript
UI Events 用户界面事件
2012/06/27 Javascript
Js获取数组最大和最小值示例代码
2013/10/29 Javascript
浅析JavaScript中的CSS属性及命名规范
2013/11/28 Javascript
js网页实时倒计时精确到秒级
2014/02/10 Javascript
给before和after伪元素设置js效果的方法
2015/12/04 Javascript
javascript跑马灯抽奖实例讲解
2020/04/17 Javascript
Easyui Treegrid改变默认图标的方法
2016/04/29 Javascript
Bootstrap的fileinput插件实现多文件上传的方法
2016/09/05 Javascript
js禁止浏览器的回退事件
2017/04/20 Javascript
基于require.js的使用(实例讲解)
2017/09/07 Javascript
vue路由嵌套的SPA实现步骤
2017/11/06 Javascript
从零开始搭建webpack+react开发环境的详细步骤
2018/05/18 Javascript
在angularJs中进行数据遍历的2种方法
2018/10/08 Javascript
JS中注入eval, Function等系统函数截获动态代码
2019/04/03 Javascript
微信小程序自定义tabBar的踩坑实践记录
2020/11/06 Javascript
[07:38]2014DOTA2国际邀请赛 Newbee顺利挺进胜者组赛后专访
2014/07/15 DOTA
python通过openpyxl生成Excel文件的方法
2015/05/12 Python
flask中的wtforms使用方法
2018/07/21 Python
TensorFlow Session使用的两种方法小结
2018/07/30 Python
Python打包方法Pyinstaller的使用
2018/10/09 Python
python 顺时针打印矩阵的超简洁代码
2018/11/14 Python
PyQT实现菜单中的复制,全选和清空的功能的方法
2019/06/17 Python
python tkinter基本属性详解
2019/09/16 Python
python PIL/cv2/base64相互转换实例
2020/01/09 Python
django的模型类管理器——数据库操作的封装详解
2020/04/01 Python
Python API 操作Hadoop hdfs详解
2020/06/06 Python
智利最大的网上商店：Linio智利
2016/11/24 全球购物
佛罗里达州印第安河新鲜水果：Hale Groves
2017/02/20 全球购物
法拉利英国精品店：Ferraris Boutique UK
2019/07/20 全球购物
Nayomi官网：沙特阿拉伯王国睡衣和内衣品牌
2020/12/19 全球购物
经典c++面试题三
2015/07/08 面试题
2016年度师德标兵先进事迹材料
2016/02/26 职场文书
Python爬虫之爬取哔哩哔哩热门视频排行榜
2021/04/28 Python