python如何通过protobuf实现rpc


Posted in Python onMarch 06, 2016

由于项目组现在用的rpc是基于google protobuf rpc协议实现的,所以花了点时间了解下protobuf rpc。rpc对于做分布式系统的人来说肯定不陌生,对于rpc不了解的童鞋可以自行google,这里只是做个简单的介绍。rpc的主要功能是让分布式系统的实现更为简单,为提供强大的远程调用而不损失本地调用语义的简洁性。为了实现这个目标,rpc框架需要提供一种透明调用机制让使用者不必显示区分本地调用还是远程调用。rpc架构涉及的组件如下:

python如何通过protobuf实现rpc

客户方像调用本地方法一样去调用远程接口方法,RPC 框架提供接口的代理实现,实际的调用将委托给代理RpcProxy 。代理封装调用信息并将调用转交给RpcInvoker 去实际执行。在客户端的RpcInvoker 通过连接器RpcConnector 去维持与服务端的通道RpcChannel,并使用RpcProtocol 执行协议编码(encode)并将编码后的请求消息通过通道发送给服务方。RPC 服务端接收器 RpcAcceptor 接收客户端的调用请求,同样使用RpcProtocol 执行协议解码(decode)。解码后的调用信息传递给RpcProcessor 去控制处理调用过程,最后再委托调用给RpcInvoker 去实际执行并返回调用结果。

protobuf rpc在上面组件中主要扮演RpcProtocol的角色,使得我们省去了协议的设计,并且protobuf协议在编码和空间效率都是上非常高效的,这也是很多公司采用protobuf作为数据序列化和通信协议的原因。同时protobuf rpc定义了一个抽象的rpc框架,如下图所示:

python如何通过protobuf实现rpc

RpcServiceStub和RpcService类是protobuf编译器根据proto定义生成的类,RpcService定义了服务端暴露给客户端的函数接口,具体实现需要用户自己继承这个类来实现。RpcServiceStub定义了服务端暴露函数的描述,并将客户端对RpcServiceStub中函数的调用统一转换到调用RpcChannel中的CallMethod方法,CallMethod通过RpcServiceStub传过来的函数描述符和函数参数对该次rpc调用进行encode,最终通过RpcConnecor发送给服务方。对方以客户端相反的过程最终调用RpcSerivice中定义的函数。事实上,protobuf rpc的框架只是RpcChannel中定义了空的CallMethod,所以具体怎样进行encode和调用RpcConnector都要自己实现。RpcConnector在protobuf中没有定义,所以这个完成由用户自己实现,它的作用就是收发rpc消息包。在服务端,RpcChannel通过调用RpcService中的CallMethod来具体调用RpcService中暴露给客户端的函数。

介绍了这么多,对于怎么样用protobuf rpc来实现一个rpc肯定还是一头雾水吧,下面就用protobuf rpc来实现一个简单的python版rpc demo吧。

下面直接给出demo描述PRC的proto文件,至于proto文件的编写规则可以参考protobuf官网。

common.proto文件:

package game;

message RequestMessage
{
  required string message = 1;
}

message ResponseMessage
{
  required string message = 1;
}

game_service.proto文件:

package game;

import "common.proto";
option py_generic_services = true;

service GameService
{
  rpc connect_server(RequestMessage) returns(RequestMessage);
}

common.proto文件描述了RPC中收发的消息;game_service.proto描述了服务器导出的connect_server函数,该函数接受RequestMessage对象作为参数,并返回RequestMessage对象。在使用PRC协议时,必须加上option py_generic_services  = true;可选项,要不然编译器不会生成包含connect_server函数的GameService描述。

使用编译器protoc编译proto文件,具体命令为:
protoc.exe --python_out=. game_service.proto
编译后生成的文件为game_service_pb2.py,该文件主要是实现了GameService和GameService_Stub类。GameService_Stub类用于客户端调用者来调用GameService的服务。
前面已经说了,在客户端,RpcChannel只实现了一个空的CallMethod,所以需要继承RpcChannel重新这个函数来encode消息和发送消息。在服务端RpcChannel需要调用CallMethod来调用Service中的函数。具体实现如下:

class MyRpcChannel(service.RpcChannel):
  def __init__(self, rpc_service, conn):
    super(MyRpcChannel, self).__init__()
    self.logger = LogManager.get_logger("MyRpcChannel")

  def CallMethod(self, method_descriptor, rpc_controller, request, response_class, done):
    """"protol buffer rpc 需要的函数,用来发送rpc调用"""
    self.logger.info('CallMethod')
    cmd_index = method_descriptor.index
    assert(cmd_index < 65535)
    data = request.SerializeToString()
    total_len = len(data) + 2
    self.conn.send_data(''.join([pack('<I', total_len), pack('<H', cmd_index), data]))

  def from_request(self):
    """"从网络解析出一个完整的请求之后调的函数"""
    index_data = self.rpc_request.data[0:2]    
    cmd_index = unpack('<H', index_data)[0]  
    rpc_service = self.rpc_service
    s_descriptor = rpc_service.GetDescriptor()
    method = s_descriptor.methods[cmd_index]  
    try:
      request = rpc_service.GetRequestClass(method)()
      serialized = self.rpc_request.data[2:]    
      request.ParseFromString(serialized)  
      rpc_service.CallMethod(method, self.controller, request, None)
    except:
      self.logger.error("Call rpc method failed!")
      self.logger.log_last_except()
    return True

最后就是继承GameService,并实现connect_server函数了。

class GameService(game_service_pb2.GameService):
  def __init__(self):
    self.logger = LogManager.get_logger("GameService")

  def connect_server(self, rpc_controller, request, callback):
    self.logger.info('%s', request.message)

 至于用于网络收发消息的RpcConnector,可以使用python的asyncore库实现,具体实现在这就不讨论了。

从上面的实现来看,protobuf rpc的实现主要包括编写proto文件并编译生成对应的service_pb2文件,继承RpcChannel并实现CallMethod和调用Service的CallMethod,继承Service来实现暴露给客户端的函数。

以上就是本文的全部内容,希望对大家的学习有所帮助。

Python 相关文章推荐
在Python的Django框架中实现Hacker News的一些功能
Apr 17 Python
详解Python的Django框架中manage命令的使用与扩展
Apr 11 Python
Python读取MRI并显示为灰度图像实例代码
Jan 03 Python
Python使用pip安装报错:is not a supported wheel on this platform的解决方法
Jan 23 Python
PyCharm代码提示忽略大小写设置方法
Oct 28 Python
python简单实现矩阵的乘,加,转置和逆运算示例
Jul 10 Python
Python PyQt5 Pycharm 环境搭建及配置详解(图文教程)
Jul 16 Python
tensorflow 实现数据类型转换
Feb 17 Python
python 使用递归实现打印一个数字的每一位示例
Feb 27 Python
keras K.function获取某层的输出操作
Jun 29 Python
Python DES加密实现原理及实例解析
Jul 17 Python
Scrapy爬虫文件批量运行的实现
Sep 30 Python
使用Python保存网页上的图片或者保存页面为截图
Mar 05 #Python
Python发送form-data请求及拼接form-data内容的方法
Mar 05 #Python
Python多线程爬虫简单示例
Mar 04 #Python
使用Python来开发Markdown脚本扩展的实例分享
Mar 04 #Python
使用py2exe在Windows下将Python程序转为exe文件
Mar 04 #Python
用Python编写简单的微博爬虫
Mar 04 #Python
python相似模块用例
Mar 04 #Python
You might like
用php实现百度网盘图片直链的代码分享
2012/11/01 PHP
替换php字符串中的单引号为双引号的方法
2017/02/16 PHP
thinkphp框架使用JWTtoken的方法详解
2019/10/10 PHP
IE本地存储userdata的一个bug说明
2010/07/01 Javascript
Jquery中dialog属性小记
2010/09/03 Javascript
悄悄用脚本检查你访问过哪些网站的代码
2010/12/04 Javascript
jQuery 自定义函数写法分享
2012/03/30 Javascript
javascript中[]和{}对象使用介绍
2013/03/20 Javascript
js substring从右边获取指定长度字符串(示例代码)
2013/12/23 Javascript
jQuery弹出层插件Lightbox_me使用指南
2015/04/21 Javascript
jQuery对checkbox 复选框的全选全不选反选的操作
2016/08/09 Javascript
Jquery和Js获得元素标签名称的方法总结
2016/10/08 Javascript
Node.js中的require.resolve方法使用简介
2017/04/23 Javascript
Angular4学习笔记之实现绑定和分包
2017/08/01 Javascript
WebGL three.js学习笔记之阴影与实现物体的动画效果
2019/04/25 Javascript
JavaScript适配器模式原理与用法实例详解
2020/03/09 Javascript
jQuery实现的分页插件完整示例
2020/05/26 jQuery
js实现鼠标切换图片(无定时器)
2021/01/27 Javascript
javascript实现固定侧边栏
2021/02/09 Javascript
python中的一些类型转换函数小结
2013/02/10 Python
Python正则表达式如何进行字符串替换实例
2016/12/28 Python
Python+tkinter使用80行代码实现一个计算器实例
2018/01/16 Python
在Python 中实现图片加框和加字的方法
2019/01/26 Python
Django为窗体加上防机器人的验证码功能过程解析
2019/08/14 Python
解决django 向mysql中写入中文字符出错的问题
2020/05/18 Python
Python实现删除某列中含有空值的行的示例代码
2020/07/20 Python
python 无损批量压缩图片(支持保留图片信息)的示例
2020/09/22 Python
Python之qq自动发消息的示例代码
2021/02/18 Python
使用HTML5 IndexDB存储图像和文件的示例
2018/11/05 HTML / CSS
新西兰最大的连锁超市:Countdown
2020/06/04 全球购物
关于成绩下滑的自我检讨书
2014/09/20 职场文书
同意迁入证明模板
2014/10/26 职场文书
2014年度安全工作总结
2014/12/04 职场文书
上诉答辩状范文
2015/05/22 职场文书
唐山大地震的观后感
2015/06/05 职场文书
Vue的生命周期一起来看看
2022/02/24 Vue.js