python如何通过protobuf实现rpc


Posted in Python onMarch 06, 2016

由于项目组现在用的rpc是基于google protobuf rpc协议实现的,所以花了点时间了解下protobuf rpc。rpc对于做分布式系统的人来说肯定不陌生,对于rpc不了解的童鞋可以自行google,这里只是做个简单的介绍。rpc的主要功能是让分布式系统的实现更为简单,为提供强大的远程调用而不损失本地调用语义的简洁性。为了实现这个目标,rpc框架需要提供一种透明调用机制让使用者不必显示区分本地调用还是远程调用。rpc架构涉及的组件如下:

python如何通过protobuf实现rpc

客户方像调用本地方法一样去调用远程接口方法,RPC 框架提供接口的代理实现,实际的调用将委托给代理RpcProxy 。代理封装调用信息并将调用转交给RpcInvoker 去实际执行。在客户端的RpcInvoker 通过连接器RpcConnector 去维持与服务端的通道RpcChannel,并使用RpcProtocol 执行协议编码(encode)并将编码后的请求消息通过通道发送给服务方。RPC 服务端接收器 RpcAcceptor 接收客户端的调用请求,同样使用RpcProtocol 执行协议解码(decode)。解码后的调用信息传递给RpcProcessor 去控制处理调用过程,最后再委托调用给RpcInvoker 去实际执行并返回调用结果。

protobuf rpc在上面组件中主要扮演RpcProtocol的角色,使得我们省去了协议的设计,并且protobuf协议在编码和空间效率都是上非常高效的,这也是很多公司采用protobuf作为数据序列化和通信协议的原因。同时protobuf rpc定义了一个抽象的rpc框架,如下图所示:

python如何通过protobuf实现rpc

RpcServiceStub和RpcService类是protobuf编译器根据proto定义生成的类,RpcService定义了服务端暴露给客户端的函数接口,具体实现需要用户自己继承这个类来实现。RpcServiceStub定义了服务端暴露函数的描述,并将客户端对RpcServiceStub中函数的调用统一转换到调用RpcChannel中的CallMethod方法,CallMethod通过RpcServiceStub传过来的函数描述符和函数参数对该次rpc调用进行encode,最终通过RpcConnecor发送给服务方。对方以客户端相反的过程最终调用RpcSerivice中定义的函数。事实上,protobuf rpc的框架只是RpcChannel中定义了空的CallMethod,所以具体怎样进行encode和调用RpcConnector都要自己实现。RpcConnector在protobuf中没有定义,所以这个完成由用户自己实现,它的作用就是收发rpc消息包。在服务端,RpcChannel通过调用RpcService中的CallMethod来具体调用RpcService中暴露给客户端的函数。

介绍了这么多,对于怎么样用protobuf rpc来实现一个rpc肯定还是一头雾水吧,下面就用protobuf rpc来实现一个简单的python版rpc demo吧。

下面直接给出demo描述PRC的proto文件,至于proto文件的编写规则可以参考protobuf官网。

common.proto文件:

package game;

message RequestMessage
{
  required string message = 1;
}

message ResponseMessage
{
  required string message = 1;
}

game_service.proto文件:

package game;

import "common.proto";
option py_generic_services = true;

service GameService
{
  rpc connect_server(RequestMessage) returns(RequestMessage);
}

common.proto文件描述了RPC中收发的消息;game_service.proto描述了服务器导出的connect_server函数,该函数接受RequestMessage对象作为参数,并返回RequestMessage对象。在使用PRC协议时,必须加上option py_generic_services  = true;可选项,要不然编译器不会生成包含connect_server函数的GameService描述。

使用编译器protoc编译proto文件,具体命令为:
protoc.exe --python_out=. game_service.proto
编译后生成的文件为game_service_pb2.py,该文件主要是实现了GameService和GameService_Stub类。GameService_Stub类用于客户端调用者来调用GameService的服务。
前面已经说了,在客户端,RpcChannel只实现了一个空的CallMethod,所以需要继承RpcChannel重新这个函数来encode消息和发送消息。在服务端RpcChannel需要调用CallMethod来调用Service中的函数。具体实现如下:

class MyRpcChannel(service.RpcChannel):
  def __init__(self, rpc_service, conn):
    super(MyRpcChannel, self).__init__()
    self.logger = LogManager.get_logger("MyRpcChannel")

  def CallMethod(self, method_descriptor, rpc_controller, request, response_class, done):
    """"protol buffer rpc 需要的函数,用来发送rpc调用"""
    self.logger.info('CallMethod')
    cmd_index = method_descriptor.index
    assert(cmd_index < 65535)
    data = request.SerializeToString()
    total_len = len(data) + 2
    self.conn.send_data(''.join([pack('<I', total_len), pack('<H', cmd_index), data]))

  def from_request(self):
    """"从网络解析出一个完整的请求之后调的函数"""
    index_data = self.rpc_request.data[0:2]    
    cmd_index = unpack('<H', index_data)[0]  
    rpc_service = self.rpc_service
    s_descriptor = rpc_service.GetDescriptor()
    method = s_descriptor.methods[cmd_index]  
    try:
      request = rpc_service.GetRequestClass(method)()
      serialized = self.rpc_request.data[2:]    
      request.ParseFromString(serialized)  
      rpc_service.CallMethod(method, self.controller, request, None)
    except:
      self.logger.error("Call rpc method failed!")
      self.logger.log_last_except()
    return True

最后就是继承GameService,并实现connect_server函数了。

class GameService(game_service_pb2.GameService):
  def __init__(self):
    self.logger = LogManager.get_logger("GameService")

  def connect_server(self, rpc_controller, request, callback):
    self.logger.info('%s', request.message)

 至于用于网络收发消息的RpcConnector,可以使用python的asyncore库实现,具体实现在这就不讨论了。

从上面的实现来看,protobuf rpc的实现主要包括编写proto文件并编译生成对应的service_pb2文件,继承RpcChannel并实现CallMethod和调用Service的CallMethod,继承Service来实现暴露给客户端的函数。

以上就是本文的全部内容,希望对大家的学习有所帮助。

Python 相关文章推荐
Python+tkinter使用40行代码实现计算器功能
Jan 30 Python
pygame游戏之旅 添加碰撞效果的方法
Nov 20 Python
在pycharm 中添加运行参数的操作方法
Jan 19 Python
python for 循环获取index索引的方法
Feb 01 Python
pandas通过字典生成dataframe的方法步骤
Jul 23 Python
Django认证系统实现的web页面实现代码
Aug 12 Python
python 类的继承 实例方法.静态方法.类方法的代码解析
Aug 23 Python
使用python和pygame制作挡板弹球游戏
Dec 03 Python
使用TensorFlow直接获取处理MNIST数据方式
Feb 10 Python
Python3.7安装pyaudio教程解析
Jul 24 Python
用python写爬虫简单吗
Jul 28 Python
Python 如何安装Selenium
May 06 Python
使用Python保存网页上的图片或者保存页面为截图
Mar 05 #Python
Python发送form-data请求及拼接form-data内容的方法
Mar 05 #Python
Python多线程爬虫简单示例
Mar 04 #Python
使用Python来开发Markdown脚本扩展的实例分享
Mar 04 #Python
使用py2exe在Windows下将Python程序转为exe文件
Mar 04 #Python
用Python编写简单的微博爬虫
Mar 04 #Python
python相似模块用例
Mar 04 #Python
You might like
Zend Framework教程之MVC框架的Controller用法分析
2016/03/07 PHP
PHP全局变量与超级全局变量区别分析
2016/04/01 PHP
php中实现字符串翻转的方法
2017/02/22 PHP
左侧是表头的JS表格控件(自写,网上没有的)
2013/06/04 Javascript
关闭浏览器时提示onbeforeunload事件
2013/12/25 Javascript
js中将String转换为number以便比较
2014/07/08 Javascript
使用JQuery库提供的扩展功能实现自定义方法
2014/09/09 Javascript
js获取微信版本号的方法
2015/05/12 Javascript
jquery中取消和绑定hover事件的实现代码
2016/06/02 Javascript
node.js实现回调的方法示例
2017/03/01 Javascript
javascript 开发之百度地图使用到的js函数整理
2017/05/19 Javascript
JavaScript正则表达式和级联效果
2017/09/14 Javascript
使用Angular material主题定义自己的组件库的配色体系
2019/09/04 Javascript
layui 对table中的数据进行转义的实例
2019/09/12 Javascript
解决Ant Design Modal内嵌Form表单initialValue值不动态更新问题
2020/10/29 Javascript
Python的ORM框架中SQLAlchemy库的查询操作的教程
2015/04/25 Python
Python的Django框架中模板碎片缓存简介
2015/07/24 Python
Django框架搭建的简易图书信息网站案例
2019/05/25 Python
Python 中的参数传递、返回值、浅拷贝、深拷贝
2019/06/25 Python
在python里面运用多继承方法详解
2019/07/01 Python
详解pandas使用drop_duplicates去除DataFrame重复项参数
2019/08/01 Python
浅谈python出错时traceback的解读
2020/07/15 Python
Python文件夹批处理操作代码实例
2020/07/21 Python
Pycharm及python安装详细教程(图解)
2020/07/31 Python
美国高级音响品牌:Master&Dynamic
2018/07/05 全球购物
商得四方公司面试题(gid+)
2014/04/30 面试题
简述Linux文件系统通过i节点把文件的逻辑结构和物理结构转换的工作过程
2012/04/17 面试题
大学生毕业的自我评价分享
2014/01/02 职场文书
关于赌博的检讨书
2014/01/08 职场文书
征婚广告词
2014/03/17 职场文书
个人授权委托书范本
2014/04/03 职场文书
运动会入场口号
2014/06/07 职场文书
千与千寻观后感
2015/06/04 职场文书
小学生红领巾广播稿
2015/08/19 职场文书
《平行四边形的面积》教学反思
2016/02/16 职场文书
Python OpenCV超详细讲解基本功能
2022/04/02 Python