python如何通过protobuf实现rpc


Posted in Python onMarch 06, 2016

由于项目组现在用的rpc是基于google protobuf rpc协议实现的,所以花了点时间了解下protobuf rpc。rpc对于做分布式系统的人来说肯定不陌生,对于rpc不了解的童鞋可以自行google,这里只是做个简单的介绍。rpc的主要功能是让分布式系统的实现更为简单,为提供强大的远程调用而不损失本地调用语义的简洁性。为了实现这个目标,rpc框架需要提供一种透明调用机制让使用者不必显示区分本地调用还是远程调用。rpc架构涉及的组件如下:

python如何通过protobuf实现rpc

客户方像调用本地方法一样去调用远程接口方法,RPC 框架提供接口的代理实现,实际的调用将委托给代理RpcProxy 。代理封装调用信息并将调用转交给RpcInvoker 去实际执行。在客户端的RpcInvoker 通过连接器RpcConnector 去维持与服务端的通道RpcChannel,并使用RpcProtocol 执行协议编码(encode)并将编码后的请求消息通过通道发送给服务方。RPC 服务端接收器 RpcAcceptor 接收客户端的调用请求,同样使用RpcProtocol 执行协议解码(decode)。解码后的调用信息传递给RpcProcessor 去控制处理调用过程,最后再委托调用给RpcInvoker 去实际执行并返回调用结果。

protobuf rpc在上面组件中主要扮演RpcProtocol的角色,使得我们省去了协议的设计,并且protobuf协议在编码和空间效率都是上非常高效的,这也是很多公司采用protobuf作为数据序列化和通信协议的原因。同时protobuf rpc定义了一个抽象的rpc框架,如下图所示:

python如何通过protobuf实现rpc

RpcServiceStub和RpcService类是protobuf编译器根据proto定义生成的类,RpcService定义了服务端暴露给客户端的函数接口,具体实现需要用户自己继承这个类来实现。RpcServiceStub定义了服务端暴露函数的描述,并将客户端对RpcServiceStub中函数的调用统一转换到调用RpcChannel中的CallMethod方法,CallMethod通过RpcServiceStub传过来的函数描述符和函数参数对该次rpc调用进行encode,最终通过RpcConnecor发送给服务方。对方以客户端相反的过程最终调用RpcSerivice中定义的函数。事实上,protobuf rpc的框架只是RpcChannel中定义了空的CallMethod,所以具体怎样进行encode和调用RpcConnector都要自己实现。RpcConnector在protobuf中没有定义,所以这个完成由用户自己实现,它的作用就是收发rpc消息包。在服务端,RpcChannel通过调用RpcService中的CallMethod来具体调用RpcService中暴露给客户端的函数。

介绍了这么多,对于怎么样用protobuf rpc来实现一个rpc肯定还是一头雾水吧,下面就用protobuf rpc来实现一个简单的python版rpc demo吧。

下面直接给出demo描述PRC的proto文件,至于proto文件的编写规则可以参考protobuf官网。

common.proto文件:

package game;

message RequestMessage
{
  required string message = 1;
}

message ResponseMessage
{
  required string message = 1;
}

game_service.proto文件:

package game;

import "common.proto";
option py_generic_services = true;

service GameService
{
  rpc connect_server(RequestMessage) returns(RequestMessage);
}

common.proto文件描述了RPC中收发的消息;game_service.proto描述了服务器导出的connect_server函数,该函数接受RequestMessage对象作为参数,并返回RequestMessage对象。在使用PRC协议时,必须加上option py_generic_services  = true;可选项,要不然编译器不会生成包含connect_server函数的GameService描述。

使用编译器protoc编译proto文件,具体命令为:
protoc.exe --python_out=. game_service.proto
编译后生成的文件为game_service_pb2.py,该文件主要是实现了GameService和GameService_Stub类。GameService_Stub类用于客户端调用者来调用GameService的服务。
前面已经说了,在客户端,RpcChannel只实现了一个空的CallMethod,所以需要继承RpcChannel重新这个函数来encode消息和发送消息。在服务端RpcChannel需要调用CallMethod来调用Service中的函数。具体实现如下:

class MyRpcChannel(service.RpcChannel):
  def __init__(self, rpc_service, conn):
    super(MyRpcChannel, self).__init__()
    self.logger = LogManager.get_logger("MyRpcChannel")

  def CallMethod(self, method_descriptor, rpc_controller, request, response_class, done):
    """"protol buffer rpc 需要的函数,用来发送rpc调用"""
    self.logger.info('CallMethod')
    cmd_index = method_descriptor.index
    assert(cmd_index < 65535)
    data = request.SerializeToString()
    total_len = len(data) + 2
    self.conn.send_data(''.join([pack('<I', total_len), pack('<H', cmd_index), data]))

  def from_request(self):
    """"从网络解析出一个完整的请求之后调的函数"""
    index_data = self.rpc_request.data[0:2]    
    cmd_index = unpack('<H', index_data)[0]  
    rpc_service = self.rpc_service
    s_descriptor = rpc_service.GetDescriptor()
    method = s_descriptor.methods[cmd_index]  
    try:
      request = rpc_service.GetRequestClass(method)()
      serialized = self.rpc_request.data[2:]    
      request.ParseFromString(serialized)  
      rpc_service.CallMethod(method, self.controller, request, None)
    except:
      self.logger.error("Call rpc method failed!")
      self.logger.log_last_except()
    return True

最后就是继承GameService,并实现connect_server函数了。

class GameService(game_service_pb2.GameService):
  def __init__(self):
    self.logger = LogManager.get_logger("GameService")

  def connect_server(self, rpc_controller, request, callback):
    self.logger.info('%s', request.message)

 至于用于网络收发消息的RpcConnector,可以使用python的asyncore库实现,具体实现在这就不讨论了。

从上面的实现来看,protobuf rpc的实现主要包括编写proto文件并编译生成对应的service_pb2文件,继承RpcChannel并实现CallMethod和调用Service的CallMethod,继承Service来实现暴露给客户端的函数。

以上就是本文的全部内容,希望对大家的学习有所帮助。

Python 相关文章推荐
对于Python的Django框架使用的一些实用建议
Apr 03 Python
Linux 发邮件磁盘空间监控(python)
Apr 23 Python
详解Python中的四种队列
May 21 Python
Python基于opencv实现的简单画板功能示例
Mar 04 Python
详解利用OpenCV提取图像中的矩形区域(PPT屏幕等)
Jul 01 Python
python pandas时序处理相关功能详解
Jul 03 Python
Django中信号signals的简单使用方法
Jul 04 Python
python hashlib加密实现代码
Oct 17 Python
解决django接口无法通过ip进行访问的问题
Mar 27 Python
Python中有几个关键字
Jun 04 Python
Python如何急速下载第三方库详解
Nov 02 Python
python的netCDF4批量处理NC格式文件的操作方法
Mar 21 Python
使用Python保存网页上的图片或者保存页面为截图
Mar 05 #Python
Python发送form-data请求及拼接form-data内容的方法
Mar 05 #Python
Python多线程爬虫简单示例
Mar 04 #Python
使用Python来开发Markdown脚本扩展的实例分享
Mar 04 #Python
使用py2exe在Windows下将Python程序转为exe文件
Mar 04 #Python
用Python编写简单的微博爬虫
Mar 04 #Python
python相似模块用例
Mar 04 #Python
You might like
PHP.MVC的模板标签系统(四)
2006/09/05 PHP
PHP删除特定数组内容并且重建数组索引的方法.
2011/03/25 PHP
学习php设计模式 php实现合成模式(composite)
2015/12/08 PHP
php判断用户是否关注微信公众号
2016/07/22 PHP
php中的单引号、双引号和转义字符详解
2017/02/16 PHP
Jquery下attr和removeAttr的使用方法
2010/12/28 Javascript
Node.js(安装,启动,测试)
2014/06/09 Javascript
javascript实现的平方米、亩、公顷单位换算小程序
2014/08/11 Javascript
JavaScript实现打字效果的方法
2015/07/10 Javascript
JS+DIV+CSS排版布局实现美观的选项卡效果
2015/10/10 Javascript
第一次接触JS require.js模块化工具
2016/04/17 Javascript
jquery自定义插件——window的实现【示例代码】
2016/05/06 Javascript
Bootstrap编写一个在当前网页弹出可关闭的对话框 非弹窗
2016/06/30 Javascript
浅谈JavaScript中的this指针和引用知识
2016/08/05 Javascript
原生javascript移动端滑动banner效果
2017/03/10 Javascript
JS 组件系列之Bootstrap Table 冻结列功能IE浏览器兼容性问题解决方案
2017/06/30 Javascript
Vue-Router模式和钩子的用法
2018/02/28 Javascript
React 使用browserHistory项目访问404问题解决
2018/06/01 Javascript
vue 点击展开显示更多(点击收起部分隐藏)
2019/04/09 Javascript
vue+elementui 对话框取消 表单验证重置示例
2019/10/29 Javascript
实例讲解React 组件
2020/07/07 Javascript
[01:15:36]加油刀塔第二期网络版
2014/08/09 DOTA
Python实现配置文件备份的方法
2015/07/30 Python
Python2.x利用commands模块执行Linux shell命令
2016/03/11 Python
linux下python使用sendmail发送邮件
2018/05/22 Python
Linux下安装python3.6和第三方库的教程详解
2018/11/09 Python
Python实现常见的回文字符串算法
2018/11/14 Python
Python使用sklearn实现的各种回归算法示例
2019/07/04 Python
python读写文件write和flush的实现方式
2020/02/21 Python
Django框架models使用group by详解
2020/03/11 Python
python爬虫实例之获取动漫截图
2020/05/31 Python
Perfumetrader荷兰:香水、化妆品和护肤品在线商店
2017/09/15 全球购物
阿迪达斯中国官网:Adidas中国
2020/12/14 全球购物
linux面试相关问题
2012/08/11 面试题
委托书格式
2014/08/01 职场文书
我的中国梦心得体会范文
2016/01/05 职场文书