python如何通过protobuf实现rpc


Posted in Python onMarch 06, 2016

由于项目组现在用的rpc是基于google protobuf rpc协议实现的,所以花了点时间了解下protobuf rpc。rpc对于做分布式系统的人来说肯定不陌生,对于rpc不了解的童鞋可以自行google,这里只是做个简单的介绍。rpc的主要功能是让分布式系统的实现更为简单,为提供强大的远程调用而不损失本地调用语义的简洁性。为了实现这个目标,rpc框架需要提供一种透明调用机制让使用者不必显示区分本地调用还是远程调用。rpc架构涉及的组件如下:

python如何通过protobuf实现rpc

客户方像调用本地方法一样去调用远程接口方法,RPC 框架提供接口的代理实现,实际的调用将委托给代理RpcProxy 。代理封装调用信息并将调用转交给RpcInvoker 去实际执行。在客户端的RpcInvoker 通过连接器RpcConnector 去维持与服务端的通道RpcChannel,并使用RpcProtocol 执行协议编码(encode)并将编码后的请求消息通过通道发送给服务方。RPC 服务端接收器 RpcAcceptor 接收客户端的调用请求,同样使用RpcProtocol 执行协议解码(decode)。解码后的调用信息传递给RpcProcessor 去控制处理调用过程,最后再委托调用给RpcInvoker 去实际执行并返回调用结果。

protobuf rpc在上面组件中主要扮演RpcProtocol的角色,使得我们省去了协议的设计,并且protobuf协议在编码和空间效率都是上非常高效的,这也是很多公司采用protobuf作为数据序列化和通信协议的原因。同时protobuf rpc定义了一个抽象的rpc框架,如下图所示:

python如何通过protobuf实现rpc

RpcServiceStub和RpcService类是protobuf编译器根据proto定义生成的类,RpcService定义了服务端暴露给客户端的函数接口,具体实现需要用户自己继承这个类来实现。RpcServiceStub定义了服务端暴露函数的描述,并将客户端对RpcServiceStub中函数的调用统一转换到调用RpcChannel中的CallMethod方法,CallMethod通过RpcServiceStub传过来的函数描述符和函数参数对该次rpc调用进行encode,最终通过RpcConnecor发送给服务方。对方以客户端相反的过程最终调用RpcSerivice中定义的函数。事实上,protobuf rpc的框架只是RpcChannel中定义了空的CallMethod,所以具体怎样进行encode和调用RpcConnector都要自己实现。RpcConnector在protobuf中没有定义,所以这个完成由用户自己实现,它的作用就是收发rpc消息包。在服务端,RpcChannel通过调用RpcService中的CallMethod来具体调用RpcService中暴露给客户端的函数。

介绍了这么多,对于怎么样用protobuf rpc来实现一个rpc肯定还是一头雾水吧,下面就用protobuf rpc来实现一个简单的python版rpc demo吧。

下面直接给出demo描述PRC的proto文件,至于proto文件的编写规则可以参考protobuf官网。

common.proto文件:

package game;

message RequestMessage
{
  required string message = 1;
}

message ResponseMessage
{
  required string message = 1;
}

game_service.proto文件:

package game;

import "common.proto";
option py_generic_services = true;

service GameService
{
  rpc connect_server(RequestMessage) returns(RequestMessage);
}

common.proto文件描述了RPC中收发的消息;game_service.proto描述了服务器导出的connect_server函数,该函数接受RequestMessage对象作为参数,并返回RequestMessage对象。在使用PRC协议时,必须加上option py_generic_services  = true;可选项,要不然编译器不会生成包含connect_server函数的GameService描述。

使用编译器protoc编译proto文件,具体命令为:
protoc.exe --python_out=. game_service.proto
编译后生成的文件为game_service_pb2.py,该文件主要是实现了GameService和GameService_Stub类。GameService_Stub类用于客户端调用者来调用GameService的服务。
前面已经说了,在客户端,RpcChannel只实现了一个空的CallMethod,所以需要继承RpcChannel重新这个函数来encode消息和发送消息。在服务端RpcChannel需要调用CallMethod来调用Service中的函数。具体实现如下:

class MyRpcChannel(service.RpcChannel):
  def __init__(self, rpc_service, conn):
    super(MyRpcChannel, self).__init__()
    self.logger = LogManager.get_logger("MyRpcChannel")

  def CallMethod(self, method_descriptor, rpc_controller, request, response_class, done):
    """"protol buffer rpc 需要的函数,用来发送rpc调用"""
    self.logger.info('CallMethod')
    cmd_index = method_descriptor.index
    assert(cmd_index < 65535)
    data = request.SerializeToString()
    total_len = len(data) + 2
    self.conn.send_data(''.join([pack('<I', total_len), pack('<H', cmd_index), data]))

  def from_request(self):
    """"从网络解析出一个完整的请求之后调的函数"""
    index_data = self.rpc_request.data[0:2]    
    cmd_index = unpack('<H', index_data)[0]  
    rpc_service = self.rpc_service
    s_descriptor = rpc_service.GetDescriptor()
    method = s_descriptor.methods[cmd_index]  
    try:
      request = rpc_service.GetRequestClass(method)()
      serialized = self.rpc_request.data[2:]    
      request.ParseFromString(serialized)  
      rpc_service.CallMethod(method, self.controller, request, None)
    except:
      self.logger.error("Call rpc method failed!")
      self.logger.log_last_except()
    return True

最后就是继承GameService,并实现connect_server函数了。

class GameService(game_service_pb2.GameService):
  def __init__(self):
    self.logger = LogManager.get_logger("GameService")

  def connect_server(self, rpc_controller, request, callback):
    self.logger.info('%s', request.message)

 至于用于网络收发消息的RpcConnector,可以使用python的asyncore库实现,具体实现在这就不讨论了。

从上面的实现来看,protobuf rpc的实现主要包括编写proto文件并编译生成对应的service_pb2文件,继承RpcChannel并实现CallMethod和调用Service的CallMethod,继承Service来实现暴露给客户端的函数。

以上就是本文的全部内容,希望对大家的学习有所帮助。

Python 相关文章推荐
python批量提取word内信息
Aug 09 Python
Python机器学习logistic回归代码解析
Jan 17 Python
使用DataFrame删除行和列的实例讲解
Apr 08 Python
使用Python进行目录的对比方法
Nov 01 Python
基于python-opencv3的图像显示和保存操作
Jun 27 Python
Python获取好友地区分布及好友性别分布情况代码详解
Jul 10 Python
Django结合ajax进行页面实时更新的例子
Aug 12 Python
Python代码生成视频的缩略图的实例讲解
Dec 22 Python
django 模版关闭转义方式
May 14 Python
Python3爬虫里关于Splash负载均衡配置详解
Jul 10 Python
PyCharm2019.3永久激活破解详细图文教程,亲测可用(不定期更新)
Oct 29 Python
如何使用Python进行PDF图片识别OCR
Jan 22 Python
使用Python保存网页上的图片或者保存页面为截图
Mar 05 #Python
Python发送form-data请求及拼接form-data内容的方法
Mar 05 #Python
Python多线程爬虫简单示例
Mar 04 #Python
使用Python来开发Markdown脚本扩展的实例分享
Mar 04 #Python
使用py2exe在Windows下将Python程序转为exe文件
Mar 04 #Python
用Python编写简单的微博爬虫
Mar 04 #Python
python相似模块用例
Mar 04 #Python
You might like
全国FM电台频率大全 - 27 陕西省
2020/03/11 无线电
收集的PHP中与数组相关的函数
2007/03/22 PHP
php站内搜索并高亮显示关键字的实现代码
2011/12/29 PHP
php对二维数组进行相关操作(排序、转换、去空白等)
2015/11/04 PHP
详解PHP防止盗链防止迅雷下载的方法
2017/04/26 PHP
[企业公众号]升级到[企业微信]之后发送消息失败的解决方法
2017/06/30 PHP
浅析javascript闭包 实例分析
2010/12/25 Javascript
JS this作用域以及GET传输值过长的问题解决方法
2013/08/06 Javascript
jQuery中:first-child选择器用法实例
2014/12/31 Javascript
JavaScript中扩展Array contains方法实例
2020/08/23 Javascript
jQuery+css3实现Ajax点击后动态删除功能的方法
2015/08/10 Javascript
JavaScript取得gridview中获取checkbox选中的值
2017/07/24 Javascript
Vue2.0+ElementUI实现表格翻页的实例
2017/10/23 Javascript
基于vue实现可搜索下拉框定制组件
2020/03/26 Javascript
原生JS实现获取及修改CSS样式的方法
2018/09/04 Javascript
vue-cli 3 全局过滤器的实例代码详解
2019/06/03 Javascript
微信小程序图片自适应实现解析
2020/01/21 Javascript
Vue中keep-alive 实现后退不刷新并保持滚动位置
2020/03/17 Javascript
[04:26]2014DOTA2国际邀请赛-Newbee顺利进入胜者组决赛 独家专访战神7
2014/07/19 DOTA
[02:10]探秘浦东源深体育馆 DOTA2 Supermajor不见不散
2018/05/17 DOTA
python实现人人网登录示例分享
2014/01/19 Python
Python构建网页爬虫原理分析
2017/12/19 Python
python自动化报告的输出用例详解
2018/05/30 Python
python程序封装为win32服务的方法
2021/03/07 Python
linux环境中没有网络怎么下载python
2019/07/07 Python
Tensorflow设置显存自适应,显存比例的操作
2020/02/03 Python
python_mask_array的用法
2020/02/18 Python
Tensorflow卷积实现原理+手写python代码实现卷积教程
2020/05/22 Python
Python实现一个简单的递归下降分析器
2020/08/01 Python
阿迪达斯德国官方网站:adidas德国
2017/07/12 全球购物
教师自荐书
2013/10/08 职场文书
2014年巴西世界杯口号
2014/06/05 职场文书
我们的节日重阳节活动总结
2015/03/24 职场文书
2015年民兵整组工作总结
2015/07/24 职场文书
2016七夕情人节感言
2015/12/09 职场文书
浅谈css实现背景颜色半透明的两种方法
2021/12/06 HTML / CSS