Python如何实现远程方法调用


Posted in Python onAugust 07, 2020

问题

你想在一个消息传输层如 sockets 、multiprocessing connections 或 ZeroMQ 的基础之上实现一个简单的远程过程调用(RPC)。

解决方案

将函数请求、参数和返回值使用pickle编码后,在不同的解释器直接传送pickle字节字符串,可以很容易的实现RPC。 下面是一个简单的PRC处理器,可以被整合到一个服务器中去:

# rpcserver.py

import pickle
class RPCHandler:
  def __init__(self):
    self._functions = { }

  def register_function(self, func):
    self._functions[func.__name__] = func

  def handle_connection(self, connection):
    try:
      while True:
        # Receive a message
        func_name, args, kwargs = pickle.loads(connection.recv())
        # Run the RPC and send a response
        try:
          r = self._functions[func_name](*args,**kwargs)
          connection.send(pickle.dumps(r))
        except Exception as e:
          connection.send(pickle.dumps(e))
    except EOFError:
       pass

要使用这个处理器,你需要将它加入到一个消息服务器中。你有很多种选择, 但是使用 multiprocessing 库是最简单的。下面是一个RPC服务器例子:

from multiprocessing.connection import Listener
from threading import Thread

def rpc_server(handler, address, authkey):
  sock = Listener(address, authkey=authkey)
  while True:
    client = sock.accept()
    t = Thread(target=handler.handle_connection, args=(client,))
    t.daemon = True
    t.start()

# Some remote functions
def add(x, y):
  return x + y

def sub(x, y):
  return x - y

# Register with a handler
handler = RPCHandler()
handler.register_function(add)
handler.register_function(sub)

# Run the server
rpc_server(handler, ('localhost', 17000), authkey=b'peekaboo')

为了从一个远程客户端访问服务器,你需要创建一个对应的用来传送请求的RPC代理类。例如

import pickle

class RPCProxy:
  def __init__(self, connection):
    self._connection = connection
  def __getattr__(self, name):
    def do_rpc(*args, **kwargs):
      self._connection.send(pickle.dumps((name, args, kwargs)))
      result = pickle.loads(self._connection.recv())
      if isinstance(result, Exception):
        raise result
      return result
    return do_rpc

要使用这个代理类,你需要将其包装到一个服务器的连接上面,例如:

>>> from multiprocessing.connection import Client
>>> c = Client(('localhost', 17000), authkey=b'peekaboo')
>>> proxy = RPCProxy(c)
>>> proxy.add(2, 3)

5
>>> proxy.sub(2, 3)
-1
>>> proxy.sub([1, 2], 4)
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
 File "rpcserver.py", line 37, in do_rpc
  raise result
TypeError: unsupported operand type(s) for -: 'list' and 'int'
>>>

要注意的是很多消息层(比如 multiprocessing )已经使用pickle序列化了数据。 如果是这样的话,对 pickle.dumps() 和 pickle.loads() 的调用要去掉。

讨论

RPCHandler 和 RPCProxy 的基本思路是很比较简单的。 如果一个客户端想要调用一个远程函数,比如 foo(1, 2, z=3) ,代理类创建一个包含了函数名和参数的元组 ('foo', (1, 2), {'z': 3}) 。 这个元组被pickle序列化后通过网络连接发生出去。 这一步在 RPCProxy 的 __getattr__() 方法返回的 do_rpc() 闭包中完成。 服务器接收后通过pickle反序列化消息,查找函数名看看是否已经注册过,然后执行相应的函数。 执行结果(或异常)被pickle序列化后返回发送给客户端。我们的实例需要依赖 multiprocessing 进行通信。 不过,这种方式可以适用于其他任何消息系统。例如,如果你想在ZeroMQ之上实习RPC, 仅仅只需要将连接对象换成合适的ZeroMQ的socket对象即可。

由于底层需要依赖pickle,那么安全问题就需要考虑了 (因为一个聪明的黑客可以创建特定的消息,能够让任意函数通过pickle反序列化后被执行)。 因此你永远不要允许来自不信任或未认证的客户端的RPC。特别是你绝对不要允许来自Internet的任意机器的访问, 这种只能在内部被使用,位于防火墙后面并且不要对外暴露。

作为pickle的替代,你也许可以考虑使用JSON、XML或一些其他的编码格式来序列化消息。 例如,本机实例可以很容易的改写成JSON编码方案。还需要将 pickle.loads() 和 pickle.dumps() 替换成 json.loads() 和 json.dumps() 即可:

# jsonrpcserver.py
import json

class RPCHandler:
  def __init__(self):
    self._functions = { }

  def register_function(self, func):
    self._functions[func.__name__] = func

  def handle_connection(self, connection):
    try:
      while True:
        # Receive a message
        func_name, args, kwargs = json.loads(connection.recv())
        # Run the RPC and send a response
        try:
          r = self._functions[func_name](*args,**kwargs)
          connection.send(json.dumps(r))
        except Exception as e:
          connection.send(json.dumps(str(e)))
    except EOFError:
       pass

# jsonrpcclient.py
import json

class RPCProxy:
  def __init__(self, connection):
    self._connection = connection
  def __getattr__(self, name):
    def do_rpc(*args, **kwargs):
      self._connection.send(json.dumps((name, args, kwargs)))
      result = json.loads(self._connection.recv())
      return result
    return do_rpc

实现RPC的一个比较复杂的问题是如何去处理异常。至少,当方法产生异常时服务器不应该奔溃。 因此,返回给客户端的异常所代表的含义就要好好设计了。 如果你使用pickle,异常对象实例在客户端能被反序列化并抛出。如果你使用其他的协议,那得想想另外的方法了。 不过至少,你应该在响应中返回异常字符串。我们在JSON的例子中就是使用的这种方式。

以上就是Python如何实现远程方法调用的详细内容,更多关于Python远程方法调用的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python多线程http下载实现示例
Dec 30 Python
python实现代码行数统计示例分享
Feb 10 Python
用实例解释Python中的继承和多态的概念
Apr 27 Python
在Python中处理XML的教程
Apr 29 Python
Python实现截屏的函数
Jul 25 Python
利用numpy实现一、二维数组的拼接简单代码示例
Dec 15 Python
python使用TensorFlow进行图像处理的方法
Feb 28 Python
python 读文件,然后转化为矩阵的实例
Apr 23 Python
python实现关键词提取的示例讲解
Apr 28 Python
详解Python中的四种队列
May 21 Python
Python爬虫设置代理IP(图文)
Dec 23 Python
画pytorch模型图,以及参数计算的方法
Aug 17 Python
记一次django内存异常排查及解决方法
Aug 07 #Python
python正则表达式 匹配反斜杠的操作方法
Aug 07 #Python
Pygame框架实现飞机大战
Aug 07 #Python
python爬取网易云音乐热歌榜实例代码
Aug 07 #Python
Python变量格式化输出实现原理解析
Aug 06 #Python
Python实现Canny及Hough算法代码实例解析
Aug 06 #Python
vscode调试django项目的方法
Aug 06 #Python
You might like
PHP5.2下chunk_split()函数整数溢出漏洞 分析
2007/06/06 PHP
php网上商城购物车设计代码分享
2012/02/15 PHP
PHP学习笔记(三):数据类型转换与常量介绍
2015/04/17 PHP
激活 ActiveX 控件
2006/10/09 Javascript
新增加的内容是如何将div的scrollbar自动移动最下面
2014/01/02 Javascript
JSON.stringify转换JSON时日期时间不准确的解决方法
2014/08/08 Javascript
Javascript 字符串模板的简单实现
2016/02/13 Javascript
Javascript数组Array基础介绍
2016/03/13 Javascript
JavaScript模板引擎Template.js使用详解
2016/12/15 Javascript
原生js实现倒计时功能(多种格式调用)
2017/01/12 Javascript
详解Vuejs2.0之异步跨域请求
2017/04/20 Javascript
3分钟掌握常用的JS操作JSON方法总结
2017/04/25 Javascript
使用vuex缓存数据并优化自己的vuex-cache
2018/05/30 Javascript
AngularJS 前台分页实现的示例代码
2018/06/07 Javascript
vue实现重置表单信息为空的方法
2018/09/29 Javascript
JavaScript 替换所有匹配内容及正则替换方法
2020/02/12 Javascript
vue自定义标签和单页面多路由的实现代码
2020/05/03 Javascript
js实现跳一跳小游戏
2020/07/31 Javascript
[01:07]DOTA2次级职业联赛 - Fpb战队宣传片
2014/12/01 DOTA
[01:00:53]OG vs IG 2018国际邀请赛小组赛BO2 第一场 8.18
2018/08/19 DOTA
python求crc32值的方法
2014/10/05 Python
Django日志模块logging的配置详解
2017/02/14 Python
python3学习之Splash的安装与实例教程
2018/07/09 Python
Python Pexpect库的简单使用方法
2019/01/29 Python
pygame实现烟雨蒙蒙下彩虹雨
2019/11/11 Python
序列化Python对象的方法
2020/08/01 Python
django前端页面下拉选择框默认值设置方式
2020/08/09 Python
毕业生物理教师求职信
2013/10/17 职场文书
军训教官感言
2014/03/02 职场文书
上海世博会口号
2014/06/19 职场文书
普通党员四风问题对照检查材料
2014/09/27 职场文书
乡党委干部党的群众路线教育实践活动个人对照检查材料思想汇报
2014/10/01 职场文书
2015年车间安全管理工作总结
2015/05/13 职场文书
《曾国藩家书》读后感——读家书,立家风
2019/08/21 职场文书
nginx处理http请求实现过程解析
2021/03/31 Servers
如何开发一个渐进式Web应用程序PWA
2021/05/10 Javascript