Python如何实现远程方法调用


Posted in Python onAugust 07, 2020

问题

你想在一个消息传输层如 sockets 、multiprocessing connections 或 ZeroMQ 的基础之上实现一个简单的远程过程调用(RPC)。

解决方案

将函数请求、参数和返回值使用pickle编码后,在不同的解释器直接传送pickle字节字符串,可以很容易的实现RPC。 下面是一个简单的PRC处理器,可以被整合到一个服务器中去:

# rpcserver.py

import pickle
class RPCHandler:
  def __init__(self):
    self._functions = { }

  def register_function(self, func):
    self._functions[func.__name__] = func

  def handle_connection(self, connection):
    try:
      while True:
        # Receive a message
        func_name, args, kwargs = pickle.loads(connection.recv())
        # Run the RPC and send a response
        try:
          r = self._functions[func_name](*args,**kwargs)
          connection.send(pickle.dumps(r))
        except Exception as e:
          connection.send(pickle.dumps(e))
    except EOFError:
       pass

要使用这个处理器,你需要将它加入到一个消息服务器中。你有很多种选择, 但是使用 multiprocessing 库是最简单的。下面是一个RPC服务器例子:

from multiprocessing.connection import Listener
from threading import Thread

def rpc_server(handler, address, authkey):
  sock = Listener(address, authkey=authkey)
  while True:
    client = sock.accept()
    t = Thread(target=handler.handle_connection, args=(client,))
    t.daemon = True
    t.start()

# Some remote functions
def add(x, y):
  return x + y

def sub(x, y):
  return x - y

# Register with a handler
handler = RPCHandler()
handler.register_function(add)
handler.register_function(sub)

# Run the server
rpc_server(handler, ('localhost', 17000), authkey=b'peekaboo')

为了从一个远程客户端访问服务器,你需要创建一个对应的用来传送请求的RPC代理类。例如

import pickle

class RPCProxy:
  def __init__(self, connection):
    self._connection = connection
  def __getattr__(self, name):
    def do_rpc(*args, **kwargs):
      self._connection.send(pickle.dumps((name, args, kwargs)))
      result = pickle.loads(self._connection.recv())
      if isinstance(result, Exception):
        raise result
      return result
    return do_rpc

要使用这个代理类,你需要将其包装到一个服务器的连接上面,例如:

>>> from multiprocessing.connection import Client
>>> c = Client(('localhost', 17000), authkey=b'peekaboo')
>>> proxy = RPCProxy(c)
>>> proxy.add(2, 3)

5
>>> proxy.sub(2, 3)
-1
>>> proxy.sub([1, 2], 4)
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
 File "rpcserver.py", line 37, in do_rpc
  raise result
TypeError: unsupported operand type(s) for -: 'list' and 'int'
>>>

要注意的是很多消息层(比如 multiprocessing )已经使用pickle序列化了数据。 如果是这样的话,对 pickle.dumps() 和 pickle.loads() 的调用要去掉。

讨论

RPCHandler 和 RPCProxy 的基本思路是很比较简单的。 如果一个客户端想要调用一个远程函数,比如 foo(1, 2, z=3) ,代理类创建一个包含了函数名和参数的元组 ('foo', (1, 2), {'z': 3}) 。 这个元组被pickle序列化后通过网络连接发生出去。 这一步在 RPCProxy 的 __getattr__() 方法返回的 do_rpc() 闭包中完成。 服务器接收后通过pickle反序列化消息,查找函数名看看是否已经注册过,然后执行相应的函数。 执行结果(或异常)被pickle序列化后返回发送给客户端。我们的实例需要依赖 multiprocessing 进行通信。 不过,这种方式可以适用于其他任何消息系统。例如,如果你想在ZeroMQ之上实习RPC, 仅仅只需要将连接对象换成合适的ZeroMQ的socket对象即可。

由于底层需要依赖pickle,那么安全问题就需要考虑了 (因为一个聪明的黑客可以创建特定的消息,能够让任意函数通过pickle反序列化后被执行)。 因此你永远不要允许来自不信任或未认证的客户端的RPC。特别是你绝对不要允许来自Internet的任意机器的访问, 这种只能在内部被使用,位于防火墙后面并且不要对外暴露。

作为pickle的替代,你也许可以考虑使用JSON、XML或一些其他的编码格式来序列化消息。 例如,本机实例可以很容易的改写成JSON编码方案。还需要将 pickle.loads() 和 pickle.dumps() 替换成 json.loads() 和 json.dumps() 即可:

# jsonrpcserver.py
import json

class RPCHandler:
  def __init__(self):
    self._functions = { }

  def register_function(self, func):
    self._functions[func.__name__] = func

  def handle_connection(self, connection):
    try:
      while True:
        # Receive a message
        func_name, args, kwargs = json.loads(connection.recv())
        # Run the RPC and send a response
        try:
          r = self._functions[func_name](*args,**kwargs)
          connection.send(json.dumps(r))
        except Exception as e:
          connection.send(json.dumps(str(e)))
    except EOFError:
       pass

# jsonrpcclient.py
import json

class RPCProxy:
  def __init__(self, connection):
    self._connection = connection
  def __getattr__(self, name):
    def do_rpc(*args, **kwargs):
      self._connection.send(json.dumps((name, args, kwargs)))
      result = json.loads(self._connection.recv())
      return result
    return do_rpc

实现RPC的一个比较复杂的问题是如何去处理异常。至少,当方法产生异常时服务器不应该奔溃。 因此,返回给客户端的异常所代表的含义就要好好设计了。 如果你使用pickle,异常对象实例在客户端能被反序列化并抛出。如果你使用其他的协议,那得想想另外的方法了。 不过至少,你应该在响应中返回异常字符串。我们在JSON的例子中就是使用的这种方式。

以上就是Python如何实现远程方法调用的详细内容,更多关于Python远程方法调用的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python设置windows桌面壁纸的实现代码
Jan 28 Python
python连接mongodb操作数据示例(mongodb数据库配置类)
Dec 31 Python
python中将字典转换成其json字符串
Jul 16 Python
python通过文件头判断文件类型
Oct 30 Python
分析python请求数据
Aug 19 Python
Python爬虫之正则表达式的使用教程详解
Oct 25 Python
Python面向对象程序设计示例小结
Jan 30 Python
对Python3 goto 语句的使用方法详解
Feb 16 Python
Python3 执行Linux Bash命令的方法
Jul 12 Python
使用pandas库对csv文件进行筛选保存
May 25 Python
Python实现ElGamal加密算法的示例代码
Jun 19 Python
解决pycharm不能自动保存在远程linux中的问题
Feb 06 Python
记一次django内存异常排查及解决方法
Aug 07 #Python
python正则表达式 匹配反斜杠的操作方法
Aug 07 #Python
Pygame框架实现飞机大战
Aug 07 #Python
python爬取网易云音乐热歌榜实例代码
Aug 07 #Python
Python变量格式化输出实现原理解析
Aug 06 #Python
Python实现Canny及Hough算法代码实例解析
Aug 06 #Python
vscode调试django项目的方法
Aug 06 #Python
You might like
多数据表共用一个页的新闻发布
2006/10/09 PHP
PHP连接SQL Server的方法分析【基于thinkPHP5.1框架】
2019/05/06 PHP
前淘宝前端开发工程师阿当的PPT中有JS技术理念问题
2010/01/15 Javascript
jquery移除、绑定、触发元素事件使用示例详解
2014/04/10 Javascript
js实现仿网易点击弹出提示同时背景变暗效果
2015/08/13 Javascript
基于jquery实现无限级树形菜单
2016/03/22 Javascript
jQuery实现日期联动效果实例
2016/07/26 Javascript
JS弹出新窗口被拦截的解决方法
2016/08/09 Javascript
ReactNative-JS 调用原生方法实例代码
2016/10/08 Javascript
JavaScript获取当前时间向前推三个月的方法示例
2017/02/04 Javascript
JavaScript制作简易计算器(不用eval)
2017/02/05 Javascript
关于Promise 异步编程的实例讲解
2017/09/01 Javascript
微信小程序简单实现form表单获取输入数据功能示例
2017/11/30 Javascript
vue框架搭建之axios使用教程
2018/07/11 Javascript
vue 指令之气泡提示效果的实现代码
2018/10/18 Javascript
使用Angular自定义字段校验指令的方法示例
2019/02/01 Javascript
如何利用ES6进行Promise封装总结
2019/02/11 Javascript
angularjs实现table表格td单元格单击变输入框/可编辑状态示例
2019/02/21 Javascript
微信小程序实现蓝牙打印
2019/09/23 Javascript
解决layui table表单提示数据接口请求异常的问题
2019/09/24 Javascript
Vue.js计算机属性computed和methods方法详解
2019/10/12 Javascript
浅析JS中NEW的实现原理及重写
2020/02/20 Javascript
[03:46]DAC趣味视频-中文考试.mp4
2017/04/02 DOTA
利用TensorFlow训练简单的二分类神经网络模型的方法
2018/03/05 Python
python中字符串比较使用is、==和cmp()总结
2018/03/18 Python
python多进程并发demo实例解析
2019/12/13 Python
python实现的分析并统计nginx日志数据功能示例
2019/12/21 Python
Python求平面内点到直线距离的实现
2020/01/19 Python
Python3实现打印任意宽度的菱形代码
2020/04/12 Python
在python中求分布函数相关的包实例
2020/04/15 Python
基于MUI框架使用HTML5实现的二维码扫描功能
2018/03/01 HTML / CSS
新年团拜会主持词
2014/04/02 职场文书
施工安全责任书范本
2014/07/24 职场文书
119消防日活动总结
2014/08/29 职场文书
2015年客服工作总结范文
2015/04/02 职场文书
党委工作总结2015
2015/04/27 职场文书