在Python的Tornado框架中实现简单的在线代理的教程


Posted in Python onMay 02, 2015

实现代理的方式很多种,流行的web服务器也大都有代理的功能,比如http://www.tornadoweb.cn用的就是nginx的代理功能做的tornadoweb官网的镜像。

最近,我在开发一个移动运用(以下简称APP)的后台程序(Server),该运用需要调用到另一平台产品(Platform)的API。对于这个系统来说,可选的一种实现方式方式是APP同时跟Server&Platform两者交互;另一种则在Server端封装掉Platform的API,APP只和Server交互。显然后一种方式的系统架构会清晰些,APP编程时也就相对简单。那么如何在Server端封装Platform的API呢,我首先考虑到的就是用代理的方式来实现。碰巧最近Tornado邮件群组里有人在讨论using Tornado as a proxy,贴主提到的运用场景跟我这碰到的场景非常的相似,我把原帖的代码做了些整理和简化,源代码如下:

# -*- coding: utf-8 -*-
#
# Copyright(c) 2011 Felinx Lee & http://feilong.me/
#
# Licensed under the Apache License, Version 2.0 (the "License"); you may
# not use this file except in compliance with the License. You may obtain
# a copy of the License at
#
#   http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS, WITHOUT
# WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the
# License for the specific language governing permissions and limitations
# under the License.
 
import logging
 
import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
import tornado.httpclient
from tornado.web import HTTPError, asynchronous
from tornado.httpclient import HTTPRequest
from tornado.options import define, options
try:
  from tornado.curl_httpclient import CurlAsyncHTTPClient as AsyncHTTPClient
except ImportError:
  from tornado.simple_httpclient import SimpleAsyncHTTPClient as AsyncHTTPClient
 
define("port", default=8888, help="run on the given port", type=int)
define("api_protocol", default="http")
define("api_host", default="feilong.me")
define("api_port", default="80")
define("debug", default=True, type=bool)
 
class ProxyHandler(tornado.web.RequestHandler):
  @asynchronous
  def get(self):
    # enable API GET request when debugging
    if options.debug:
      return self.post()
    else:
      raise HTTPError(405)
 
  @asynchronous
  def post(self):
    protocol = options.api_protocol
    host = options.api_host
    port = options.api_port
 
    # port suffix
    port = "" if port == "80" else ":%s" % port
 
    uri = self.request.uri
    url = "%s://%s%s%s" % (protocol, host, port, uri)
 
    # update host to destination host
    headers = dict(self.request.headers)
    headers["Host"] = host
 
    try:
      AsyncHTTPClient().fetch(
        HTTPRequest(url=url,
              method="POST",
              body=self.request.body,
              headers=headers,
              follow_redirects=False),
        self._on_proxy)
    except tornado.httpclient.HTTPError, x:
      if hasattr(x, "response") and x.response:
        self._on_proxy(x.response)
      else:
        logging.error("Tornado signalled HTTPError %s", x)
 
  def _on_proxy(self, response):
    if response.error and not isinstance(response.error,
                       tornado.httpclient.HTTPError):
      raise HTTPError(500)
    else:
      self.set_status(response.code)
      for header in ("Date", "Cache-Control", "Server", "Content-Type", "Location"):
        v = response.headers.get(header)
        if v:
          self.set_header(header, v)
      if response.body:
        self.write(response.body)
      self.finish()
 
def main():
  tornado.options.parse_command_line()
  application = tornado.web.Application([
    (r"/.*", ProxyHandler),
  ])
  http_server = tornado.httpserver.HTTPServer(application)
  http_server.listen(options.port)
  tornado.ioloop.IOLoop.instance().start()
 
if __name__ == "__main__":
  main()

运行上面的代码后,访问 http://localhost:8888/ 将会完整显示飞龙博客的首页,即代理访问了http://feilong.me/的内容。

我考虑用程序的方式来做代理而不是直接用Nginx来做代理,其中一点是考虑到用程序可以很容易的控制Platform的哪些API是需要代理的,而哪些是要屏蔽掉的,还有哪些可能是要重写的(比如Server的login可能不能直接代理Platform的login,但却要调用到Platform的login API)。

以上这段代码只是做了简单的页面内容代理,并没有对页面进行进一步的解析处理,比如链接替换等,这些就交个有兴趣的朋友去开发了。基于以上这段代码,将其扩展一下,是完全可以实现一个完整的在线代理程序的。

这段代码我已放到了我的实验项目里,见https://bitbucket.org/felinx/labs,我将会放更多类似于这样的实验性质的小项目到这个repository里来,有兴趣的朋友可以关注一下。

转载请注明出处:http://feilong.me/2011/09/tornado-as-a-proxy

Python 相关文章推荐
Python 获取新浪微博的最新公共微博实例分享
Jul 03 Python
一个小示例告诉你Python语言的优雅之处
Jul 04 Python
用生成器来改写直接返回列表的函数方法
May 25 Python
Django 视图层(view)的使用
Nov 09 Python
使用CodeMirror实现Python3在线编辑器的示例代码
Jan 14 Python
Python 函数返回值的示例代码
Mar 11 Python
python3实现mysql导出excel的方法
Jul 31 Python
pygame库实现移动底座弹球小游戏
Apr 14 Python
Python FFT合成波形的实例
Dec 04 Python
Python文本处理简单易懂方法解析
Dec 19 Python
python实现单机五子棋
Aug 28 Python
python实现发送QQ邮件(可加附件)
Dec 23 Python
探究Python的Tornado框架对子域名和泛域名的支持
May 02 #Python
Python编程中运用闭包时所需要注意的一些地方
May 02 #Python
按日期打印Python的Tornado框架中的日志的方法
May 02 #Python
详细解读Python的web.py框架下的application.py模块
May 02 #Python
使用Python的web.py框架实现类似Django的ORM查询的教程
May 02 #Python
在ironpython中利用装饰器执行SQL操作的例子
May 02 #Python
用Python编写简单的定时器的方法
May 02 #Python
You might like
世界上第一台立体声收音机
2021/03/01 无线电
用PHP实现Ftp用户的在线管理的代码
2007/03/06 PHP
又一个PHP实现的冒泡排序算法分享
2014/08/21 PHP
php 批量查询搜狗sogou代码分享
2015/05/17 PHP
php实现图片等比例缩放代码
2015/07/23 PHP
ASP.NET jQuery 实例1(在TextBox里面创建一个默认提示)
2012/01/13 Javascript
对frameset、frame、iframe的js操作示例代码
2013/08/16 Javascript
jquery左右滚动焦点图banner图片鼠标经过显示上下页按钮
2013/10/11 Javascript
jquery选择器-根据多个属性选择示例代码
2013/10/21 Javascript
jquery数组过滤筛选方法grep()简介
2014/06/06 Javascript
45个JavaScript编程注意事项、技巧大全
2015/02/11 Javascript
bootstrap-datetimepicker实现只显示到日期的方法
2016/11/25 Javascript
简单谈谈axios中的get,post方法
2017/06/25 Javascript
基于对象合并功能的实现示例
2017/10/10 Javascript
vue+swiper实现组件化开发的实例代码
2017/10/26 Javascript
Vue实现返回顶部按钮实例代码
2020/10/21 Javascript
[01:41]DOTA2 2015国际邀请赛中国区预选赛第三日战报
2015/05/28 DOTA
简单理解Python中基于生成器的状态机
2015/04/13 Python
python获取指定目录下所有文件名列表的方法
2015/05/20 Python
Python编写登陆接口的方法
2017/07/10 Python
Python中pygal绘制雷达图代码分享
2017/12/07 Python
在PyCharm中实现关闭一个死循环程序的方法
2018/11/29 Python
Django models.py应用实现过程详解
2019/07/29 Python
python 实现"神经衰弱"翻牌游戏
2020/11/09 Python
Python使用paramiko连接远程服务器执行Shell命令的实现
2021/03/04 Python
HTML5+CSS3网页加载进度条的实现,下载进度条的代码实例
2016/12/30 HTML / CSS
html5清空画布方法(三种)
2017/10/16 HTML / CSS
你所在的项目是如何确定版本号的
2015/12/28 面试题
Java语言程序设计测试题选择题部分
2014/04/03 面试题
python+selenium小米商城红米K40手机自动抢购的示例代码
2021/03/24 Python
欢送退休感言
2014/02/08 职场文书
《冬阳童年骆驼队》教学反思
2014/04/15 职场文书
2014年底个人工作总结
2015/03/10 职场文书
2015年党员发展工作总结
2015/05/13 职场文书
JavaScript的Set数据结构详解
2022/02/18 Javascript
如何Tomcat中使用ipv6地址
2022/05/06 Servers