在Python的Tornado框架中实现简单的在线代理的教程


Posted in Python onMay 02, 2015

实现代理的方式很多种,流行的web服务器也大都有代理的功能,比如http://www.tornadoweb.cn用的就是nginx的代理功能做的tornadoweb官网的镜像。

最近,我在开发一个移动运用(以下简称APP)的后台程序(Server),该运用需要调用到另一平台产品(Platform)的API。对于这个系统来说,可选的一种实现方式方式是APP同时跟Server&Platform两者交互;另一种则在Server端封装掉Platform的API,APP只和Server交互。显然后一种方式的系统架构会清晰些,APP编程时也就相对简单。那么如何在Server端封装Platform的API呢,我首先考虑到的就是用代理的方式来实现。碰巧最近Tornado邮件群组里有人在讨论using Tornado as a proxy,贴主提到的运用场景跟我这碰到的场景非常的相似,我把原帖的代码做了些整理和简化,源代码如下:

# -*- coding: utf-8 -*-
#
# Copyright(c) 2011 Felinx Lee & http://feilong.me/
#
# Licensed under the Apache License, Version 2.0 (the "License"); you may
# not use this file except in compliance with the License. You may obtain
# a copy of the License at
#
#   http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS, WITHOUT
# WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the
# License for the specific language governing permissions and limitations
# under the License.
 
import logging
 
import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
import tornado.httpclient
from tornado.web import HTTPError, asynchronous
from tornado.httpclient import HTTPRequest
from tornado.options import define, options
try:
  from tornado.curl_httpclient import CurlAsyncHTTPClient as AsyncHTTPClient
except ImportError:
  from tornado.simple_httpclient import SimpleAsyncHTTPClient as AsyncHTTPClient
 
define("port", default=8888, help="run on the given port", type=int)
define("api_protocol", default="http")
define("api_host", default="feilong.me")
define("api_port", default="80")
define("debug", default=True, type=bool)
 
class ProxyHandler(tornado.web.RequestHandler):
  @asynchronous
  def get(self):
    # enable API GET request when debugging
    if options.debug:
      return self.post()
    else:
      raise HTTPError(405)
 
  @asynchronous
  def post(self):
    protocol = options.api_protocol
    host = options.api_host
    port = options.api_port
 
    # port suffix
    port = "" if port == "80" else ":%s" % port
 
    uri = self.request.uri
    url = "%s://%s%s%s" % (protocol, host, port, uri)
 
    # update host to destination host
    headers = dict(self.request.headers)
    headers["Host"] = host
 
    try:
      AsyncHTTPClient().fetch(
        HTTPRequest(url=url,
              method="POST",
              body=self.request.body,
              headers=headers,
              follow_redirects=False),
        self._on_proxy)
    except tornado.httpclient.HTTPError, x:
      if hasattr(x, "response") and x.response:
        self._on_proxy(x.response)
      else:
        logging.error("Tornado signalled HTTPError %s", x)
 
  def _on_proxy(self, response):
    if response.error and not isinstance(response.error,
                       tornado.httpclient.HTTPError):
      raise HTTPError(500)
    else:
      self.set_status(response.code)
      for header in ("Date", "Cache-Control", "Server", "Content-Type", "Location"):
        v = response.headers.get(header)
        if v:
          self.set_header(header, v)
      if response.body:
        self.write(response.body)
      self.finish()
 
def main():
  tornado.options.parse_command_line()
  application = tornado.web.Application([
    (r"/.*", ProxyHandler),
  ])
  http_server = tornado.httpserver.HTTPServer(application)
  http_server.listen(options.port)
  tornado.ioloop.IOLoop.instance().start()
 
if __name__ == "__main__":
  main()

运行上面的代码后,访问 http://localhost:8888/ 将会完整显示飞龙博客的首页,即代理访问了http://feilong.me/的内容。

我考虑用程序的方式来做代理而不是直接用Nginx来做代理,其中一点是考虑到用程序可以很容易的控制Platform的哪些API是需要代理的,而哪些是要屏蔽掉的,还有哪些可能是要重写的(比如Server的login可能不能直接代理Platform的login,但却要调用到Platform的login API)。

以上这段代码只是做了简单的页面内容代理,并没有对页面进行进一步的解析处理,比如链接替换等,这些就交个有兴趣的朋友去开发了。基于以上这段代码,将其扩展一下,是完全可以实现一个完整的在线代理程序的。

这段代码我已放到了我的实验项目里,见https://bitbucket.org/felinx/labs,我将会放更多类似于这样的实验性质的小项目到这个repository里来,有兴趣的朋友可以关注一下。

转载请注明出处:http://feilong.me/2011/09/tornado-as-a-proxy

Python 相关文章推荐
盘点提高 Python 代码效率的方法
Jul 03 Python
python中使用urllib2获取http请求状态码的代码例子
Jul 07 Python
Python中itertools模块用法详解
Sep 25 Python
python通过colorama模块在控制台输出彩色文字的方法
Mar 19 Python
Python 常用 PEP8 编码规范详解
Jan 22 Python
Tornado协程在python2.7如何返回值(实现方法)
Jun 22 Python
python下载图片实现方法(超简单)
Jul 21 Python
Django视图、传参和forms验证操作
Jul 15 Python
matplotlib 画双轴子图无法显示x轴的解决方法
Jul 27 Python
详解Python中@staticmethod和@classmethod区别及使用示例代码
Dec 14 Python
python 如何执行控制台命令与操作剪切板
May 20 Python
使用pipenv管理python虚拟环境的全过程
Sep 25 Python
探究Python的Tornado框架对子域名和泛域名的支持
May 02 #Python
Python编程中运用闭包时所需要注意的一些地方
May 02 #Python
按日期打印Python的Tornado框架中的日志的方法
May 02 #Python
详细解读Python的web.py框架下的application.py模块
May 02 #Python
使用Python的web.py框架实现类似Django的ORM查询的教程
May 02 #Python
在ironpython中利用装饰器执行SQL操作的例子
May 02 #Python
用Python编写简单的定时器的方法
May 02 #Python
You might like
Thinkphp模板中使用自定义函数的方法
2012/09/23 PHP
phpmyadmin config.inc.php配置示例
2013/08/27 PHP
深入解析PHP的Yii框架中的缓存功能
2016/03/29 PHP
详解PHP编码转换函数应用技巧
2016/10/22 PHP
editable.js 基于jquery的表格的编辑插件
2011/10/24 Javascript
从jquery的过滤器.filter()方法想到的
2013/09/29 Javascript
判断某个字符在一个字符串中是否存在的js代码
2014/02/28 Javascript
JavaScript利用正则表达式去除日期中的-
2014/06/09 Javascript
JavaScript页面模板库handlebars的简单用法
2015/03/02 Javascript
JavaScript编写推箱子游戏
2015/07/07 Javascript
每天一篇javascript学习小结(Boolean对象)
2015/11/12 Javascript
js调用屏幕宽度的简单方法
2016/11/14 Javascript
Vue.js实战之组件之间的数据传递
2017/04/01 Javascript
vue2.0结合Element实现select动态控制input禁用实例
2017/05/12 Javascript
浅谈vue项目可以从哪些方面进行优化
2018/05/05 Javascript
JavaScript中filter的用法实例分析
2019/02/27 Javascript
详解Webpack4多页应用打包方案
2020/07/16 Javascript
如何利用node转发请求详解
2020/09/17 Javascript
[26:24]完美副总裁、DOTA2负责人蔡玮专访:电竞如人生
2014/09/11 DOTA
Python中利用sqrt()方法进行平方根计算的教程
2015/05/15 Python
python自动zip压缩目录的方法
2015/06/28 Python
Python基于PycURL自动处理cookie的方法
2015/07/25 Python
python分析作业提交情况
2017/11/22 Python
使用python实现滑动验证码功能
2019/08/05 Python
python实现的多任务版udp聊天器功能案例
2019/11/13 Python
python读取当前目录下的CSV文件数据
2020/03/11 Python
解决pycharm中的run和debug失效无法点击运行
2020/06/09 Python
Python使用Opencv实现边缘检测以及轮廓检测的实现
2020/12/31 Python
html5+CSS3+JS实现七夕言情功能代码
2017/08/28 HTML / CSS
Nike瑞士官网:Nike CH
2021/01/18 全球购物
介绍java中初始化块的使用
2012/09/11 面试题
集团公司人力资源部岗位职责
2014/01/03 职场文书
房屋委托书范本
2014/04/04 职场文书
工厂车间标语
2014/06/19 职场文书
优秀大学生事迹材料
2014/12/24 职场文书
php7中停止php-fpm服务的方法详解
2021/05/09 PHP