在Docker上开始部署Python应用的教程


Posted in Python onApril 17, 2015

几周前, Elastic Beanstalk声明在AWS云中配置和管理Docker容器。在本文中,我们通过一个简单的注册表单页面应用去理解Docker部署过程,该表单使用Elastic Beanstalk Python环境。
关于注册表单应用

几个月之前,我们就已经开发完这个应用并且发表在博客上。有4部分视频和一篇文章“Using DynamoDB and SNS with Elastic Beanstalk in any Supported AWS Region”。今天,我们将在这部分内容之上进一步的开发和讨论我们怎样部署在在Docker和Elastic Beanstalk环境中。本文将分成4个部分讲解。
参考资源

原始的Python应用(非Docker化)源代码托管在GitHub上(master版本),网址为https://github.com/awslabs/eb-py-flask-signup/tree/docker。Docker化的版本在docker版本中,网址为:https://github.com/awslabs/eb-py-flask-signup/tree/docker

如果你喜欢代码和不同版本间的比对,你可利用GitHub对比功能查看两个版本的区别。网址为https://github.com/awslabs/eb-py-flask-signup/compare/master...docker。你也可以查看Docker化后添加的每个文件或者每行代码。


Docker化阶段1:添加Dockerfile文件

首先从GitHub上克隆源代码:
 

$> git clone git@github.com:awslabs/eb-py-flask-signup.git
$> cd eb-py-flask-signup
$> git checkout master

通过查看目录内容,知道这是一个简单的Python应用,使用Flask框架,Boto和一些其他的依赖(在requirements.txt中声明了该依赖),其中Boto用于DynamoDB和SNS的互动。

足够简单,以至于我们只需创建一个Dockerfile,构建一个适用于运行该应用的镜像。Dockerfile和其他应用源均放在目录中(即,和requirements.txt, application.py等等放在一块)。

 

FROM ubuntu:12.10
 
# Install Python Setuptools
RUN apt-get install -y python-setuptools
 
# Install pip
RUN easy_install pip
 
# Add and install Python modules
ADD requirements.txt /src/requirements.txt
RUN cd /src; pip install -r requirements.txt
 
# Bundle app source
ADD . /src
 
# Expose
EXPOSE 5000
 
# Run
CMD ["python", "/src/application.py"]

Docker化阶段 2 :在本地测试

虽然这个应用程序需要一个DynamoDB表和SNS主题来完成全部功能,不过我可以但没有测试它们:

首先, 构建 Docker 镜像:

 

$> docker build -t eb-py-sample .

最后 (直接到可以使用后!),通过构建好的image运行一个container (映射 container 的5000端口到主机的8080端口, 并且按照下面的代码设置一些环境变量):
 

$> docker run -d \
   -e APP_CONFIG=application.config.example \
   -e AWS_ACCESS_KEY_ID=$AWS_ACCESS_KEY_ID \
   -e AWS_SECRET_ACCESS_KEY=$AWS_SECRET_ACCESS_KEY \
   -p 8080:5000 \
   eb-py-sample

在 OS X上,我打开 http://localhost:8080链接,下图显示的就是我的一个应用程序!

在Docker上开始部署Python应用的教程

   

边栏:我们使用-e选项来传递一些选项:

        APP_CONFIG: 这个程序使用这个选项加载(指向)它的配置文件. 默认我们指定一个默认的配置文件。 你可以创建一个 DynamoDB 表和SNS 主题并且将他们添加到这个配置文件中,以使你的应用程序在本地开发的时候可以更完美的工作。
          AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY: 这个应用程序使用 Boto 来连接 DynamoDB 和SNS, 并且 Boto 使用这些环境变量来认证请求以上服务。这些设置仅仅是为了本地开发。 当我们向 Elastic Beanstalk 部署时将使用统一身份和访问控制方案(IAM) 角色(Roles)。

Docker 化阶段 3: 修改  .ebextensions

我们的应用程序拥有一个特殊的文件夹 .ebextensions,里面有个 setup.config 文件。我们使用这个文件通知来 Elastic Beanstalk 创建我们程序所需要的 DynamoDB 表和 SNS 主题, 同时他会创建一个配置文件   /var/app/app.config  ,这个文件包含了我们刚才创建的 DynamoDB 表和 SNS 主题的名字。

这个文件中还有一些特殊的地方是他拥有特殊的在 Elastic Beanstalk(相对于 Docker)中的 Python的环境类型(python版本?) ,我们需要把他们移除掉:

修改 files 的成员,并且移除掉 owner 和 group 键,使他看起来像下面的这些:

 

files:
 "/var/app/app.config":
  mode: "000444"
  content: |
   AWS_REGION = '`{ "Ref" : "AWS::Region"}`'
   STARTUP_SIGNUP_TABLE = '`{ "Ref" : "StartupSignupsTable"}`'
   NEW_SIGNUP_TOPIC = '`{ "Ref" : "NewSignupTopic"}`'

修改 option_settings ,删除静态文件映射。使他看起来像下面的这些:
 

option_settings:
 "aws:elasticbeanstalk:customoption":
   "AlarmEmail" : "nobody@amazon.com"
 "aws:elasticbeanstalk:application:environment":
  "APP_CONFIG": "/var/app/app.config"
  "FLASK_DEBUG": "false"
  "THEME": "flatly"

检查一下setup.config文件,确认前面的所有变化是否正确,或者可以参考托管在在GitHub上的setup.config。

Docker化阶段4: 部署到Elastic Beanstalk

我已经建立并测试了我的本地容器,移除了一些.ebextensions,它是特定的Elastic Beanstalk Python环境,我已经信心满满地准备部署它了!

我创建了一个文件,名字叫做Dockerrun.aws.json,与此类似,我创建了Dockerfile。这个文件将会告诉Elastic Beanstalk 怎么去运行Docker容器并且它看起来像是这样的(这个文件的详细信息,请参阅下方)。

 

{
  "AWSEBDockerrunVersion": "1",
  "Volumes": [
   {
    "ContainerDirectory": "/var/app",
    "HostDirectory": "/var/app"
   }
  ],
  "Logging": "/var/eb_log"
 }

关于Dockerrun.aws.json

Volumes成员将会在EC2上映射/var/app实例到容器上的/var/app。Docker容器通过访问app.config文件并通过创建.ebextensions/setup.config得以让app在容器上运行。Logging成员告诉Elastic Beanstalk我们的Docker app将会记录日志到/var/eb_log到容器中。在控制台里,无论什么时候你点击Snapshot Logs或者如果你启用自动日志轮转,Beanstalk将会自动推送日志/var/eb_log到这个目录。

我将提交我的修改,并且使用 git archive 来生成一个zip文件以便部署到Elastic Beanstalk上(你可以使用zip工具、Finder或Windows 资源管理器来打包):
 

$> git add Docker* && git commit -am "Dockerized"
$> git archive --format=zip HEAD > eb-py-flask-signup.zip

之后,我通过 Elastic Beanstalk Management Console 来部署生成后的zip包

在Docker上开始部署Python应用的教程

当我的环境通过之后,我可以访问它,确保它可以正常工作:

在Docker上开始部署Python应用的教程

我还保存了环境日志的快照:

在Docker上开始部署Python应用的教程

由于我之前往Dockerrun.aws.json文件中添加了Logging 成员,所以,容器中输出到/var/eb_log中的日志可以被定向到S3,并且我可以在浏览器中访问它们:

在Docker上开始部署Python应用的教程

Python 相关文章推荐
python中使用正则表达式的后向搜索肯定模式(推荐)
Nov 11 Python
浅析Git版本控制器使用
Dec 10 Python
python装饰器-限制函数调用次数的方法(10s调用一次)
Apr 21 Python
pytorch permute维度转换方法
Dec 14 Python
python读取txt文件,去掉空格计算每行长度的方法
Dec 20 Python
python解析含有重复key的json方法
Jan 22 Python
Python Numpy计算各类距离的方法
Jul 05 Python
Python3 执行系统命令并获取实时回显功能
Jul 09 Python
Python绘制三角函数图(sin\cos\tan)并标注特定范围的例子
Dec 04 Python
通过实例解析python描述符原理作用
Jan 22 Python
Django之choices选项和富文本编辑器的使用详解
Apr 01 Python
python邮件中附加文字、html、图片、附件实现方法
Jan 04 Python
使用Python装饰器在Django框架下去除冗余代码的教程
Apr 16 #Python
在服务器端实现无间断部署Python应用的教程
Apr 16 #Python
使用Protocol Buffers的C语言拓展提速Python程序的示例
Apr 16 #Python
使用Python编写一个模仿CPU工作的程序
Apr 16 #Python
利用Python中的mock库对Python代码进行模拟测试
Apr 16 #Python
使用Python脚本来控制Windows Azure的简单教程
Apr 16 #Python
在Python下利用OpenCV来旋转图像的教程
Apr 16 #Python
You might like
《一拳超人》埼玉一拳下去,他们存在了800年毫无意义!
2020/03/02 日漫
PHP迅雷、快车、旋风下载专用链转换代码
2010/06/15 PHP
PHP中redis的用法深入解析
2014/02/20 PHP
Laravel实现用户注册和登录
2015/01/23 PHP
示例详解Laravel的注册重构
2016/08/14 PHP
php+redis实现多台服务器内网存储session并读取示例
2017/01/12 PHP
PHP pthreads v3下worker和pool的使用方法示例
2020/02/21 PHP
Web开发者必备的12款超赞jQuery插件
2010/12/03 Javascript
关于js拖拽上传 [一个拖拽上传修改头像的流程]
2011/07/13 Javascript
ie支持function.bind()方法实现代码
2012/12/27 Javascript
简介JavaScript中valueOf()方法的使用
2015/06/05 Javascript
JavaScript中var关键字的使用详解
2015/08/14 Javascript
关于function类中定义变量this的简单说明
2016/05/28 Javascript
BootStrap Table后台分页时前台删除最后一页所有数据refresh刷新后无数据问题
2016/12/28 Javascript
js实现图片360度旋转
2017/01/22 Javascript
Angular.JS中的指令引用template与指令当做属性详解
2017/03/30 Javascript
vue-cli脚手架引入图片的几种方法总结
2018/03/13 Javascript
vue和webpack打包项目相对路径修改的方法
2018/06/15 Javascript
详解webpack打包后如何调试的方法步骤
2018/11/07 Javascript
[44:22]完美世界DOTA2联赛循环赛 FTD vs PXG BO2第一场 11.01
2020/11/02 DOTA
浅谈python import引入不同路径下的模块
2017/07/11 Python
解决django FileFIELD的编码问题
2020/03/30 Python
Python运行提示缺少模块问题解决方案
2020/04/02 Python
Python selenium爬取微博数据代码实例
2020/05/22 Python
详解android与HTML混合开发总结
2018/06/06 HTML / CSS
天猫精选:上天猫,就够了
2016/09/21 全球购物
仓管员岗位责任制
2014/02/19 职场文书
国际贸易毕业生求职信范文
2014/02/21 职场文书
合同意向书范本
2014/07/30 职场文书
大一新生检讨书
2014/10/29 职场文书
工作失职检讨书范文
2015/05/05 职场文书
Django操作cookie的实现
2021/05/26 Python
Vue-Element-Admin集成自己的接口实现登录跳转
2021/06/23 Vue.js
Redis 操作多个数据库的配置的方法实现
2022/03/23 Redis
td 内容自动换行 table表格td设置宽度后文字太多自动换行
2022/12/24 HTML / CSS
Android实现获取短信验证码并自动填充
2023/05/21 Java/Android