python fabric实现远程操作和部署示例


Posted in Python onMarch 25, 2014

近期接手越来越多的东西,发布和运维的工作相当机械,加上频率还蛮高,导致时间浪费还是优点多。修复bug什么的,测试,提交版本库(2分钟),ssh到测试环境pull部署(2分钟),rsync到线上机器A,B,C,D,E(1分钟),分别ssh到ABCDE五台机器,逐一重启(8-10分钟) = 13-15分钟其中郁闷的是,每次操作都是相同的,命令一样,要命的是在多个机器上,很难在本机一个脚本搞定,主要时间都浪费在ssh,敲命令上了,写成脚本,完全可以一键执行,花两分钟看下执行结果

直到,发现了fabric可以将自动化部署或者多机操作的命令固化到一个脚本里和某些运维工具很像,用它主要是因为,简单好用易上手,当然,shell各种命令组合起来也可以,上古神器和现代兵器的区别

环境配置

在本机和目标机器安装对应包(注意,都要有)

sudo easy_install fabric

目前是1.6版本(或者用pip install,一样的)

安装完后,可以查看是否安装成功

[ken@~$] which fab
/usr/local/bin/fab

装完之后,可以浏览下官方文档

然后,可以动手了

hello world
先进行本机简单操作,有一个初步认识,例子来源与官网

新建一个py脚本: fabfile.py

def hello():
    print("Hello world!")

命令行执行:
[ken@~/tmp/fab$] fab hello
Hello world!

Done.
注意,这里可以不用fabfile作为文件名,但是在执行时需指定文件

[ken@~/tmp/fab$] mv fabfile.py test.py
fabfile.py -> test.py
[ken@~/tmp/fab$] fab hello
Fatal error: Couldn't find any fabfiles!
Remember that -f can be used to specify fabfile path, and use -h for help.
Aborting.
[ken@~/tmp/fab$] fab -f test.py hello
Hello world!

Done.
带参数:

修改fabfile.py脚本:

def hello(name, value):
    print("%s = %s!" % (name, value))

执行

[ken@~/tmp/fab$] fab hello:name=age,value=20
age = 20!
Done.
[ken@~/tmp/fab$] fab hello:age,20
age = 20!

Done.
执行本机操作
简单的本地操作:

from fabric.api import local
def lsfab():
    local('cd ~/tmp/fab')
    local('ls')

结果:

[ken@~/tmp/fab$] pwd;ls
/Users/ken/tmp/fab
fabfile.py   fabfile.pyc  test.py      test.pyc
[ken@~/tmp/fab$] fab -f test.py lsfab
[localhost] local: cd ~/tmp/fab
[localhost] local: ls
fabfile.py  fabfile.pyc test.py     test.pyc

Done.
实战开始:

假设,你每天要提交一份配置文件settings.py到版本库(这里没有考虑冲突的情况)

如果是手工操作:

cd /home/project/test/conf/
git add settings.py
git commit -m 'daily update settings.py'
git pull origin
git push origin

也就是说,这几个命令你每天都要手动敲一次,所谓daily job,就是每天都要重复的,机械化的工作,让我们看看用fabric怎么实现一键搞定:(其实用shell脚本可以直接搞定,但是fab的优势不是在这里,这里主要位后面本地+远端操作做准备,毕竟两个地方的操作写一种脚本便于维护)

from fabric.api import local
def setting_ci():
    local("cd /home/project/test/conf/")
    local("git add settings.py")
    #后面你懂的,懒得敲了…..

混搭整合远端操作
这时候,假设,你要到机器A的/home/ken/project对应项目目录把配置文件更新下来

#!/usr/bin/env python
# encoding: utf-8
from fabric.api import local,cd,run
env.hosts=['user@ip:port',] #ssh要用到的参数
env.password = 'pwd'
def setting_ci():
    local('echo "add and commit settings in local"')
    #刚才的操作换到这里,你懂的
def update_setting_remote():
    print "remote update"
    with cd('~/temp'):   #cd用于进入某个目录
        run('ls -l | wc -l')  #远程操作用run
def update():
    setting_ci()
    update_setting_remote()

然后,执行之:

[ken@~/tmp/fab$] fab -f deploy.py update
[user@ip:port] Executing task 'update'
[localhost] local: echo "add and commit settings in local"
add and commit settings in local
remote update
[user@ip:port] run: ls -l | wc -l
[user@ip:port] out: 12
[user@ip:port] out:

Done.
注意,如果不声明env.password,执行到对应机器时会跳出要求输入密码的交互

多服务器混搭
操作多个服务器,需要配置多个host

#!/usr/bin/env python
# encoding: utf-8
from fabric.api import *
#操作一致的服务器可以放在一组,同一组的执行同一套操作
env.roledefs = {
            'testserver': ['user1@host1:port1',],  
            'realserver': ['user2@host2:port2', ]
            }
#env.password = '这里不要用这种配置了,不可能要求密码都一致的,明文编写也不合适。打通所有ssh就行了'
@roles('testserver')
def task1():
    run('ls -l | wc -l')
@roles('realserver')
def task2():
    run('ls ~/temp/ | wc -l')
def dotask():
    execute(task1)
    execute(task2)

结果:

[ken@~/tmp/fab$] fab -f mult.py dotask
[user1@host1:port1] Executing task 'task1'
[user1@host1:port1] run: ls -l | wc -l
[user1@host1:port1] out: 9
[user1@host1:port1] out:
[user2@host2:port2] Executing task 'task2'
[user2@host2:port2] run: ls ~/temp/ | wc -l
[user2@host2:port2] out: 11
[user2@host2:port2] out:

Done.
扩展
1.颜色

可以打印颜色,在查看操作结果信息的时候更为醒目和方便

from fabric.colors import *
def show():
    print green('success')
    print red('fail')
    print yellow('yellow')
#fab -f color.py show

2.错误和异常

关于错误处理

默认,一组命令,上一个命令执行失败后,不会接着往下执行

失败后也可以进行不一样的处理, 文档

目前没用到,后续用到再看了

3.密码管理

看文档

更好的密码管理方式,哥比较土,没打通,主要是服务器列表变化频繁,我的处理方式是:

1.host,user,port,password配置列表,所有的都写在一个文件

或者直接搞到脚本里,当然这个更........

env.hosts = [
'host1',
'host2'

]
env.passwords = { 
'host1': "pwdofhost1",
'host2': "pwdofhost2",
}

 或者

env.roledefs = {
'testserver': ['host1', 'host2'],
'realserver': ['host3', ]
}
env.passwords = {
'host1': "pwdofhost1",
'host2': "pwdofhost2",
'host3': "pwdofhost3", 
}

2.根据key解析成map嵌套,放到deploy中

另外命令其实也可以固化成一个cmds列表的…..

Python 相关文章推荐
Python中用sleep()方法操作时间的教程
May 22 Python
详解python的几种标准输出重定向方式
Aug 15 Python
Python中使用支持向量机SVM实践
Dec 27 Python
Python 元类实例解析
Apr 04 Python
Python 实现Windows开机运行某软件的方法
Oct 14 Python
python 实现UTC时间加减的方法
Dec 31 Python
python实现大文件分割与合并
Jul 22 Python
Python中断多重循环的思路总结
Oct 04 Python
Python变量作用域LEGB用法解析
Feb 04 Python
三步解决python PermissionError: [WinError 5]拒绝访问的情况
Apr 22 Python
Django admin管理工具TabularInline类用法详解
May 14 Python
Python实现画图软件功能方法详解
Jul 28 Python
python基础教程之数字处理(math)模块详解
Mar 25 #Python
python操作摄像头截图实现远程监控的例子
Mar 25 #Python
python基础教程之字典操作详解
Mar 25 #Python
python基础教程之元组操作使用详解
Mar 25 #Python
python基础教程之简单入门说明(变量和控制语言使用方法)
Mar 25 #Python
python使用循环实现批量创建文件夹示例
Mar 25 #Python
python实现图片批量剪切示例
Mar 25 #Python
You might like
PHP代码实现表单数据验证类
2015/07/28 PHP
浅析ThinkPHP缓存之快速缓存(F方法)和动态缓存(S方法)(日常整理)
2015/10/26 PHP
PHP接收json 并将接收数据插入数据库的实现代码
2015/12/01 PHP
查看大图功能代码jquery版
2013/11/05 Javascript
javascript模拟订火车票和退票示例
2014/04/24 Javascript
javascript版的in_array函数(判断数组中是否存在特定值)
2014/05/09 Javascript
JS实现仿京东淘宝竖排二级导航
2014/12/08 Javascript
Javascript实现快速排序(Quicksort)的算法详解
2015/09/06 Javascript
JavaScript实现下拉菜单的显示和隐藏
2016/01/05 Javascript
jQuery实现图片走马灯效果的原理分析
2016/01/16 Javascript
Google 地图叠加层实例讲解
2016/08/06 Javascript
百度搜索框智能提示案例jsonp
2016/11/28 Javascript
JavaScript中清空数组的方法总结
2016/12/02 Javascript
angular-ui-sortable实现可拖拽排序列表
2016/12/28 Javascript
ES6学习教程之Map的常用方法总结
2017/08/03 Javascript
gulp教程_从入门到项目中快速上手使用方法
2017/09/14 Javascript
vue强制刷新组件的方法示例
2019/02/28 Javascript
微信小程序实现的五星评价功能示例
2019/04/25 Javascript
jQuery操作元素的内容和样式完整实例分析
2020/01/10 jQuery
一篇超完整的Vue新手入门指导教程
2020/11/18 Vue.js
[14:00]DOTA2国际邀请赛史上最长大战 赛后专访B神
2013/08/10 DOTA
[02:37]2018DOTA2亚洲邀请赛赛前采访-EG篇
2018/04/03 DOTA
python解决js文件utf-8编码乱码问题(推荐)
2018/05/02 Python
python Web开发你要理解的WSGI & uwsgi详解
2018/08/01 Python
Django Rest framework之认证的实现代码
2018/12/17 Python
ubuntu上安装python的实例方法
2019/09/30 Python
python输出pdf文档的实例
2020/02/13 Python
Python 绘制可视化折线图
2020/07/22 Python
教师自我剖析材料(群众路线)
2014/09/29 职场文书
2015年社区卫生工作总结
2015/04/21 职场文书
教师信息技术学习心得体会
2016/01/21 职场文书
让人瞬间清醒的句子,句句经典,字字如金
2019/07/08 职场文书
2019年“我为祖国点赞”演讲稿(3篇)
2019/09/26 职场文书
MySQL触发器的使用
2021/05/24 MySQL
JVM钩子函数的使用场景详解
2021/08/23 Java/Android
Python实现批量自动整理文件
2022/03/16 Python