python基于pexpect库自动获取日志信息


Posted in Python onFebruary 01, 2021

1. 前言

对大部分的人来说,解决 Bug 都是依靠关键字去日志去定位问题!

在调试情况下,我们可以实时在控制台查看日志;但对于部署到服务器上的应用,日志都存放在服务器某个目录下,没法通过本地查看到

这种情况下,就需要我们先登录服务器,然后进入到日志目录文件夹,最后通过日志文件去定位问题;如果涉及到 K8s 容器,可能还需要使用 kubectl 命令进入到服务对应的容器中,进入到日志目录,才能开始定位问题,这一切显得非常繁琐且低效

本篇文章介绍一款 Python 依赖库:pexpect,作为一款命令行自动化工具,它可以帮助我们一键获取日志,快速定位问题!

2. pexpect 介绍

pexpect 是 Python 语言实现的类 Expect 的一种实现,通过产生子应用程序并控制它们,通过期望模式对子应用程序的输出做出相应处理

项目地址:

https://github.com/pexpect/pexpect/tree/5eed1a31a2853a09b7367c59fbd1a4a0b53341df

它主要对人机对话进行模拟,来实现一些自动化的场景

比如:用来和 SSH、FTP、PASSWD、Telnet 等命令行程序进行自动化交互

在使用之前,我们先安装依赖包

# 安装依赖库
pip3 install pexpect

3. 实战一下

我们以从服务器 K8S 容器获取日志为例进行讲解

3-1 SSH 登录

首先,初始化使用 pexpect 模拟 SSH 远程登录服务器

import pexpect

PROMPT = ['# ', '>>> ', '> ', '\$ ']

def login_with_pexpect():
    """
    登录-pexpect
    :return:
    """
    # 端口号
    port = **

    # 用户名
    user = **

    # 密码
    pwd = **

    # ip地址
    ip = **

    ssh_cmd = "ssh -p {} {}@{}".format(port,user,ip)

    # 指定登录命令,拿到程序操作句柄
    child = pexpect.spawn(ssh_cmd, timeout=60, encoding='utf-8')

    # 提示输入密码的字符出现,否则超时
    ret = child.expect([pexpect.TIMEOUT, '[P|p]assword: '], timeout=10)

    # 匹配成功后,输入密码,执行登陆操作
    if ret == 1:
        # 发送密码
        child.sendline(pwd)
        child.expect(PROMPT)
        return child
    else:
        print('登录失败!')

其中

pexpect.spawn() :用于执行一个程序,并返回一个操作句柄

该方法常见的 3 个参数如下:

  • 第一个参数是待执行的命令
  • 第二个参数指定超时时间,程序执行后的输出检查,如果指定时间内没有匹配到结果,就会抛异常
  • 第三个参数用于设置编码格式

child.expect() :对输出结果,利用正则表达式进行关键字匹配

代码中的含义是在 10s 内等待出现关键字 '[P|p]assword: '

最后,如果匹配的结果为 1,使用 sendline() 方法发送带回车符的字符串,模拟密码的输入,完成登录操作

3-2  封装发送命令

接下来,我们将操作句柄发送命令进行一次封装,并获取返回结果

def send_command(child, cmd, expected_content=None, timeout=10):
    """
    发送一条命令,并打印结果
    :param expected_content:
    :param child:
    :param cmd:
    :return:
    """
    # 发送一条命令
    if expected_content is None:
        expected_content = ["#"]

    child.sendline(cmd)

    # 期望有命令行提示字符出现
    child.expect(expected_content, timeout=timeout)

    # 将之前的内容都输出
    result = child.before

    return result 

需要指出的是,child.before 用于获取到匹配到关键字为止,缓存里面已有的全部数据

3-3  进入容器 pod 日志目录

使用上面的方法,通过 kubectl 进入到对应的容器日志目录

# 登录pod容器
exec_enter_pod = 'kubectl -n %s exec -it %s  bash' % (env, pod_name)

# 进入容器
send_command(child, exec_enter_pod)

# 进入到日志目录
send_command(child, "cd logs", expected_content='tomcat/logs#')

3-4  获取日志内容

最后我们只需要组成获取日志的命令

比如:使用 grep/tail 命令组成一个提取日志文件的命令

然后使用句柄对象发送这条命令

最后,对返回内容进行清洗即可

4. 最后

文中使用 pexpect 实现了一个非常简单的场景

事实上,大部分人机对话自动化交互都可以由它来实现,比如,下载日志、实时配置、远程打包下载等

以上就是python基于pexpect库自动获取日志信息的详细内容,更多关于python pexpect库自动获取日志的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python 探针的实现原理
Apr 23 Python
Python探索之ModelForm代码详解
Oct 26 Python
解决pandas 作图无法显示中文的问题
May 24 Python
numpy中以文本的方式存储以及读取数据方法
Jun 04 Python
Django实战之用户认证(用户登录与注销)
Jul 16 Python
Python多叉树的构造及取出节点数据(treelib)的方法
Aug 09 Python
Python实现微信翻译机器人的方法
Aug 13 Python
Flask框架实现的前端RSA加密与后端Python解密功能详解
Aug 13 Python
python实现操作文件(文件夹)
Oct 31 Python
Django连接数据库并实现读写分离过程解析
Nov 13 Python
使用python实现名片管理系统
Jun 18 Python
聊聊Python中关于a=[[]]*3的反思
Jun 02 Python
Python入门基础之数字字符串与列表
Feb 01 #Python
Pyecharts 中Geo函数常用参数的用法说明
Feb 01 #Python
Python+MySQL随机试卷及答案生成程序的示例代码
Feb 01 #Python
python实现代码审查自动回复消息
Feb 01 #Python
anaconda安装pytorch1.7.1和torchvision0.8.2的方法(亲测可用)
Feb 01 #Python
python 列表推导和生成器表达式的使用
Feb 01 #Python
matplotlib部件之矩形选区(RectangleSelector)的实现
Feb 01 #Python
You might like
全国FM电台频率大全 - 7 吉林省
2020/03/11 无线电
php中关于普通表单多文件上传的处理方法
2011/03/25 PHP
PHP 小心urldecode引发的SQL注入漏洞
2011/10/27 PHP
php递归创建和删除文件夹的代码小结
2012/04/13 PHP
php+js iframe实现上传头像界面无跳转
2014/04/29 PHP
php实现格式化多行文本为Js可用格式
2015/04/15 PHP
php PDO实现的事务回滚示例
2017/03/23 PHP
CI框架实现创建自定义类库的方法
2018/12/25 PHP
九种js弹出对话框的方法总结
2013/03/12 Javascript
js arguments,jcallee caller用法总结
2013/11/30 Javascript
页面元素绑定jquery toggle后元素隐藏的解决方法
2014/03/27 Javascript
JS右下角广告窗口代码(可收缩、展开及关闭)
2015/09/04 Javascript
javascript实现保留两位小数的多种方法
2015/12/18 Javascript
jQuery获取复选框被选中数量及判断选择值的方法详解
2016/05/25 Javascript
js实现鼠标左右移动,图片也跟着移动效果
2017/01/25 Javascript
nodejs搭建本地服务器并访问文件的方法
2017/03/03 NodeJs
深入理解JavaScript创建对象的多种方式以及优缺点
2017/06/01 Javascript
Auto.js自动收取自己和好友蚂蚁森林能量脚本
2018/06/28 Javascript
从理论角度讨论JavaScript闭包
2019/04/03 Javascript
[01:04:32]DOTA2-DPC中国联赛 正赛 Aster vs LBZS BO3 第二场 2月23日
2021/03/11 DOTA
Django在win10下的安装并创建工程
2017/11/20 Python
python爬取各类文档方法归类汇总
2018/03/22 Python
python3+PyQt5实现文档打印功能
2018/04/24 Python
python 利用栈和队列模拟递归的过程
2018/05/29 Python
python验证码识别教程之利用滴水算法分割图片
2018/06/05 Python
Python实现壁纸下载与轮换
2020/10/19 Python
python 基于opencv实现高斯平滑
2020/12/18 Python
保安自我鉴定范文
2013/12/08 职场文书
审计工作个人的自我评价
2013/12/25 职场文书
业务总经理岗位职责
2014/02/03 职场文书
教育局党的群众路线教育实践活动整改方案
2014/09/20 职场文书
购房协议书范本(无房产证)
2014/10/07 职场文书
2016教师学习党章心得体会
2016/01/15 职场文书
电工生产实习心得体会
2016/01/22 职场文书
Python合并pdf文件的工具
2021/07/01 Python
MySQL远程无法连接的一些常见原因总结
2022/09/23 MySQL