Python中用pycurl监控http响应时间脚本分享


Posted in Python onFebruary 02, 2015

最近需要对节点到源站自己做个监控,简单的ping可以检测到一些东西,但是http请求的检查也要进行,于是就研究了下pycurl。

pycurl是个用c语言实现的python 库,虽然据说不是那么pythonic,但是却很高效,它支持的协议居多:

supporting FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies, user+password authentication, file transfer resume, http proxy tunneling and more!

这一堆协议已经很多了,我需要就是http一个,相对urlib来说,这个库可能更快些。

以下这个脚本是对某一个给定的url进行检查,并打印出http相应码,响应大小,建立连接时间,准备传输时间,传输第一个字节时间,完成时间。

#!/usr/bin/python
# coding: UTF-8
import StringIO
import pycurl
import sys
import os
class Test:
    def __init__(self):
        self.contents = ''
    def body_callback(self,buf):
        self.contents = self.contents + buf
def test_gzip(input_url):
    t = Test()
    #gzip_test = file("gzip_test.txt", 'w')
    c = pycurl.Curl()
    c.setopt(pycurl.WRITEFUNCTION,t.body_callback)
    c.setopt(pycurl.ENCODING, 'gzip')
    c.setopt(pycurl.URL,input_url)
    c.perform()
    http_code = c.getinfo(pycurl.HTTP_CODE)
    http_conn_time = c.getinfo(pycurl.CONNECT_TIME)
    http_pre_tran = c.getinfo(pycurl.PRETRANSFER_TIME)
    http_start_tran = c.getinfo(pycurl.STARTTRANSFER_TIME)
    http_total_time = c.getinfo(pycurl.TOTAL_TIME)
    http_size = c.getinfo(pycurl.SIZE_DOWNLOAD)
    print 'http_code http_size conn_time pre_tran start_tran total_time'
    print "%d %d %f %f %f %f"%(http_code,http_size,http_conn_time,http_pre_tran,http_start_tran,http_total_time)
if __name__ == '__main__':
    input_url = sys.argv[1]
    test_gzip(input_url)

脚本运行效果

xu:~/curl$ python pycurl_test.py http://daxuxu.info/
http_code http_size conn_time pre_tran start_tran total_time
200 8703 0.748147 0.748170 1.632642 1.636552

pycurl 的一些响应信息:
(参考: http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html )

pycurl.NAMELOOKUP_TIME 域名解析时间
pycurl.CONNECT_TIME 远程服务器连接时间
pycurl.PRETRANSFER_TIME 连接上后到开始传输时的时间
pycurl.STARTTRANSFER_TIME 接收到第一个字节的时间
pycurl.TOTAL_TIME 上一请求总的时间
pycurl.REDIRECT_TIME 如果存在转向的话,花费的时间

pycurl.EFFECTIVE_URL
pycurl.HTTP_CODE HTTP 响应代码
pycurl.REDIRECT_COUNT 重定向的次数
pycurl.SIZE_UPLOAD 上传的数据大小
pycurl.SIZE_DOWNLOAD 下载的数据大小
pycurl.SPEED_UPLOAD 上传速度
pycurl.HEADER_SIZE 头部大小
pycurl.REQUEST_SIZE 请求大小
pycurl.CONTENT_LENGTH_DOWNLOAD 下载内容长度
pycurl.CONTENT_LENGTH_UPLOAD 上传内容长度
pycurl.CONTENT_TYPE 内容的类型
pycurl.RESPONSE_CODE 响应代码
pycurl.SPEED_DOWNLOAD 下载速度
pycurl.SSL_VERIFYRESULT
pycurl.INFO_FILETIME 文件的时间信息

pycurl.HTTP_CONNECTCODE HTTP 连接代码
pycurl.HTTPAUTH_AVAIL
pycurl.PROXYAUTH_AVAIL
pycurl.OS_ERRNO
pycurl.NUM_CONNECTS
pycurl.SSL_ENGINES
pycurl.INFO_COOKIELIST
pycurl.LASTSOCKET
pycurl.FTP_ENTRY_PATH
Python 相关文章推荐
Python的print用法示例
Feb 11 Python
Python使用PyGreSQL操作PostgreSQL数据库教程
Jul 30 Python
利用Pandas 创建空的DataFrame方法
Apr 08 Python
python flask安装和命令详解
Apr 02 Python
python中pip的使用和修改下载源的方法
Jul 08 Python
Python基于QQ邮箱实现SSL发送
Apr 26 Python
Django 解决新建表删除后无法重新创建等问题
May 21 Python
python爬虫实例之获取动漫截图
May 31 Python
DataFrame.groupby()所见的各种用法详解
Jun 14 Python
协程Python 中实现多任务耗资源最小的方式
Oct 19 Python
用python进行视频剪辑
Nov 02 Python
Python Pandas 删除列操作
Mar 16 Python
Python列表(list)常用操作方法小结
Feb 02 #Python
Python Sleep休眠函数使用简单实例
Feb 02 #Python
Python中实现从目录中过滤出指定文件类型的文件
Feb 02 #Python
Python实现二分法算法实例
Feb 02 #Python
Python标准异常和异常处理详解
Feb 02 #Python
Python中使用md5sum检查目录中相同文件代码分享
Feb 02 #Python
Python列表append和+的区别浅析
Feb 02 #Python
You might like
PHP strip_tags() 去字符串中的 HTML、XML 以及 PHP 标签的函数
2016/05/22 PHP
javascript cookies操作集合
2010/04/12 Javascript
JavaScript检测字符串中是否含有html标签实现方法
2015/07/01 Javascript
jQuery bt气泡实现悬停显示及移开隐藏功能的方法
2016/07/12 Javascript
HTML页面,测试JS对C函数的调用简单实例
2016/08/09 Javascript
JavaScript中数组slice和splice的对比小结
2016/09/22 Javascript
利用Angularjs中模块ui-route管理状态的方法
2016/12/27 Javascript
常见的浏览器Hack技巧整理
2017/06/29 Javascript
快速理解 JavaScript 中的 LHS 和 RHS 查询的用法
2017/08/24 Javascript
在ES5与ES6环境下处理函数默认参数的实现方法
2018/05/13 Javascript
pyqt4教程之实现windows窗口小示例分享
2014/03/07 Python
Python编程语言的35个与众不同之处(语言特征和使用技巧)
2014/07/07 Python
Python中的默认参数详解
2015/06/24 Python
举例讲解Python面向对象编程中类的继承
2016/06/17 Python
对Python3中dict.keys()转换成list类型的方法详解
2019/02/03 Python
使用python判断jpeg图片的完整性实例
2019/06/10 Python
python实现身份证实名认证的方法实例
2019/11/08 Python
python中如何设置代码自动提示
2020/07/15 Python
python如何随机生成高强度密码
2020/08/19 Python
详解查看Python解释器路径的两种方式
2020/10/15 Python
css图标制作教程制作云图标
2014/01/19 HTML / CSS
世界上最具创新性的增强型知名运动品牌:Proviz
2018/04/03 全球购物
芬兰灯具网上商店:Nettilamppu.fi
2018/06/30 全球购物
Lookfantastic阿联酋官网:英国知名美妆护肤购物网站
2020/05/26 全球购物
酒店执行总经理岗位职责
2013/12/15 职场文书
收银员的岗位职责范本
2014/02/04 职场文书
汽车广告策划方案
2014/05/31 职场文书
生物技术专业求职信
2014/06/10 职场文书
环保标语口号
2014/06/13 职场文书
交通安全责任书范本
2014/07/24 职场文书
大型公益活动策划方案
2014/08/20 职场文书
党员干部反四风民主生活会对照检查材料思想汇报
2014/10/12 职场文书
安全教育片观后感
2015/06/17 职场文书
安全生产培训心得体会
2016/01/18 职场文书
Pytorch 统计模型参数量的操作 param.numel()
2021/05/13 Python