Python中用pycurl监控http响应时间脚本分享


Posted in Python onFebruary 02, 2015

最近需要对节点到源站自己做个监控,简单的ping可以检测到一些东西,但是http请求的检查也要进行,于是就研究了下pycurl。

pycurl是个用c语言实现的python 库,虽然据说不是那么pythonic,但是却很高效,它支持的协议居多:

supporting FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies, user+password authentication, file transfer resume, http proxy tunneling and more!

这一堆协议已经很多了,我需要就是http一个,相对urlib来说,这个库可能更快些。

以下这个脚本是对某一个给定的url进行检查,并打印出http相应码,响应大小,建立连接时间,准备传输时间,传输第一个字节时间,完成时间。

#!/usr/bin/python
# coding: UTF-8
import StringIO
import pycurl
import sys
import os
class Test:
    def __init__(self):
        self.contents = ''
    def body_callback(self,buf):
        self.contents = self.contents + buf
def test_gzip(input_url):
    t = Test()
    #gzip_test = file("gzip_test.txt", 'w')
    c = pycurl.Curl()
    c.setopt(pycurl.WRITEFUNCTION,t.body_callback)
    c.setopt(pycurl.ENCODING, 'gzip')
    c.setopt(pycurl.URL,input_url)
    c.perform()
    http_code = c.getinfo(pycurl.HTTP_CODE)
    http_conn_time = c.getinfo(pycurl.CONNECT_TIME)
    http_pre_tran = c.getinfo(pycurl.PRETRANSFER_TIME)
    http_start_tran = c.getinfo(pycurl.STARTTRANSFER_TIME)
    http_total_time = c.getinfo(pycurl.TOTAL_TIME)
    http_size = c.getinfo(pycurl.SIZE_DOWNLOAD)
    print 'http_code http_size conn_time pre_tran start_tran total_time'
    print "%d %d %f %f %f %f"%(http_code,http_size,http_conn_time,http_pre_tran,http_start_tran,http_total_time)
if __name__ == '__main__':
    input_url = sys.argv[1]
    test_gzip(input_url)

脚本运行效果

xu:~/curl$ python pycurl_test.py http://daxuxu.info/
http_code http_size conn_time pre_tran start_tran total_time
200 8703 0.748147 0.748170 1.632642 1.636552

pycurl 的一些响应信息:
(参考: http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html )

pycurl.NAMELOOKUP_TIME 域名解析时间
pycurl.CONNECT_TIME 远程服务器连接时间
pycurl.PRETRANSFER_TIME 连接上后到开始传输时的时间
pycurl.STARTTRANSFER_TIME 接收到第一个字节的时间
pycurl.TOTAL_TIME 上一请求总的时间
pycurl.REDIRECT_TIME 如果存在转向的话,花费的时间

pycurl.EFFECTIVE_URL
pycurl.HTTP_CODE HTTP 响应代码
pycurl.REDIRECT_COUNT 重定向的次数
pycurl.SIZE_UPLOAD 上传的数据大小
pycurl.SIZE_DOWNLOAD 下载的数据大小
pycurl.SPEED_UPLOAD 上传速度
pycurl.HEADER_SIZE 头部大小
pycurl.REQUEST_SIZE 请求大小
pycurl.CONTENT_LENGTH_DOWNLOAD 下载内容长度
pycurl.CONTENT_LENGTH_UPLOAD 上传内容长度
pycurl.CONTENT_TYPE 内容的类型
pycurl.RESPONSE_CODE 响应代码
pycurl.SPEED_DOWNLOAD 下载速度
pycurl.SSL_VERIFYRESULT
pycurl.INFO_FILETIME 文件的时间信息

pycurl.HTTP_CONNECTCODE HTTP 连接代码
pycurl.HTTPAUTH_AVAIL
pycurl.PROXYAUTH_AVAIL
pycurl.OS_ERRNO
pycurl.NUM_CONNECTS
pycurl.SSL_ENGINES
pycurl.INFO_COOKIELIST
pycurl.LASTSOCKET
pycurl.FTP_ENTRY_PATH
Python 相关文章推荐
Python实现的简单万年历例子分享
Apr 25 Python
python实现定时自动备份文件到其他主机的实例代码
Feb 23 Python
python读取word文档,插入mysql数据库的示例代码
Nov 07 Python
Python批量删除只保留最近几天table的代码实例
Apr 01 Python
从numpy数组中取出满足条件的元素示例
Nov 26 Python
python 实现查询Neo4j多节点的多层关系
Dec 23 Python
Django框架之中间件MiddleWare的实现
Dec 30 Python
python selenium操作cookie的实现
Mar 18 Python
Python实例教程之检索输出月份日历表
Dec 16 Python
python实现杨辉三角的几种方法代码实例
Mar 02 Python
教你使用Pandas直接核算Excel中快递费用
May 12 Python
Python中的turtle画箭头,矩形,五角星
Mar 16 Python
Python列表(list)常用操作方法小结
Feb 02 #Python
Python Sleep休眠函数使用简单实例
Feb 02 #Python
Python中实现从目录中过滤出指定文件类型的文件
Feb 02 #Python
Python实现二分法算法实例
Feb 02 #Python
Python标准异常和异常处理详解
Feb 02 #Python
Python中使用md5sum检查目录中相同文件代码分享
Feb 02 #Python
Python列表append和+的区别浅析
Feb 02 #Python
You might like
一个可查询所有表的“通用”查询分页类
2006/10/09 PHP
php MessagePack介绍
2013/10/06 PHP
php计算两个日期时间差(返回年、月、日)
2014/06/19 PHP
php提示Failed to write session data错误的解决方法
2014/12/17 PHP
CodeIgniter框架数据库基本操作示例
2018/05/24 PHP
jQuery Select(单选) 模拟插件 V1.3.62 改进版
2010/07/17 Javascript
actionscript与javascript的区别
2011/05/25 Javascript
jquery实现商品拖动选择效果代码(自写)
2013/05/28 Javascript
JS数组的赋值介绍
2014/03/10 Javascript
jQuery 选择器详解
2015/01/19 Javascript
js实现网页右上角滑出会自动消失大幅广告的方法
2015/02/27 Javascript
JQuery页面地址处理插件jqURL详解
2015/05/03 Javascript
浅谈JSON.parse()和JSON.stringify()
2015/07/14 Javascript
Javascript中的神器——Promise
2017/02/08 Javascript
原生js仿淘宝网商品放大镜效果
2017/02/28 Javascript
bootstrap响应式导航条模板使用详解(含下拉菜单,弹出框)
2017/11/17 Javascript
详解Node.js模板引擎Jade入门
2018/01/19 Javascript
vue项目使用axios发送请求让ajax请求头部携带cookie的方法
2018/09/26 Javascript
vue动画—通过钩子函数实现半场动画操作
2020/08/09 Javascript
如何区分vue中的v-show 与 v-if
2020/09/08 Javascript
原生js实现表格翻页和跳转
2020/09/29 Javascript
微信小程序实现滚动Tab选项卡
2020/11/16 Javascript
Python with的用法
2014/08/22 Python
python opencv 读取本地视频文件 修改ffmpeg的方法
2019/01/26 Python
利用python脚本如何简化jar操作命令
2019/02/24 Python
python3 常见解密加密算法实例分析【base64、MD5等】
2019/12/19 Python
python对一个数向上取整的实例方法
2020/06/18 Python
python爬取音频下载的示例代码
2020/10/19 Python
Html5让容器充满屏幕高度或自适应剩余高度的布局实现
2020/05/14 HTML / CSS
Baracuta官方网站:Harrington夹克,G9,G4,G10等
2018/03/06 全球购物
玛蒂尔达简服装:Matilda Jane Clothing
2019/02/13 全球购物
化工工艺专业求职信
2013/09/22 职场文书
会议接待欢迎标语
2014/10/08 职场文书
员工工作失职检讨书范文!
2019/07/03 职场文书
Python数据处理的三个实用技巧分享
2022/04/01 Python
Python matplotlib绘制条形统计图 处理多个实验多组观测值
2022/04/21 Python