Python中用pycurl监控http响应时间脚本分享


Posted in Python onFebruary 02, 2015

最近需要对节点到源站自己做个监控,简单的ping可以检测到一些东西,但是http请求的检查也要进行,于是就研究了下pycurl。

pycurl是个用c语言实现的python 库,虽然据说不是那么pythonic,但是却很高效,它支持的协议居多:

supporting FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies, user+password authentication, file transfer resume, http proxy tunneling and more!

这一堆协议已经很多了,我需要就是http一个,相对urlib来说,这个库可能更快些。

以下这个脚本是对某一个给定的url进行检查,并打印出http相应码,响应大小,建立连接时间,准备传输时间,传输第一个字节时间,完成时间。

#!/usr/bin/python
# coding: UTF-8
import StringIO
import pycurl
import sys
import os
class Test:
    def __init__(self):
        self.contents = ''
    def body_callback(self,buf):
        self.contents = self.contents + buf
def test_gzip(input_url):
    t = Test()
    #gzip_test = file("gzip_test.txt", 'w')
    c = pycurl.Curl()
    c.setopt(pycurl.WRITEFUNCTION,t.body_callback)
    c.setopt(pycurl.ENCODING, 'gzip')
    c.setopt(pycurl.URL,input_url)
    c.perform()
    http_code = c.getinfo(pycurl.HTTP_CODE)
    http_conn_time = c.getinfo(pycurl.CONNECT_TIME)
    http_pre_tran = c.getinfo(pycurl.PRETRANSFER_TIME)
    http_start_tran = c.getinfo(pycurl.STARTTRANSFER_TIME)
    http_total_time = c.getinfo(pycurl.TOTAL_TIME)
    http_size = c.getinfo(pycurl.SIZE_DOWNLOAD)
    print 'http_code http_size conn_time pre_tran start_tran total_time'
    print "%d %d %f %f %f %f"%(http_code,http_size,http_conn_time,http_pre_tran,http_start_tran,http_total_time)
if __name__ == '__main__':
    input_url = sys.argv[1]
    test_gzip(input_url)

脚本运行效果

xu:~/curl$ python pycurl_test.py http://daxuxu.info/
http_code http_size conn_time pre_tran start_tran total_time
200 8703 0.748147 0.748170 1.632642 1.636552

pycurl 的一些响应信息:
(参考: http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html )

pycurl.NAMELOOKUP_TIME 域名解析时间
pycurl.CONNECT_TIME 远程服务器连接时间
pycurl.PRETRANSFER_TIME 连接上后到开始传输时的时间
pycurl.STARTTRANSFER_TIME 接收到第一个字节的时间
pycurl.TOTAL_TIME 上一请求总的时间
pycurl.REDIRECT_TIME 如果存在转向的话,花费的时间

pycurl.EFFECTIVE_URL
pycurl.HTTP_CODE HTTP 响应代码
pycurl.REDIRECT_COUNT 重定向的次数
pycurl.SIZE_UPLOAD 上传的数据大小
pycurl.SIZE_DOWNLOAD 下载的数据大小
pycurl.SPEED_UPLOAD 上传速度
pycurl.HEADER_SIZE 头部大小
pycurl.REQUEST_SIZE 请求大小
pycurl.CONTENT_LENGTH_DOWNLOAD 下载内容长度
pycurl.CONTENT_LENGTH_UPLOAD 上传内容长度
pycurl.CONTENT_TYPE 内容的类型
pycurl.RESPONSE_CODE 响应代码
pycurl.SPEED_DOWNLOAD 下载速度
pycurl.SSL_VERIFYRESULT
pycurl.INFO_FILETIME 文件的时间信息

pycurl.HTTP_CONNECTCODE HTTP 连接代码
pycurl.HTTPAUTH_AVAIL
pycurl.PROXYAUTH_AVAIL
pycurl.OS_ERRNO
pycurl.NUM_CONNECTS
pycurl.SSL_ENGINES
pycurl.INFO_COOKIELIST
pycurl.LASTSOCKET
pycurl.FTP_ENTRY_PATH
Python 相关文章推荐
Python使用MySQLdb for Python操作数据库教程
Oct 11 Python
初学Python函数的笔记整理
Apr 07 Python
深入浅析Python字符编码
Nov 12 Python
python开发简易版在线音乐播放器
Mar 03 Python
python MysqlDb模块安装及其使用详解
Feb 23 Python
Python基于Floyd算法求解最短路径距离问题实例详解
May 16 Python
Django实战之用户认证(初始配置)
Jul 16 Python
python os模块简单应用示例
May 23 Python
浅谈django url请求与数据库连接池的共享问题
Aug 29 Python
Python3.6安装卸载、执行命令、执行py文件的方法详解
Feb 20 Python
Python绘制动态水球图过程详解
Jun 03 Python
python两个list[]相加的实现方法
Sep 23 Python
Python列表(list)常用操作方法小结
Feb 02 #Python
Python Sleep休眠函数使用简单实例
Feb 02 #Python
Python中实现从目录中过滤出指定文件类型的文件
Feb 02 #Python
Python实现二分法算法实例
Feb 02 #Python
Python标准异常和异常处理详解
Feb 02 #Python
Python中使用md5sum检查目录中相同文件代码分享
Feb 02 #Python
Python列表append和+的区别浅析
Feb 02 #Python
You might like
php实现文件编码批量转换
2014/03/10 PHP
XP折叠菜单&仿QQ2006菜单
2006/12/16 Javascript
表单元素事件 (Form Element Events)
2009/07/17 Javascript
easyui datagrid 键盘上下控制选中行示例
2014/03/31 Javascript
鼠标悬浮停留三秒后自动显示大图js代码
2014/09/09 Javascript
jQuery解析Json实例详解
2015/11/24 Javascript
理解JS绑定事件
2016/01/19 Javascript
jQuery 限制输入字符串长度
2016/06/20 Javascript
JavaScript实现图像模糊化的方法实例
2017/01/15 Javascript
JavaScript数据结构学习之数组、栈与队列
2017/05/02 Javascript
利用types增强vscode中js代码提示功能详解
2017/07/07 Javascript
vue父组件向子组件动态传值的两种方法
2017/11/11 Javascript
Node.js Buffer模块功能及常用方法实例分析
2019/01/05 Javascript
[57:22]完美世界DOTA2联赛PWL S2 FTD vs PXG 第二场 11.27
2020/12/01 DOTA
python文件读写操作与linux shell变量命令交互执行的方法
2015/01/14 Python
Python之父谈Python的未来形式
2016/07/01 Python
Python的requests网络编程包使用教程
2016/07/11 Python
NumPy 如何生成多维数组的方法
2018/02/05 Python
用Python实现读写锁的示例代码
2018/11/05 Python
在OpenCV里实现条码区域识别的方法示例
2019/12/04 Python
Django 解决阿里云部署同步数据库报错的问题
2020/05/14 Python
Python文件操作及内置函数flush原理解析
2020/10/13 Python
html5 postMessage前端跨域并前端监听的方法示例
2018/11/01 HTML / CSS
全天然狗零食:Best Bully Sticks
2016/09/22 全球购物
英国天然宝石首饰购买网站:Gemondo Jewellery
2018/10/23 全球购物
亿阳信通股份有限公司笔试题(C#)
2016/03/04 面试题
应届生污水处理求职信
2013/11/06 职场文书
计算机专业大学生的自我评价
2013/11/14 职场文书
审计工作个人的自我评价
2013/12/25 职场文书
煤矿机修工岗位职责
2014/02/07 职场文书
材料会计岗位职责
2014/03/06 职场文书
让世界充满爱演讲稿
2014/05/24 职场文书
奥林匹克的口号
2014/06/13 职场文书
拒绝黄毒毒宣传标语
2014/06/26 职场文书
大学生读书笔记大全
2015/07/01 职场文书
经典《舰娘》游改全新动画预告 预定11月开播
2022/04/01 日漫