Python中用pycurl监控http响应时间脚本分享


Posted in Python onFebruary 02, 2015

最近需要对节点到源站自己做个监控,简单的ping可以检测到一些东西,但是http请求的检查也要进行,于是就研究了下pycurl。

pycurl是个用c语言实现的python 库,虽然据说不是那么pythonic,但是却很高效,它支持的协议居多:

supporting FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies, user+password authentication, file transfer resume, http proxy tunneling and more!

这一堆协议已经很多了,我需要就是http一个,相对urlib来说,这个库可能更快些。

以下这个脚本是对某一个给定的url进行检查,并打印出http相应码,响应大小,建立连接时间,准备传输时间,传输第一个字节时间,完成时间。

#!/usr/bin/python
# coding: UTF-8
import StringIO
import pycurl
import sys
import os
class Test:
    def __init__(self):
        self.contents = ''
    def body_callback(self,buf):
        self.contents = self.contents + buf
def test_gzip(input_url):
    t = Test()
    #gzip_test = file("gzip_test.txt", 'w')
    c = pycurl.Curl()
    c.setopt(pycurl.WRITEFUNCTION,t.body_callback)
    c.setopt(pycurl.ENCODING, 'gzip')
    c.setopt(pycurl.URL,input_url)
    c.perform()
    http_code = c.getinfo(pycurl.HTTP_CODE)
    http_conn_time = c.getinfo(pycurl.CONNECT_TIME)
    http_pre_tran = c.getinfo(pycurl.PRETRANSFER_TIME)
    http_start_tran = c.getinfo(pycurl.STARTTRANSFER_TIME)
    http_total_time = c.getinfo(pycurl.TOTAL_TIME)
    http_size = c.getinfo(pycurl.SIZE_DOWNLOAD)
    print 'http_code http_size conn_time pre_tran start_tran total_time'
    print "%d %d %f %f %f %f"%(http_code,http_size,http_conn_time,http_pre_tran,http_start_tran,http_total_time)
if __name__ == '__main__':
    input_url = sys.argv[1]
    test_gzip(input_url)

脚本运行效果

xu:~/curl$ python pycurl_test.py http://daxuxu.info/
http_code http_size conn_time pre_tran start_tran total_time
200 8703 0.748147 0.748170 1.632642 1.636552

pycurl 的一些响应信息:
(参考: http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html )

pycurl.NAMELOOKUP_TIME 域名解析时间
pycurl.CONNECT_TIME 远程服务器连接时间
pycurl.PRETRANSFER_TIME 连接上后到开始传输时的时间
pycurl.STARTTRANSFER_TIME 接收到第一个字节的时间
pycurl.TOTAL_TIME 上一请求总的时间
pycurl.REDIRECT_TIME 如果存在转向的话,花费的时间

pycurl.EFFECTIVE_URL
pycurl.HTTP_CODE HTTP 响应代码
pycurl.REDIRECT_COUNT 重定向的次数
pycurl.SIZE_UPLOAD 上传的数据大小
pycurl.SIZE_DOWNLOAD 下载的数据大小
pycurl.SPEED_UPLOAD 上传速度
pycurl.HEADER_SIZE 头部大小
pycurl.REQUEST_SIZE 请求大小
pycurl.CONTENT_LENGTH_DOWNLOAD 下载内容长度
pycurl.CONTENT_LENGTH_UPLOAD 上传内容长度
pycurl.CONTENT_TYPE 内容的类型
pycurl.RESPONSE_CODE 响应代码
pycurl.SPEED_DOWNLOAD 下载速度
pycurl.SSL_VERIFYRESULT
pycurl.INFO_FILETIME 文件的时间信息

pycurl.HTTP_CONNECTCODE HTTP 连接代码
pycurl.HTTPAUTH_AVAIL
pycurl.PROXYAUTH_AVAIL
pycurl.OS_ERRNO
pycurl.NUM_CONNECTS
pycurl.SSL_ENGINES
pycurl.INFO_COOKIELIST
pycurl.LASTSOCKET
pycurl.FTP_ENTRY_PATH
Python 相关文章推荐
python统计cpu利用率的方法
Jun 02 Python
Python 搭建Web站点之Web服务器与Web框架
Nov 06 Python
浅谈python函数之作用域(python3.5)
Oct 27 Python
Python 读写文件的操作代码
Sep 20 Python
对python3标准库httpclient的使用详解
Dec 18 Python
Django如何简单快速实现PUT、DELETE方法
Jul 24 Python
python 上下文管理器及自定义原理解析
Nov 19 Python
Python运行异常管理解决方案
Mar 09 Python
对python中return与yield的区别详解
Mar 12 Python
python3 正则表达式基础廖雪峰
Mar 25 Python
自己搭建resnet18网络并加载torchvision自带权重的操作
May 13 Python
PyMongo 查询数据的实现
Jun 28 Python
Python列表(list)常用操作方法小结
Feb 02 #Python
Python Sleep休眠函数使用简单实例
Feb 02 #Python
Python中实现从目录中过滤出指定文件类型的文件
Feb 02 #Python
Python实现二分法算法实例
Feb 02 #Python
Python标准异常和异常处理详解
Feb 02 #Python
Python中使用md5sum检查目录中相同文件代码分享
Feb 02 #Python
Python列表append和+的区别浅析
Feb 02 #Python
You might like
JAVA/JSP学习系列之六
2006/10/09 PHP
用libtemplate实现静态网页生成
2006/10/09 PHP
PHP 金额数字转换成英文
2010/05/06 PHP
php实现的任意进制互转类分享
2015/07/07 PHP
php实现html标签闭合检测与修复方法
2015/07/09 PHP
简单的pgsql pdo php操作类实现代码
2016/08/25 PHP
PHP实现小偷程序实例
2016/10/31 PHP
javascript showModalDialog,open取得父窗口的方法
2010/03/10 Javascript
不要在cookie中使用特殊字符的原因分析
2010/07/13 Javascript
判断用户的在线状态 onbeforeunload事件
2011/03/05 Javascript
js获取下拉列表的值和元素个数示例
2014/05/07 Javascript
JavaScript中number转换成string介绍
2014/12/31 Javascript
jQuery通过控制节点实现仅在前台通过get方法完成参数传递
2015/02/02 Javascript
JavaScript实现数字数组正序排列的方法
2015/04/06 Javascript
html、css和jquery相结合实现简单的进度条效果实例代码
2016/10/24 Javascript
Vue项目中添加锁屏功能实现思路
2018/06/29 Javascript
详解webpack import()动态加载模块踩坑
2018/07/17 Javascript
Node使用Selenium进行前端自动化操作的代码实现
2019/10/10 Javascript
vue中用 async/await 来处理异步操作
2020/07/18 Javascript
[01:02]2014 DOTA2国际邀请赛中国区预选赛 现场抢先看
2014/05/22 DOTA
Python环境下搭建属于自己的pip源的教程
2016/05/05 Python
java判断三位数的实例讲解
2019/06/10 Python
python把ipynb文件转换成pdf文件过程详解
2019/07/09 Python
Python爬虫运用正则表达式的方法和优缺点
2019/08/25 Python
python opencv实现信用卡的数字识别
2020/01/12 Python
python上传时包含boundary时的解决方法
2020/04/08 Python
细说CSS3中box属性中的overflow-x属性和overflow-y属性值的效果
2014/07/21 HTML / CSS
在印度上传处方,在线订购药品:Medlife
2019/03/28 全球购物
机械电子工程专业推荐信范文
2013/11/20 职场文书
企业为何需要商业计划书
2013/12/26 职场文书
学生自我评价范文
2014/02/02 职场文书
食品业务员岗位职责
2014/03/18 职场文书
应聘护士求职信
2014/07/21 职场文书
2015年第十五个全民国防教育日宣传活动方案
2015/05/06 职场文书
游戏《铁拳》动画化!2022年年内播出
2022/03/21 日漫
Python四款GUI图形界面库介绍
2022/06/05 Python