golang http使用踩过的坑与填坑指南


Posted in Golang onApril 27, 2021

golang对http进行了很好的封装, 使我们在开发基于http服务的时候, 十分的方便, 但是良好的封装, 很容易是的我们忽略掉它们底层的实现细节。

如下是我踩过的一些坑, 以及相应的解决方法。

调用http服务

通常的实践如下:

resp, err := http.Get("http://example.com/")
if err != nil {
               // handle error
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
// ...

陷阱一: Response body没有及时关闭

网络程序运行中, 过了一段时间, 比较常见的问题就是爆出错误:“socket: too many open files”, 这通常是由于打开的文件句柄没有关闭造成的。

在http使用中, 最容易让人忽视的, 就是http返回的response的body必须close,否则就会有内存泄露。

更不容易发现的问题是, 如果response.body的内容没有被读出来, 会造成socket链接泄露, 后续的服务无法使用。

这里, response.body是一个io.ReadCloser类型的接口, 包含了read和close接口。

type Response struct { 
    // Body represents the response body.
    //
    // The response body is streamed on demand as the Body field
    // is read. If the network connection fails or the server
    // terminates the response, Body.Read calls return an error.
    //
    // The http Client and Transport guarantee that Body is always
    // non-nil, even on responses without a body or responses with
    // a zero-length body. It is the caller's responsibility to
    // close Body. The default HTTP client's Transport may not
    // reuse HTTP/1.x "keep-alive" TCP connections if the Body is
    // not read to completion and closed.
    //
    // The Body is automatically dechunked if the server replied
    // with a "chunked" Transfer-Encoding.
    Body io.ReadCloser
 }

如果没有通过ioutil.ReadAll或者其他的接口读取response.body的内容, 此次socket链接就无法被后续的连接复用, 造成的结果就是该连接一直存在。

尽管调用了ioutil.ReadAll就可以避免该连接的泄露, 我们还是建议在获取response后, 就调用Close, 因为在response返回的地方与ReadAll之间, 万一有条件判断造成接口提前返回, 还是会造成泄露的。

defer resp.Body.Close()

另外, http.Request是不需要主动关闭的。

陷阱二: 默认的http的transport的设定不合适

在简单的应用下, 采用默认的http client就可以满足需要, 在稍微复杂一点的场景, 有其实想要保持长链接以及提高链接复用的效率等方面的控制, 这个时候就需要对client比较清楚的了解。

type Client struct {
    // Transport specifies the mechanism by which individual
    // HTTP requests are made.
    // If nil, DefaultTransport is used.
    Transport RoundTripper  
    // Timeout specifies a time limit for requests made by this
    // Client. The timeout includes connection time, any
    // redirects, and reading the response body. The timer remains
    // running after Get, Head, Post, or Do return and will
    // interrupt reading of the Response.Body.
    //
    // A Timeout of zero means no timeout.
    //
    // The Client cancels requests to the underlying Transport
    // as if the Request's Context ended.
    //
    // For compatibility, the Client will also use the deprecated
    // CancelRequest method on Transport if found. New
    // RoundTripper implementations should use the Request's Context
    // for cancelation instead of implementing CancelRequest.
    Timeout time.Duration
}

这里, 我们重点关注Transport与Timeout两个字段, Transport记录了本次请求的事务信息, 以及连接复用相关的信息。

Timeout记录此次调用的超时时间以避免异常发生的时候的长时间等待。

通常我们使用的默认的Transport定义如下:

var DefaultTransport RoundTripper = &Transport{
    Proxy: ProxyFromEnvironment,
    DialContext: (&net.Dialer{
        Timeout:   30 * time.Second,
        KeepAlive: 30 * time.Second,
        DualStack: true,
    }).DialContext,
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    TLSHandshakeTimeout:   10 * time.Second,
    ExpectContinueTimeout: 1 * time.Second,
}

默认情况下, 它会保留打开的连接以备未来复用, 如果服务要连接很多的主机, 就会保存很多的空闲连接, IdleConnTimeout用来将超过一定时间的空闲连接回收;实际上, Defaulttransport 的MaxIdleConns是100, 在很多的场景下还是偏小的, 尤其是对于需要管理大的系统并且模块之间交互频繁的情况。

另外, 如果该连接需要定期 访问很多的资源节点, 并列我们知道每个资源节点上面需要的连接数大于2, 那么就会出现很多的短连接, 因为对于每一台资源机, DefaultTransport默认的最大连接数是2, 最大空闲连接是1.

type Transport struct {
     // MaxIdleConnsPerHost, if non-zero, controls the maximum idle
    // (keep-alive) connections to keep per-host. If zero,
    // DefaultMaxIdleConnsPerHost is used.
    MaxIdleConnsPerHost int
    
    // MaxConnsPerHost optionally limits the total number of
    // connections per host, including connections in the dialing,
    // active, and idle states. On limit violation, dials will block.
    //
    // Zero means no limit.
    //
    // For HTTP/2, this currently only controls the number of new
    // connections being created at a time, instead of the total
    // number. In practice, hosts using HTTP/2 only have about one
    // idle connection, though.
    MaxConnsPerHost int
}

HTTP的长连接与TCP的长连接

在http1.1中, http默认保持长连接, 以备将来复用, 但是这个长连接通常是有时间限制的, 并且向我们上面开到的Transport里面的设定, 空闲的连接数是有最大限制的, 超过了该限制,其余新的连接就变成了短连接。

TCP协议本身是长连接, 它超过一定时间没有数据传送, 就会发送心跳来检测该连接是否存活, 如果是, 该连接继续有效。

补充:golang 设置 http response 响应头的内容与坑

用 golang 写 http server 时,可以很方便可通过 w.Header.Set(k, v) 来设置 http response 中 header 的内容。

例如:w.Header().Set("Access-Control-Allow-Origin", "*") 。

但是需要特别注意的是某些时候不仅要修改 http header ,还要修改 http status code。

修改 http status code 可以通过:w.WriteHeader(code) 来实现,例如:w.WriteHeader(404) 。

如果这两种修改一起做,就必须让 w.WriteHeader 在所有的 w.Header.Set 之后,也就是 w.WriteHeader 后 Set Header 是无效的。

今天就遇到了这个问题,在一段代码中调用 w.Header.Set,怎么折腾都无效,最后才发现其它代码段中先调用了 w.WriteHeader。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Golang 相关文章推荐
Golang 实现超大文件读取的两种方法
Apr 27 Golang
解决golang结构体tag编译错误的问题
May 02 Golang
go设置多个GOPATH的方式
May 05 Golang
Go遍历struct,map,slice的实现
Jun 13 Golang
Golang的继承模拟实例
Jun 30 Golang
修改并编译golang源码的操作步骤
Jul 25 Golang
Go Plugins插件的实现方式
Aug 07 Golang
Golang ort 中的sortInts 方法
Apr 24 Golang
Golang并发工具Singleflight
May 06 Golang
Go gRPC进阶教程gRPC转换HTTP
Jun 16 Golang
Go语言怎么使用变长参数函数
Jul 15 Golang
Go结合Gin导出Mysql数据到Excel表格
Aug 05 Golang
Golang 实现超大文件读取的两种方法
Apr 27 #Golang
golang中的空slice案例
Apr 27 #Golang
Go语言切片前或中间插入项与内置copy()函数详解
golang中切片copy复制和等号复制的区别介绍
Apr 27 #Golang
go语言中切片与内存复制 memcpy 的实现操作
Apr 27 #Golang
Go语言中的UTF-8实现
Apr 26 #Golang
golang中实现给gif、png、jpeg图片添加文字水印
Apr 26 #Golang
You might like
php使用iconv中文截断问题的解决方法
2015/02/11 PHP
10条php编程小技巧
2015/07/07 PHP
Yii安装与使用Excel扩展的方法
2016/07/13 PHP
Javascript load Page,load css,load js实现代码
2010/03/31 Javascript
javascript学习笔记(十五) js间歇调用和超时调用
2012/06/20 Javascript
jQuery简易图片放大特效示例代码
2014/06/09 Javascript
JavaScript定义变量和变量优先级问题探讨
2014/10/11 Javascript
JS+CSS实现大气清新的滑动菜单效果代码
2015/10/22 Javascript
JavaScript的Vue.js库入门学习教程
2016/05/23 Javascript
进阶之初探nodeJS
2017/01/24 NodeJs
jQuery EasyUI Accordion可伸缩面板组件使用详解
2017/02/28 Javascript
JS与jQuery实现子窗口获取父窗口元素值的方法
2017/04/17 jQuery
iframe与主框架跨域相互访问实现方法
2017/09/14 Javascript
详解webpack-dev-server 设置反向代理解决跨域问题
2018/04/18 Javascript
javascript实现简单打字游戏
2019/10/29 Javascript
vue el-tree 默认展开第一个节点的实现代码
2020/05/15 Javascript
使用Python的Scrapy框架十分钟爬取美女图
2016/12/26 Python
在dataframe两列日期相减并且得到具体的月数实例
2018/07/03 Python
python 实现矩阵上下/左右翻转,转置的示例
2019/01/23 Python
django数据模型on_delete, db_constraint的使用详解
2019/12/24 Python
Python实现i人事自动打卡的示例代码
2020/01/09 Python
解决Jupyter notebook更换主题工具栏被隐藏及添加目录生成插件问题
2020/04/20 Python
keras打印loss对权重的导数方式
2020/06/10 Python
Dyson戴森波兰官网:Dyson.pl
2019/08/05 全球购物
Java面向对象面试题
2016/12/26 面试题
PyQt 如何创建自定义QWidget
2021/03/24 Python
生产总经理岗位职责
2013/12/19 职场文书
十佳护士获奖感言
2014/02/18 职场文书
公证处委托书
2015/01/28 职场文书
宾馆客房管理制度
2015/08/06 职场文书
Python中使用Lambda函数的5种用法
2021/04/01 Python
七个非常实用的Python工具包总结
2021/06/15 Python
Canvas如何做个雪花屏版404的实现
2021/09/25 HTML / CSS
面试提问mysql一张表到底能存多少数据
2022/03/13 MySQL
MySQL创建表操作命令分享
2022/03/25 MySQL
Go语言编译原理之源码调试
2022/08/05 Golang