Golang bufio详细讲解


Posted in Golang onApril 21, 2022

bufio 包介绍 

bufio包实现了有缓冲的I/O。它包装一个io.Reader或io.Writer接口对象,创建另一个也实现了该接口,且同时还提供了缓冲和一些文本I/O的帮助函数的对象。

golang bufio

当频繁地对少量数据读写时会占用IO,造成性能问题。golang的bufio库使用缓存来一次性进行大块数据的读写,以此降低IO系统调用,提升性能。

在Transport中可以设置一个名为WriteBufferSize的参数,该参数指定了底层(Transport.dialConn)写buffer的大小。

tr := &http.Transport{
		WriteBufferSize:     64 * 1024,
	}
pconn.br = bufio.NewReaderSize(pconn, t.readBufferSize())
	pconn.bw = bufio.NewWriterSize(persistConnWriter{pconn}, t.writeBufferSize())

使用bufio进行写

可以使用bufio.NewWriter初始化一个大小为4096字节的Writer(见下),或使用bufio.NewWriterSize初始化一个指定大小的Writer

Writer中的主要参数为缓存区buf,缓存区中的数据偏移量n以及写入接口wr

type Writer struct {
	err error
	buf []byte
	n   int
	wr  io.Writer
}

bufio.Writer方法可以一次性写入缓存中的数据,通常有如下三种情况:

  • 缓存中满数据
  • 缓存中仍有空间
  • 待写入的数据大于缓存的大小

缓存中满数据

当缓存中满数据时,会执行写操作。

缓存中仍有空间

如果缓存中仍有数据,则不会执行写入动作,除非调用Flush()方法。

待写入的数据大于缓存的大小

由于此时缓存无法缓存足够的数据,此时会跳过缓存直接执行写操作

type Writer int
func (*Writer) Write(p []byte) (n int, err error) {
	fmt.Printf("Writing: %s\n", p)
	return len(p), nil
}
func main() {
	w := new(Writer)
	bw1 := bufio.NewWriterSize(w, 4)
	// Case 1: Writing to buffer until full
	bw1.Write([]byte{'1'})
	bw1.Write([]byte{'2'})
	bw1.Write([]byte{'3'})
	bw1.Write([]byte{'4'}) // write - buffer is full
	// Case 2: Buffer has space
    bw1.Write([]byte{'5'}) //此时buffer中无法容纳更多的数据,执行写操作,写入 []byte{'1','2','3','4'}
	err = bw1.Flush() // forcefully write remaining
	if err != nil {
		panic(err)
	}
	// Case 3: (too) large write for buffer
	// Will skip buffer and write directly
	bw1.Write([]byte("12345")) //buffer不足,直接执行写操作
//结果:
Writing: 1234
Writing: 5
Writing: 12345

缓存重用

申请缓存对性能是有损耗的,可以使用Reset方法重置缓存,其内部只是将Writer的数据偏移量n置0。

wr := new(Writer)
bw := bufio.NewWriterSize(wr,2) 
bw.Reset(wr)

获取缓存的可用空间数

Available()方法可以返回缓存的可用空间数,即len(Writer.buf)-Writer.n

使用bufio进行读

与用于写数据的Writer类似,读数据也有一个Reader,可以使用NewReader初始化一个大小为4096字节的Reader,或使用NewReaderSize初始化一个指定大小的Reader(要求最小为16字节)。Reader也有一个记录偏移量的变量r

type Reader struct {
	buf          []byte
	rd           io.Reader // reader provided by the client
	r, w         int       // buf read and write positions
	err          error
	lastByte     int // last byte read for UnreadByte; -1 means invalid
	lastRuneSize int // size of last rune read for UnreadRune; -1 means invalid
}

Peek

该方法会返回buf中的前n个字节的内容,但与Read操作不同的是,它不会消费缓存中的数据,即不会增加数据偏移量,因此通常也会用于判断是否读取结束(EOF)。通常有如下几种情况:

  • 如果peak的值小于缓存大小,则返回相应的内容
  • 如果peak的值大于缓存大小,则返回bufio.ErrBufferFull错误
  • 如果peak的值包含EOF且小于缓存大小,则返回EOF

Read

将数据读取到p,涉及将数据从缓存拷贝到p

func (b *Reader) Read(p []byte) (n int, err error)

ReadSlice

该方法会读从缓存读取数据,直到遇到第一个delim。如果缓存中没有delim,则返回EOF,如果查询的长度超过了缓存大小,则返回 io.ErrBufferFull 错误。

func (b *Reader) ReadSlice(delim byte) (line []byte, err error)

例如delim',',则下面会返回的内容为1234,

r := strings.NewReader("1234,567")
rb := bufio.NewReaderSize(r, 20)
fmt.Println(rb.ReadSlice(','))
// 结果:[49 50 51 52 44] <nil>

注意:ReadSlice返回的是原始缓存中的内容,如果针对缓存作并发操作,则返回的内容有可能被其他操作覆盖。因此在官方注释里面有写,建议使用ReadBytesReadString。但ReadBytesReadString涉及内存申请和拷贝,因此会影响性能。在追求高性能的场景下,建议外部使用sync.pool来提供缓存。

// Because the data returned from ReadSlice will be overwritten
// by the next I/O operation, most clients should use
// ReadBytes or ReadString instead.

ReadLine

ReadLine() (line []byte, isPrefix bool, err error)

ReadLine底层用到了ReadSlice,但在返回时会移除\n 或\r\n。需要注意的是,如果切片中没有找到换行符,则不会返回EOF或io.ErrBufferFull 错误,相反,它会将isPrefix置为true

ReadBytes

ReadSlice类似,但它会返回一个新的切片,因此便于并发使用。如果找不到delimReadBytes会返回io.EOF

func (b *Reader) ReadBytes(delim byte) ([]byte, error)

Scanner

scanner可以不断将数据读取到缓存(默认64*1024字节)。

rb := strings.NewReader("12345678901234567890")
	scanner := bufio.NewScanner(rb)
	for scanner.Scan() {
		fmt.Printf("Token (Scanner): %q\n", scanner.Text())
	}
	// 结果:Token (Scanner): "12345678901234567890"

参考

how-to-read-and-write-with-golang-bufio

到此这篇关于golang bufio解析的文章就介绍到这了!


Tags in this post...

Golang 相关文章推荐
go语言-在mac下brew升级golang
Apr 25 Golang
golang 在windows中设置环境变量的操作
Apr 29 Golang
解决go在函数退出后子协程的退出问题
Apr 30 Golang
Go 自定义package包设置与导入操作
May 06 Golang
关于golang高并发的实现与注意事项说明
May 08 Golang
聊聊golang中多个defer的执行顺序
May 08 Golang
Golang生成Excel文档的方法步骤
Jun 09 Golang
Golang表示枚举类型的详细讲解
Sep 04 Golang
Go 通过结构struct实现接口interface的问题
Oct 05 Golang
Go 中的空白标识符下划线
Mar 25 Golang
Golang流模式之grpc的四种数据流
Apr 13 Golang
Golang gRPC HTTP协议转换示例
Jun 16 Golang
Go获取两个时区的时间差
Apr 20 #Golang
Golang jwt身份认证
实现GO语言对数组切片去重
Apr 20 #Golang
Golang日志包的使用
Apr 20 #Golang
Golang获取List列表元素的四种方式
Apr 20 #Golang
Golang 对es的操作实例
Apr 20 #Golang
Golang 遍历二叉树
Apr 19 #Golang
You might like
用PHP生成自己的LOG文件
2006/10/09 PHP
PHP下利用shell后台运行PHP脚本,并获取该脚本的Process ID的代码
2011/09/19 PHP
关于php程序报date()警告的处理(date_default_timezone_set)
2013/10/22 PHP
使用PHP如何实现高效安全的ftp服务器(一)
2015/12/20 PHP
php编程每天必学之表单验证
2016/03/01 PHP
如何重写Laravel异常处理类详解
2020/12/20 PHP
jQuery LigerUI 插件介绍及使用之ligerDrag和ligerResizable示例代码打包
2011/04/06 Javascript
jquery实现网站超链接和图片提示效果
2013/03/21 Javascript
解决JQeury显示内容没有边距内容紧挨着浏览器边线
2013/12/20 Javascript
jquery.idTabs 选项卡使用示例代码
2014/09/03 Javascript
JQUERY实现网页右下角固定位置展开关闭特效的方法
2015/07/27 Javascript
Labelauty?jQuery单选框/复选框美化插件分享
2015/09/26 Javascript
微信小程序 radio单选框组件详解及实例代码
2017/01/10 Javascript
JavaScript时间日期操作实例小结【5个示例】
2018/12/22 Javascript
弱类型语言javascript中 a,b 的运算实例小结
2019/08/07 Javascript
python使用循环实现批量创建文件夹示例
2014/03/25 Python
python根据文件大小打log日志
2014/10/09 Python
python判断图片宽度和高度后删除图片的方法
2015/05/22 Python
Python的Django框架中的数据过滤功能
2015/07/17 Python
Python 函数基础知识汇总
2018/03/09 Python
python 实现批量xls文件转csv文件的方法
2018/10/23 Python
python 运用Django 开发后台接口的实例
2018/12/11 Python
Python pandas DataFrame操作的实现代码
2019/06/21 Python
关于html字符串正则判断和匹配的具体使用
2019/12/12 HTML / CSS
下述程序的作用是计算机数组中的最大元素值及其下标
2012/11/26 面试题
校园创业策划书
2014/01/14 职场文书
学生自我评价范文
2014/02/02 职场文书
施工材料员岗位职责
2014/02/12 职场文书
收银出纳员岗位职责
2014/02/23 职场文书
2014年医学生毕业自我鉴定
2014/03/26 职场文书
领导欢迎词致辞
2015/01/23 职场文书
停电放假通知
2015/04/14 职场文书
教师考核鉴定意见
2015/06/05 职场文书
学习新党章心得体会2016
2016/01/15 职场文书
2016年六一儿童节开幕词
2016/03/04 职场文书
sql server偶发出现死锁的解决方法
2022/04/10 SQL Server