Golang bufio详细讲解


Posted in Golang onApril 21, 2022

bufio 包介绍 

bufio包实现了有缓冲的I/O。它包装一个io.Reader或io.Writer接口对象,创建另一个也实现了该接口,且同时还提供了缓冲和一些文本I/O的帮助函数的对象。

golang bufio

当频繁地对少量数据读写时会占用IO,造成性能问题。golang的bufio库使用缓存来一次性进行大块数据的读写,以此降低IO系统调用,提升性能。

在Transport中可以设置一个名为WriteBufferSize的参数,该参数指定了底层(Transport.dialConn)写buffer的大小。

tr := &http.Transport{
		WriteBufferSize:     64 * 1024,
	}
pconn.br = bufio.NewReaderSize(pconn, t.readBufferSize())
	pconn.bw = bufio.NewWriterSize(persistConnWriter{pconn}, t.writeBufferSize())

使用bufio进行写

可以使用bufio.NewWriter初始化一个大小为4096字节的Writer(见下),或使用bufio.NewWriterSize初始化一个指定大小的Writer

Writer中的主要参数为缓存区buf,缓存区中的数据偏移量n以及写入接口wr

type Writer struct {
	err error
	buf []byte
	n   int
	wr  io.Writer
}

bufio.Writer方法可以一次性写入缓存中的数据,通常有如下三种情况:

  • 缓存中满数据
  • 缓存中仍有空间
  • 待写入的数据大于缓存的大小

缓存中满数据

当缓存中满数据时,会执行写操作。

缓存中仍有空间

如果缓存中仍有数据,则不会执行写入动作,除非调用Flush()方法。

待写入的数据大于缓存的大小

由于此时缓存无法缓存足够的数据,此时会跳过缓存直接执行写操作

type Writer int
func (*Writer) Write(p []byte) (n int, err error) {
	fmt.Printf("Writing: %s\n", p)
	return len(p), nil
}
func main() {
	w := new(Writer)
	bw1 := bufio.NewWriterSize(w, 4)
	// Case 1: Writing to buffer until full
	bw1.Write([]byte{'1'})
	bw1.Write([]byte{'2'})
	bw1.Write([]byte{'3'})
	bw1.Write([]byte{'4'}) // write - buffer is full
	// Case 2: Buffer has space
    bw1.Write([]byte{'5'}) //此时buffer中无法容纳更多的数据,执行写操作,写入 []byte{'1','2','3','4'}
	err = bw1.Flush() // forcefully write remaining
	if err != nil {
		panic(err)
	}
	// Case 3: (too) large write for buffer
	// Will skip buffer and write directly
	bw1.Write([]byte("12345")) //buffer不足,直接执行写操作
//结果:
Writing: 1234
Writing: 5
Writing: 12345

缓存重用

申请缓存对性能是有损耗的,可以使用Reset方法重置缓存,其内部只是将Writer的数据偏移量n置0。

wr := new(Writer)
bw := bufio.NewWriterSize(wr,2) 
bw.Reset(wr)

获取缓存的可用空间数

Available()方法可以返回缓存的可用空间数,即len(Writer.buf)-Writer.n

使用bufio进行读

与用于写数据的Writer类似,读数据也有一个Reader,可以使用NewReader初始化一个大小为4096字节的Reader,或使用NewReaderSize初始化一个指定大小的Reader(要求最小为16字节)。Reader也有一个记录偏移量的变量r

type Reader struct {
	buf          []byte
	rd           io.Reader // reader provided by the client
	r, w         int       // buf read and write positions
	err          error
	lastByte     int // last byte read for UnreadByte; -1 means invalid
	lastRuneSize int // size of last rune read for UnreadRune; -1 means invalid
}

Peek

该方法会返回buf中的前n个字节的内容,但与Read操作不同的是,它不会消费缓存中的数据,即不会增加数据偏移量,因此通常也会用于判断是否读取结束(EOF)。通常有如下几种情况:

  • 如果peak的值小于缓存大小,则返回相应的内容
  • 如果peak的值大于缓存大小,则返回bufio.ErrBufferFull错误
  • 如果peak的值包含EOF且小于缓存大小,则返回EOF

Read

将数据读取到p,涉及将数据从缓存拷贝到p

func (b *Reader) Read(p []byte) (n int, err error)

ReadSlice

该方法会读从缓存读取数据,直到遇到第一个delim。如果缓存中没有delim,则返回EOF,如果查询的长度超过了缓存大小,则返回 io.ErrBufferFull 错误。

func (b *Reader) ReadSlice(delim byte) (line []byte, err error)

例如delim',',则下面会返回的内容为1234,

r := strings.NewReader("1234,567")
rb := bufio.NewReaderSize(r, 20)
fmt.Println(rb.ReadSlice(','))
// 结果:[49 50 51 52 44] <nil>

注意:ReadSlice返回的是原始缓存中的内容,如果针对缓存作并发操作,则返回的内容有可能被其他操作覆盖。因此在官方注释里面有写,建议使用ReadBytesReadString。但ReadBytesReadString涉及内存申请和拷贝,因此会影响性能。在追求高性能的场景下,建议外部使用sync.pool来提供缓存。

// Because the data returned from ReadSlice will be overwritten
// by the next I/O operation, most clients should use
// ReadBytes or ReadString instead.

ReadLine

ReadLine() (line []byte, isPrefix bool, err error)

ReadLine底层用到了ReadSlice,但在返回时会移除\n 或\r\n。需要注意的是,如果切片中没有找到换行符,则不会返回EOF或io.ErrBufferFull 错误,相反,它会将isPrefix置为true

ReadBytes

ReadSlice类似,但它会返回一个新的切片,因此便于并发使用。如果找不到delimReadBytes会返回io.EOF

func (b *Reader) ReadBytes(delim byte) ([]byte, error)

Scanner

scanner可以不断将数据读取到缓存(默认64*1024字节)。

rb := strings.NewReader("12345678901234567890")
	scanner := bufio.NewScanner(rb)
	for scanner.Scan() {
		fmt.Printf("Token (Scanner): %q\n", scanner.Text())
	}
	// 结果:Token (Scanner): "12345678901234567890"

参考

how-to-read-and-write-with-golang-bufio

到此这篇关于golang bufio解析的文章就介绍到这了!


Tags in this post...

Golang 相关文章推荐
Go各时间字符串使用解析
Apr 02 Golang
解决Goland 同一个package中函数互相调用的问题
May 06 Golang
解决goland 导入项目后import里的包报红问题
May 06 Golang
golang 实现时间戳和时间的转化
May 07 Golang
Golang中异常处理机制详解
Jun 08 Golang
Golang中channel的原理解读(推荐)
Oct 16 Golang
Go语言基础map用法及示例详解
Nov 17 Golang
golang连接MySQl使用sqlx库
Apr 14 Golang
Golang 字符串的常见操作
Apr 19 Golang
Golang MatrixOne使用介绍和汇编语法
Apr 19 Golang
Golang获取List列表元素的四种方式
Apr 20 Golang
Go中使用gjson来操作JSON数据的实现
Aug 14 Golang
Go获取两个时区的时间差
Apr 20 #Golang
Golang jwt身份认证
实现GO语言对数组切片去重
Apr 20 #Golang
Golang日志包的使用
Apr 20 #Golang
Golang获取List列表元素的四种方式
Apr 20 #Golang
Golang 对es的操作实例
Apr 20 #Golang
Golang 遍历二叉树
Apr 19 #Golang
You might like
简介WordPress中用于获取首页和站点链接的PHP函数
2015/12/17 PHP
PHP图形操作之Jpgraph学习笔记
2015/12/25 PHP
用javascript连接access数据库的方法
2006/11/17 Javascript
Flash对联广告的关闭按钮讨论
2007/01/30 Javascript
javascript call方法使用说明
2010/01/11 Javascript
解决js数据包含加号+通过ajax传到后台时出现连接错误
2013/08/01 Javascript
关闭浏览器窗口弹出提示框并且可以控制其失效
2014/04/15 Javascript
轻松创建nodejs服务器(10):处理POST请求
2014/12/18 NodeJs
jQuery实现带渐显效果的人物多级关系图代码
2015/10/16 Javascript
Bootstrap Chart组件使用教程
2016/04/28 Javascript
Vue.js中用v-bind绑定class的注意事项
2016/12/13 Javascript
详解如何提高 webpack 构建 Vue 项目的速度
2017/07/03 Javascript
react-native ListView下拉刷新上拉加载实现代码
2017/08/03 Javascript
Vue数组更新及过滤排序功能
2017/08/10 Javascript
基于vue打包后字体和图片资源失效问题的解决方法
2018/03/06 Javascript
JS拖拽排序插件Sortable.js用法实例分析
2019/02/20 Javascript
package.json配置文件构成详解
2019/08/27 Javascript
es6 super关键字的理解与应用实例分析
2020/02/15 Javascript
JS创建自定义对象的六种方法总结
2020/12/15 Javascript
[59:35]DOTA2上海特级锦标赛主赛事日 - 3 败者组第三轮#1COL VS Alliance第二局
2016/03/04 DOTA
[02:50]【扭转乾坤,只此一招】DOTA2永雾林渊版本开启新篇章
2020/12/22 DOTA
python简单实现基于SSL的IRC bot实例
2015/06/15 Python
Python基于多线程操作数据库相关问题分析
2018/07/11 Python
Python基于分析Ajax请求实现抓取今日头条街拍图集功能示例
2018/07/19 Python
Python如何实现在字符串里嵌入双引号或者单引号
2020/03/02 Python
python 一维二维插值实例
2020/04/22 Python
python 逆向爬虫正确调用 JAR 加密逻辑
2021/01/12 Python
一款纯css3实现的竖形二级导航的实例教程
2014/12/11 HTML / CSS
HTML5中的Web Notification桌面右下角通知功能的实现
2018/04/19 HTML / CSS
英国办公用品商店:Office Outlet
2018/04/04 全球购物
加拿大租车网站:Enterprise Rent-A-Car
2018/07/26 全球购物
正风肃纪剖析材料
2014/02/18 职场文书
人民教师的自我评价分享
2014/02/21 职场文书
保险公司开门红口号
2014/06/21 职场文书
python opencv将多个图放在一个窗口的实例详解
2022/02/28 Python
优化Mysql查询的示例
2022/04/26 MySQL