Golang bufio详细讲解


Posted in Golang onApril 21, 2022

bufio 包介绍 

bufio包实现了有缓冲的I/O。它包装一个io.Reader或io.Writer接口对象,创建另一个也实现了该接口,且同时还提供了缓冲和一些文本I/O的帮助函数的对象。

golang bufio

当频繁地对少量数据读写时会占用IO,造成性能问题。golang的bufio库使用缓存来一次性进行大块数据的读写,以此降低IO系统调用,提升性能。

在Transport中可以设置一个名为WriteBufferSize的参数,该参数指定了底层(Transport.dialConn)写buffer的大小。

tr := &http.Transport{
		WriteBufferSize:     64 * 1024,
	}
pconn.br = bufio.NewReaderSize(pconn, t.readBufferSize())
	pconn.bw = bufio.NewWriterSize(persistConnWriter{pconn}, t.writeBufferSize())

使用bufio进行写

可以使用bufio.NewWriter初始化一个大小为4096字节的Writer(见下),或使用bufio.NewWriterSize初始化一个指定大小的Writer

Writer中的主要参数为缓存区buf,缓存区中的数据偏移量n以及写入接口wr

type Writer struct {
	err error
	buf []byte
	n   int
	wr  io.Writer
}

bufio.Writer方法可以一次性写入缓存中的数据,通常有如下三种情况:

  • 缓存中满数据
  • 缓存中仍有空间
  • 待写入的数据大于缓存的大小

缓存中满数据

当缓存中满数据时,会执行写操作。

缓存中仍有空间

如果缓存中仍有数据,则不会执行写入动作,除非调用Flush()方法。

待写入的数据大于缓存的大小

由于此时缓存无法缓存足够的数据,此时会跳过缓存直接执行写操作

type Writer int
func (*Writer) Write(p []byte) (n int, err error) {
	fmt.Printf("Writing: %s\n", p)
	return len(p), nil
}
func main() {
	w := new(Writer)
	bw1 := bufio.NewWriterSize(w, 4)
	// Case 1: Writing to buffer until full
	bw1.Write([]byte{'1'})
	bw1.Write([]byte{'2'})
	bw1.Write([]byte{'3'})
	bw1.Write([]byte{'4'}) // write - buffer is full
	// Case 2: Buffer has space
    bw1.Write([]byte{'5'}) //此时buffer中无法容纳更多的数据,执行写操作,写入 []byte{'1','2','3','4'}
	err = bw1.Flush() // forcefully write remaining
	if err != nil {
		panic(err)
	}
	// Case 3: (too) large write for buffer
	// Will skip buffer and write directly
	bw1.Write([]byte("12345")) //buffer不足,直接执行写操作
//结果:
Writing: 1234
Writing: 5
Writing: 12345

缓存重用

申请缓存对性能是有损耗的,可以使用Reset方法重置缓存,其内部只是将Writer的数据偏移量n置0。

wr := new(Writer)
bw := bufio.NewWriterSize(wr,2) 
bw.Reset(wr)

获取缓存的可用空间数

Available()方法可以返回缓存的可用空间数,即len(Writer.buf)-Writer.n

使用bufio进行读

与用于写数据的Writer类似,读数据也有一个Reader,可以使用NewReader初始化一个大小为4096字节的Reader,或使用NewReaderSize初始化一个指定大小的Reader(要求最小为16字节)。Reader也有一个记录偏移量的变量r

type Reader struct {
	buf          []byte
	rd           io.Reader // reader provided by the client
	r, w         int       // buf read and write positions
	err          error
	lastByte     int // last byte read for UnreadByte; -1 means invalid
	lastRuneSize int // size of last rune read for UnreadRune; -1 means invalid
}

Peek

该方法会返回buf中的前n个字节的内容,但与Read操作不同的是,它不会消费缓存中的数据,即不会增加数据偏移量,因此通常也会用于判断是否读取结束(EOF)。通常有如下几种情况:

  • 如果peak的值小于缓存大小,则返回相应的内容
  • 如果peak的值大于缓存大小,则返回bufio.ErrBufferFull错误
  • 如果peak的值包含EOF且小于缓存大小,则返回EOF

Read

将数据读取到p,涉及将数据从缓存拷贝到p

func (b *Reader) Read(p []byte) (n int, err error)

ReadSlice

该方法会读从缓存读取数据,直到遇到第一个delim。如果缓存中没有delim,则返回EOF,如果查询的长度超过了缓存大小,则返回 io.ErrBufferFull 错误。

func (b *Reader) ReadSlice(delim byte) (line []byte, err error)

例如delim',',则下面会返回的内容为1234,

r := strings.NewReader("1234,567")
rb := bufio.NewReaderSize(r, 20)
fmt.Println(rb.ReadSlice(','))
// 结果:[49 50 51 52 44] <nil>

注意:ReadSlice返回的是原始缓存中的内容,如果针对缓存作并发操作,则返回的内容有可能被其他操作覆盖。因此在官方注释里面有写,建议使用ReadBytesReadString。但ReadBytesReadString涉及内存申请和拷贝,因此会影响性能。在追求高性能的场景下,建议外部使用sync.pool来提供缓存。

// Because the data returned from ReadSlice will be overwritten
// by the next I/O operation, most clients should use
// ReadBytes or ReadString instead.

ReadLine

ReadLine() (line []byte, isPrefix bool, err error)

ReadLine底层用到了ReadSlice,但在返回时会移除\n 或\r\n。需要注意的是,如果切片中没有找到换行符,则不会返回EOF或io.ErrBufferFull 错误,相反,它会将isPrefix置为true

ReadBytes

ReadSlice类似,但它会返回一个新的切片,因此便于并发使用。如果找不到delimReadBytes会返回io.EOF

func (b *Reader) ReadBytes(delim byte) ([]byte, error)

Scanner

scanner可以不断将数据读取到缓存(默认64*1024字节)。

rb := strings.NewReader("12345678901234567890")
	scanner := bufio.NewScanner(rb)
	for scanner.Scan() {
		fmt.Printf("Token (Scanner): %q\n", scanner.Text())
	}
	// 结果:Token (Scanner): "12345678901234567890"

参考

how-to-read-and-write-with-golang-bufio

到此这篇关于golang bufio解析的文章就介绍到这了!


Tags in this post...

Golang 相关文章推荐
golang interface判断为空nil的实现代码
Apr 24 Golang
go语言-在mac下brew升级golang
Apr 25 Golang
Go语言中的UTF-8实现
Apr 26 Golang
解决Go gorm踩过的坑
Apr 30 Golang
golang日志包logger的用法详解
May 05 Golang
go类型转换及与C的类型转换方式
May 05 Golang
Golang之sync.Pool使用详解
May 06 Golang
Golang 实现获取当前函数名称和文件行号等操作
May 08 Golang
Golang原生rpc(rpc服务端源码解读)
Apr 07 Golang
Go获取两个时区的时间差
Apr 20 Golang
Golang map映射的用法
Apr 22 Golang
Golang 结构体数据集合
Apr 22 Golang
Go获取两个时区的时间差
Apr 20 #Golang
Golang jwt身份认证
实现GO语言对数组切片去重
Apr 20 #Golang
Golang日志包的使用
Apr 20 #Golang
Golang获取List列表元素的四种方式
Apr 20 #Golang
Golang 对es的操作实例
Apr 20 #Golang
Golang 遍历二叉树
Apr 19 #Golang
You might like
php使用curl发送json格式数据实例
2013/12/17 PHP
PHP实现批量修改文件后缀名的方法
2015/07/30 PHP
laravel 框架执行流程与原理简单分析
2020/02/01 PHP
javascript拓展DOM操作 prependChild insertAfert
2010/11/17 Javascript
JQuery表格内容过滤的实现方法
2013/07/05 Javascript
JS Array.slice 截取数组的实现方法
2016/01/02 Javascript
bootstrap datetimepicker实现秒钟选择下拉框
2017/01/05 Javascript
Angular.js 4.x中表单Template-Driven Forms详解
2017/04/25 Javascript
JS实现table表格固定表头且表头随横向滚动而滚动
2017/10/26 Javascript
jq.ajax+php+mysql实现关键字模糊查询(示例讲解)
2018/01/02 Javascript
TypeScript开发Node.js程序的方法
2019/04/30 Javascript
JS获取一个字符串中指定字符串第n次出现的位置
2021/02/10 Javascript
JavaScript实现筛选数组
2021/03/02 Javascript
[01:07]DOTA2次级职业联赛 - Fpb战队宣传片
2014/12/01 DOTA
[02:34]DOTA2亚洲邀请赛 BG战队出场宣传片
2015/03/09 DOTA
利用python画一颗心的方法示例
2017/01/31 Python
python音频处理用到的操作的示例代码
2017/10/27 Python
Python使用matplotlib绘图无法显示中文问题的解决方法
2018/03/14 Python
15行Python代码带你轻松理解令牌桶算法
2018/03/21 Python
Numpy之文件存取的示例代码
2018/08/03 Python
Django之全局使用request.user.username的实例详解
2020/05/14 Python
Python3批量创建Crowd用户并分配组
2020/05/20 Python
Expected conditions模块使用方法汇总代码解析
2020/08/13 Python
Python中Yield的基本用法
2020/10/18 Python
超酷炫 CSS3垂直手风琴菜单
2016/06/28 HTML / CSS
CSS3移动端vw+rem不依赖JS实现响应式布局的方法
2019/01/23 HTML / CSS
西班牙英格列斯百货法国官网:El Corte Inglés法国
2017/07/09 全球购物
韩国11街:11STREET
2018/03/27 全球购物
大学生怎样进行自我评价
2013/12/07 职场文书
人事主管岗位职责说明书
2014/07/30 职场文书
个人作风建设剖析材料
2014/10/11 职场文书
2015元旦标语横幅
2014/12/09 职场文书
巾帼建功标兵先进事迹材料
2016/02/29 职场文书
Vue接口封装的完整步骤记录
2021/05/14 Vue.js
Flask使用SQLAlchemy实现持久化数据
2021/07/16 Python
Mongodb 迁移数据块的流程介绍分析
2022/04/18 MongoDB