Golang的IO库那么多,我该怎么选?

在计算机和信息技术领域里I/O这个术语表示输入 / 输出 ( 英语:Input / Output ) ,一般指数据在存储器(内部和外部)或其余周边设备之间的输入和输出,是信息处理系统与外部之间的通讯。输入是系统接收的信号或数据,输出则是从其发送的信号或数据。缓存

在Go语言中涉及I/O操做的内置库有不少种,好比:io库,os库,ioutil库,bufio库,bytes库,strings库等等。 拥有这么多内置库是好事,可是具体到涉及I/O的场景咱们应该选择哪一个库呢?微信

io.Reader/Writer

Go语言里使用io.Readerio.Writer两个 interface 来抽象I/O,他们的定义以下。markdown

type Reader interface {
	Read(p []byte) (n int, err error)
}

type Writer interface {
	Write(p []byte) (n int, err error)
}
复制代码

io.Reader 接口表明一个能够从中读取字节流的实体,而io.Writer则掉吧一个能够向其写入字节流的实体。网络

io.Reader/Writer 经常使用的几种实现

  • net.Conn: 标识网络链接。
  • os.Stdin, os.Stdout, os.Stderr: 标准输入、输出和错误。
  • os.File: 网络,标准输入输出,文件的流读取。
  • strings.Reader: 字符串抽象成 io.Reader 的实现。
  • bytes.Reader: []byte抽象成 io.Reader 的实现。
  • bytes.Buffer: []byte抽象成 io.Reader 和 io.Writer 的实现。
  • bufio.Reader/Writer: 带缓冲的流读取和写入(好比按行读写)。

除了这几种实现外经常使用的还有ioutil工具库包含了不少IO工具函数,编码相关的内置库encoding/base64encoding/binary等也是经过 io.Reader 和 io.Writer 实现各自的编码功能的。函数

这些经常使用实现和工具库与io.Reader和io.Writer间的关系能够用下图表示。工具

每种I/O库的使用场景

io库

io库属于底层接口定义库。它的做用主要是定义个I/O的基本接口和个基本常量,并解释这些接口的功能。在实际编写代码作I/O操做时,这个库通常只用来调用它的常量和接口定义,好比用io.EOF判断是否已经读取完,用io.Reader作变量的类型声明。ui

// 字节流读取完后,会返回io.EOF这个error
for {
	n, err := r.Read(buf)
	fmt.Println(n, err, buf[:n])
	if err == io.EOF {
		break
	}
}
复制代码

os 库

os库主要是处理操做系统操做的,它做为Go程序和操做系统交互的桥梁。建立文件、打开或者关闭文件、Socket等等这些操做和都是和操做系统挂钩的,因此都经过os库来执行。这个库常常和ioutilbufio等配合使用编码

ioutil库

ioutil库是一个有工具包,它提供了不少实用的 IO 工具函数,例如 ReadAll、ReadFile、WriteFile、ReadDir。惟一须要注意的是它们都是一次性读取和一次性写入,因此使用时,尤为是把数据从文件里一次性读到内存中时须要注意文件的大小。spa

读出文件中的全部内容操作系统

func readByFile() {
  data, err := ioutil.ReadFile( "./file/test.txt")
  if err != nil {
    log.Fatal("err:", err)
    return
  }
  fmt.Println("data", string(data)) 
}
复制代码

将数据一次性写入文件

func writeFile() {
  err := ioutil.WriteFile("./file/write_test.txt", []byte("hello world!"), 0644)
  if err != nil {
    panic(err)
    return
  }
}
复制代码

bufio库

bufio,能够理解为在io库的基础上额外封装加了一个缓存层,它提供了不少按行进行读写的函数,从io库的按字节读写变为按行读写对写代码来讲仍是方便了很多。

func readBigFile(filePath string) error {
  f, err := os.Open(filePath)
  defer f.Close()

  if err != nil {
    log.Fatal(err)
    return err
  }

  buf := bufio.NewReader(f)
  count := 0
  // 循环中打印前100行内容
  for {
    count += 1
    line, err := buf.ReadString('\n')
    line = strings.TrimSpace(line)
    if err != nil {
      return err
    }
    fmt.Println("line", line)

    if count > 100 {
      break
    }
  }
  return nil
}
复制代码
  • ReadLine和ReadString方法:buf.ReadLine(),buf.ReadString("\n")都是按行读,只不过ReadLine读出来的是[]byte,后者直接读出了string,最终他们底层调用的都是ReadSlice方法。
  • bufio VS ioutil 库: bufio 和 ioutil 库都提供了读写文件的能力。它们之间惟一的区别是 bufio 有一个额外的缓存层。这个优点主要体如今读取大文件的时候。

bytes 和 strings 库

bytes 和 strings 库里的 bytes.Reader 和string.Reader,它们都实现了io.Reader接口,也都提供了NewReader方法用来从[]byte或者string类型的变量直接构建出相应的Reader实现。

r := strings.NewReader("abcde")
// 或者是 bytes.NewReader([]byte("abcde"))
buf := make([]byte, 4)
for {
	n, err := r.Read(buf)
	fmt.Println(n, err, buf[:n])
	if err == io.EOF {
		break
	}
}
复制代码

另外一个区别是bytes库有Buffer的功能,而strings库则没有。

var buf bytes.Buffer
fmt.Fprintf(&buf, "Size: %d MB.", 85)
s := buf.String()) // s == "Size: 85 MB."
复制代码

总结

关于io.Readerio.Writer接口,能够简单理解为读源和写源。也就是说,只要实现了Reader中的Read方法,这个东西就能够做为读源,里面能够包含数据,被咱们读取。Writer也是如此。

以上是我对Go语言里作I/O操做时常常会用到的Go语言内置库在使用场景和每一个库要解决的问题上的一些总结,但愿能帮你们理清思路,做为参考,在开发任务中须要时正确选择合适的库完成I/O操做。若是文章中的叙述有错误,欢迎留言指正,也欢迎在留言中对文章内容进行探讨和提出建议。

今天的文章就到这里啦,若是喜欢个人文章就帮我点个赞吧,我会每周经过技术文章分享个人所学所见和第一手实践经验,感谢你的支持。微信搜索关注公众号「网管叨bi叨」每周教会你一个进阶知识。

相关文章
相关标签/搜索