golang aws-sdk-go 之 s3 服务

s3 是 aws 提供的分布式文件服务，价格比较优惠，常常被用来做为日志的持久化存储，大数据处理结果的输入输出等

s3 服务提供命令行工具，能够很方便地上传、下载、删除文件，普通 golang 程序若是须要访问 s3 上文件，一种简单方式能够先将 s3 上文件下载到本地，而后直接访问本地文件便可，可是这种方式须要一个额外的步骤，下载到本地，有额外的运维成本，须要额外的磁盘空间，使用上面不是很灵活，此外，微服务应该尽量地下降对本地数据的依赖，这种设计也不符合微服务的设计思想

使用 aws-sdk-go 能够直接访问 s3 服务，实现文件的上传和读取

如下使用的代码：https://github.com/hatlonely/...

建立会话

首先须要建立一个会话，后续的访问均可以经过这个会话进行，若是访问的服务须要受权，也能够在 config 里面指定受权文件

sess := session.Must(session.NewSession(&aws.Config{
    Region: aws.String(endpoints.ApSoutheast1RegionID),
}))
service := s3.New(sess)

这里必须指定 s3 桶所在的地区

上传文件

fp, err := os.Open("s3_test.go")
So(err, ShouldBeNil)
defer fp.Close()

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

_, err = service.PutObjectWithContext(ctx, &s3.PutObjectInput{
    Bucket: aws.String("hatlonely"),
    Key:    aws.String("test/s3_test.go"),
    Body:   fp,
})
So(err, ShouldBeNil)

使用 PutObjectWithContext 实现文件的上传，这里只能实现文件的上传，不能实现文件的写入，因此只能先将文件写入到本地，而后再整个上传

能够经过 context 设置访问超时时间

下载文件

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

out, err := service.GetObjectWithContext(ctx, &s3.GetObjectInput{
    Bucket: aws.String("hatlonely"),
    Key: aws.String("test/s3_test.go"),
})
So(err, ShouldBeNil)
defer out.Body.Close()
scanner := bufio.NewScanner(out.Body)
for scanner.Scan() {
    Println(scanner.Text())
}

使用 GetObjectWithContext 接口读取文件，文件的内容在 out.Body 中，可使用 scanner 接口，不断地按行读取文件内容

最后要记得调用 out.Body.Close()，释放资源

遍历目录

var objkeys []string

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

out, err := service.ListObjectsWithContext(ctx, &s3.ListObjectsInput{
    Bucket: aws.String("hatlonely"),
    Prefix: aws.String("test/"),
})
So(err, ShouldBeNil)
for _, content := range out.Contents  {
    objkeys = append(objkeys, aws.StringValue(content.Key))
}
Println(objkeys)

大数据通常都是并发输出，每一个节点都会输出一个文件，到一个指定的目录下面，因此有时候咱们须要去获取一个目录下面到底有哪些文件，可使用 ListObjectsWithContext 遍历一个目录下全部的文件，这个函数是递归的

var objkeys []string

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

err := service.ListObjectsPagesWithContext(ctx, &s3.ListObjectsInput{
    Bucket: aws.String("hatlonely"),
    Prefix: aws.String("test/"),
}, func(output *s3.ListObjectsOutput, b bool) bool {
    for _, content := range output.Contents {
        objkeys = append(objkeys, aws.StringValue(content.Key))
    }
    return true
})
So(err, ShouldBeNil)
Println(objkeys)

也可使用 ListObjectsPagesWithContext 传入一个回调函数，用于处理每一个文件

参考连接

• aws-sdk-go：https://github.com/aws/aws-sd...
• aws-sdk-go api：https://docs.aws.amazon.com/s...

转载请注明出处
本文连接： http://hatlonely.github.io/20...