经过Minio搭建私有化对象存储服务_开源PaaS Rainbond最佳实践

时间 2019-11-16

标签经过 minio 搭建私有化对象存储服务开源 paas rainbond 最佳实践栏目云服务繁體版

原文原文链接

概述

Minio是创建在云原生的基础上；有分布式和共享存储等功能；旨在多租户环境中以可持续的方式进行扩展的对象存储服务。它最适合存储非结构化数据，如：照片、视频、日志文件、容器/虚拟机/映像等，单次存储对象的大小最大可达5TB。html

实现架构

单节点

根据存储是否为远端，可直接使用FS或NFS直接操做存储中的Object
调用S3接口，经过Minio使用FS或NFS来操做Object

多节点

多节点的Minio会根据不一样的Access_key及Secret_Key来区分不一样租户，每一个租户可操做对应Server获取Object。Minio Server间能够经过不一样的进程模型、容器或是虚拟机来互相隔离。linux

分布式

分布式Minio在无共享架构中根据需求扩展到尽量多的服务器，全部节点须要使用相同的Access_key及Secret_key来登陆。分布式Minio使用Web负载均衡器或DNS轮循(DNS round-robin)，在各服务器之间实现负载均衡。git

功能特性

Amazon S3兼容

Minio使用Amazon S3 v2 / v4 API。可使用Minio SDK，Minio Client，AWS SDK和AWS CLI访问Minio服务器。github

数据保护

Minio使用Minio Erasure Code来防止硬件故障。也许会损坏一半以上的driver，可是仍然能够从中恢复。docker

高度可用

Minio服务器能够容忍分布式设置中高达（N / 2）-1节点故障。并且，您能够配置Minio服务器在Minio与任意Amazon S3兼容服务器之间存储数据。数据库

Lambda计算

Minio服务器经过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列，如Kafka，NATS，AMQP，MQTT，Webhooks以及Elasticsearch，Redis，Postgres和MySQL等数据库。后端

加密和防篡改

Minio为加密数据提供了机密性，完整性和真实性保证，并且性能开销微乎其微。使用AES-256-GCM，ChaCha20-Poly1305和AES-CBC支持服务器端和客户端加密。加密的对象使用AEAD服务器端加密进行防篡改。安全

可对接后端存储

除了Minio本身的文件系统，还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。服务器

sdk支持

基于Minio轻量的特色，它获得相似Java、Python或Go等语言的sdk支持，微信

例如: Java类在使用Maven管理Jar的状况下，在pom.xml中指定Minio:

<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>3.0.12</version>
</dependency>

使用

Minio提供:包含图形化界面的Server端;使用命令行操做的Client端。如下为您介绍Minio Server与Minio Client的使用。

Minio Server

使用Access Key与Secret Key登陆Minio。登陆成功后进入以下界面

Access Key与Secret Key可由Minio Server随机生成，也可经过变量来自定义。下文自助部署讲述如何定义及获取Access Key与Secret Key。

点击模块1bucket对应部分建立一个新的bucket，可在模块2看到所建立bucket。
在模块2选择一个bucket。点击模块1upload对应部分上传文件到已选择bucket。可在页面白色部分看到对应bucket中所上传文件。
鼠标移动到模块2任意bucket，对应bucket右侧可点击进行操做policy、delete操做。其中policy可设置Prefix的请求权限。
点击模块3，查看与设置该Object的基本信息：
- 查看共享地址Shareable Link
- 设置到期时间，最大可保存时间为7天
- 对话框上方弹出该Object现剩余到期时间

Minio Client

下载二进制

wget https://dl.minio.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc --help

基本操做命令

配置已存在Minio Server

./mc config host add <custom_name> <Minio_Server_address> <access_key> <secret_keyt> S3v4

例:

./mc config host add test http://9000.gr8be71d.grapps.ali-hz.goodrain.net access_key secret_key S3v4

建立bucket

./mc mb <custom_name>/[bucket_name]/[object_name]

例:

./mc mb test/data

查看Minio Server的bucket、object

./mc ls <custom_name>/[bucket_name]/[object_name]

例:

./mc ls test/data

上传/下载Object

# cp到Minio Server(上传)
./mc cp <object> <custom_name>/[bucket_name]

# cp到本地(下载)
./mc cp <custom_name>/[bucket_name]/[object_name] <local_path>

例:

./mc cp README.md test/data

删除Object或bucket

./mc rm <custom_name>/[bucket_name]/[object_name]

例:

# 删除bucket，由于data下存在名为README.md的object,故需追加--force参数来强制删除bucket
./mc rm test/data --force

*共享访问

mc提供share方法，经过受权生成的URL能够临时上传或下载object。

download

指定Minio Server中的Object，生成该Object临时下载的URL。

./mc share download [—expire [h|m|s]] <custom_name>/[bucket_name]/[object_name]

例:

# --expire 168h表明生成的URL有效时间仅168小时
./mc share download --expire 168h test/data/README.md

upload

指定上传某文件到Minio Server后的路径，生成临时可供上传的命令。

./mc share upload [—expire [h|m|s]] <custom_name>/[bucket_name]/[object_name]

例:

./mc share upload test/data/README.md

生成相似以下命令:

curl http://9000.gr17b6e1.grapps.ali-hz.goodrain.net/data/ \
-F x-amz-credential=access_key/20180425/us-east-1/s3/aws4_request \
-F x-amz-date=20180425T031310Z \
-F x-amz-signature=68ac9f102afd6a87526ecb9ce6025dee4f85b25cf054f5a7668a73ae0ef9f4dc \
-F bucket=data \
-F policy=eyJleHBpcmF0aW9uIjoiMjAxOC0wNS0wMlQwMzoxMzowOS45MTlaIiwiY29uZGl0aW9ucyI6W1siZXEiLCIkYnVja2V0IiwiZGF0YSJdLFsiZXEiLCIka2V5IiwiaW5zdGFsbC5zaCJdLFsiZXEiLCIkeC1hbXotZGF0ZSIsIjIwMTgwNDI1VDAzMTMxMFoiXSxbImVxIiwiJHgtYW16LWFsZ29yaXRobSIsIkFXUzQtSE1BQy1TSEEyNTYiXSxbImVxIiwiJHgtYW16LWNyZWRlbnRpYWwiLCJhY2Nlc3Nfa2V5LzIwMTgwNDI1L3VzLWVhc3QtMS9zMy9hd3M0X3JlcXVlc3QiXV19 \
-F x-amz-algorithm=AWS4-HMAC-SHA256 \
-F key=README.md \
# <FILE> 为须要上传的Object
-F file=@<FILE>

list

查看所建立下载或上传的全部RUL

./mc share list [download/upload]

部署

从云市

您能够从云市一键式部署Minio应用(点击获取)。

从云帮

您也可使用docker run命令在云帮自行部署：

进入云帮-建立应用界面选择从Docker镜像建立应用
编辑docker run命令

docker run -p 9000:9000 \
    -e MINIO_ACCESS_KEY=<Custom Access Key> \
    -e MINIO_SECRET_KEY=<Custom Secret Key> \
    -v /mnt/data:/data \
    -v /mnt/config:/root/.minio \
    minio/minio:RELEASE.2018-04-19T22-54-58Z \
    server /data

访问Minio对象存储时，验证所须要的Access Key 与 Secret Key，能够根据传入的变量MINIO_ACCESS_KEY与变量MINIO_SECRET_KEY自定义生成。

咱们对云市的Minio应用的变量MINIO_ACCESS_KEY与变量MINIO_SECRET_KEY作了初始化工做，您能够在应用控制台-应用依赖信息获取变量对应值，用于登陆Minio应用。

分布式Minio

使用分布式的Minio可以让您将多个驱动（即便在不一样的计算机上）合并为一个对象存储服务器。因为驱动可分布在多个节点上，所以分布式Minio能够承受多点故障，而且保证数据的安全。

当前云市 Minio应用版本暂时不支持分布式Minio，后续将更新分布式Minio。

官方网站:https://www.minio.io

文档地址:https://docs.minio.io/

Minio其它支持参考: https://www.minio.io/dcos.html

进一步了解Rainbond v3.5.1

好雨Rainbond（云帮）是一款以应用为中心的开源PaaS，深度整合基于Kubernetes的容器管理、Service Mesh微服务架构最佳实践、多类型CI/CD应用构建与交付、多数据中心资源管理等技术，为用户提供云原生应用全生命周期解决方案，构建应用与基础设施、应用与应用、基础设施与基础设施之间互联互通的生态体系，知足支撑业务高速发展所需的敏捷开发、高效运维和精益管理需求。

网站: https://www.rainbond.com
试用Rainbond公有云: https://www.goodrain.com
Github: https://github.com/goodrain/r...
码云: https://gitee.com/rainbond/Ra...
微信群: 添加微信“qingguo-wei”并接受邀请入群