go语言实现分布式对象存储系统之单体对象存储

 

对象存储

基本概念

主流存储类型分为三种：块存储、文件存储以及对象存储

• NAS（文件存储）：Network Attached storage,提供了存储功能和文件系统的网络服务器，客户端能够访问NAS上的文件系统，还能够上传和下载文件，使用协议：SMB、NFS以及AFS等网络文件系统协议，对于客户端来讲就是网络上的文件服务器。
• SAN（块存储）：Storage Area Network,和NAS的区别就是SAN只提供了块存储，而把文件系统抽象给客户端来管理，使用协议：Fibre\Channel、iSCSI\ATA over Ethnet和HyperSCSI，对于客户端来讲就是一块磁盘，能够对其格式化，建立文件系统并挂载。
• 对象存储：对象指的是面向对象，集合了块存储和文件存储的优势，拥有访问速度快、容量大等特性。而且容易搭配云计算，是一种新的网络存储架构。

对象存储系统(Object-Based Storage System)是综合了NAS和SAN的优势，同时具备SAN的高速直接访问和NAS的数据共享等优点，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。

为了更好的说明三者的差别，我打个比方，假设有三我的想从A地到B地，如今有三种交通方式。甲选择轿车、乙选择公共汽车、丙选择地铁。块存储相似于轿车，速度快，可是容量小（轿车只能乘坐几我的）；文件存储相似于公共汽车，速度慢（公共汽车有站点和红绿灯须要考虑），可是容量较大（能多坐很多人）；对象存储相似于地铁，速度快，容量大。

 

 

 

 

不一样的数据管理方式

• NAS，数据是以一个个文件的形式管理的。
• SAN，数据是以数据块的形式管理的，每一个数据块都有本身的地址，没有额外的背景信息。
• 对象存储，数据是以对象的方式管理，一个对象包括：数据、元数据、全局标识符。

对象的数据一般是无结构的数据，好比：图片、视频或文档等；对象的元数据则指的是对象的相关描述，好比：图片的大小、文档的拥有者等；对象id则是一个全局的惟一标识符，用来区分对象的。

 

不一样的访问数据方式

• NAS，经过NFS等网络协议访问某个远程服务器上存储的文件
• SAN，经过数据块的地址访问SAN上的数据块
• 对象存储，经过REST网络服务访问对象

对象存储，访问对象的方式很方便，是经过REST接口对对象进行操做，用HTTP动词（GET、POST、PUT、DELETE等）描述操做。除此以外，还有一种访问方式，就是使用各大云商提供的客户端去操做对象。
好比：Amazon的s3cmd、阿里云的osscmd/ossutil、腾讯云的coscmd等。

　　

 

对象存储优缺点

先说优势，以前大概也提了下：

• 可扩展性高：对象存储可以扩展数十乃至数百EB的容量，可以充分利用高密度存储；
• 效率高：扁平化结构，不受复杂目录系统对性能的影响；
• 无需迁移：对象存储是一种横向扩展系统，随着容量的增长，数据根据算法自动分布于全部的对象存储节点；
• 安全性高：对象存储一般凭借HTTP调用对象存储自己提供的认证密钥来提供数据访问；访问方便：不光支持HTTP(S)协议，采用REST的API方式调用和检索数据，一样增长了NFS和SMB支持；成本相对低：与块存储方式相比，对象存储是最具成本效益的数据存储类型，而且与云计算搭配，把对象存储的这一特性发挥的淋漓尽致。

再提缺点：

• 最终一致性：因为不一样节点的位置不一样，数据同步时可能会有必定时间的延迟或者错误；
• 不易作数据库：对象存储比较适合存储那些变更不大甚至不变的文件，而对于像数据库这种须要直接与存储裸盘相互映射的应用，仍是块存储更合适。

 

 

单体对象存储架构实现

单体对象存储架构

 

go语言实现

package main

import (
	"io"
	"net/http"
	"os"
	"log"
	"strings"
)

func main() {
	http.HandleFunc("/objects/",Handler)
	println("server...")
	log.Fatal(http.ListenAndServe("127.0.0.1:8006", nil))
}

func Handler(w http.ResponseWriter, r  *http.Request){
	println(r)
	m := r.Method
	if m == http.MethodPut{
		Put(w,r)
		return
	}
	if m == http.MethodGet{
		Get(w,r)
		return
	}
	w.WriteHeader(http.StatusMethodNotAllowed)

}

func Put(w http.ResponseWriter,r *http.Request){
	//C:\Users\Administrator\go\src\awesomeProject\test_file
	f,e := os.Create(("C:/Users/Administrator/go/src/awesomeProject/test_file"+"/objects/"+strings.Split(r.URL.EscapedPath(),"/")[2]))

	if e != nil {
		log.Println(e)
		w.WriteHeader(http.StatusInternalServerError)
		return
	}
	defer f.Close()
	io.Copy(f,r.Body)
}


func Get(w http.ResponseWriter,r *http.Request){

	f,e := os.Open(("C:/Users/Administrator/go/src/awesomeProject/test_file"+"/objects/"+strings.Split(r.URL.EscapedPath(),"/")[2]))

	if e != nil {
		log.Println(e)
		w.WriteHeader(http.StatusNotFound)
		return
	}
	defer f.Close()
	io.Copy(w,f)
}

　　

详解

main函数，注册一个HTTP处理函数并开始监听端口。

http.HandleFunc的做用是注册HTTP处理函数Handler，若是由客户端访问本机的HTTP服务且以“/objects/”开头，那么请求将由Handler负责处理。

http.ListenAndServer正式监听端口，正常状况下会一直监听，非正常状况下，log.Fatal会对于错误并退出程序。

http.HandleFunc("/objects/",Handler)
println("server...")
log.Fatal(http.ListenAndServe("127.0.0.1:8006", nil))

Handler函数，HTTP中最重要的请求和响应Response，Request为参数，根据客户端不一样的请求方式，执行不一样的处理函数：Put函数与Get函数。

func Handler(w http.ResponseWriter, r  *http.Request){
	println(r)
	m := r.Method
	if m == http.MethodPut{
		Put(w,r)
		return
	}
	if m == http.MethodGet{
		Get(w,r)
		return
	}
	w.WriteHeader(http.StatusMethodNotAllowed)

}

 

Put函数，r.URL变量记录HTTP请求的URL，EscapedPath方法用于获取结果转义之后的路径部分，该路径形式是：/objects/<object_name>，而后strings.Split函数功能是分割/objects/<object_name>，分割为"“、”objects"、<object_name>,去数组的第三个元素就是<object_name>，os.Create在本地文件系统的根存储目录建立同名文件f，建立成功将r.Body用io.Copy写入文件f。

func Put(w http.ResponseWriter,r *http.Request){
	//C:\Users\Administrator\go\src\awesomeProject\test_file
	f,e := os.Create(("C:/Users/Administrator/go/src/awesomeProject/test_file"+"/objects/"+strings.Split(r.URL.EscapedPath(),"/")[2]))

	if e != nil {
		log.Println(e)
		w.WriteHeader(http.StatusInternalServerError)
		return
	}
	defer f.Close()
	io.Copy(f,r.Body)
}

Get函数同Put函数相似。此文为分布式对象存储-原理、架构及Go语言实现第一章总结