Kubernetes 部署 Nebula 图数据库集群

时间  2021-05-10
标签 node linux git github docker 数据库 api bash 服务器 网络 栏目 SQL 繁體版
原文   原文链接

本文首发于 Nebula Graph 官网：https://nebula-graph.com.cn/posts/how-to-deploy-nebula-graph-in-kubernetes/node

Kubernetes 是什么

Kubernetes 是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes 的目标是让部署容器化的应用简单而且高效，Kubernetes 提供了应用部署，规划，更新，维护的一种机制。linux

Kubernetes 在设计结构上定义了一系列的构建模块，其目的是为了提供一个能够部署、维护和扩展应用程序的机制，组成 Kubernetes 的组件设计理念为松耦合和可扩展的，这样可使之知足多种不一样的工做负载。可扩展性在很大程度上由 Kubernetes API 提供，此 API 主要被做为扩展的内部组件以及 Kubernetes 上运行的容器来使用。git

k8s-architecture

Kubernetes 主要由如下几个核心组件组成：github

  • etcd  保存了整个集群的状态
  • kube-apiserver 提供了资源操做的惟一入口，并提供认证、受权、访问控制、API 注册和发现等机制
  • kube-controller-manager 负责维护集群的状态，好比故障检测、自动扩展、滚动更新等
  • kube-scheduler 负责资源的调度，按照预约的调度策略将Pod调度到相应的机器上
  • kubelet 负责维护容器的生命周期，同时也负责 Volume和网络的管理
  • kube-proxy 负责为 Service 提供 cluster 内部的服务发现和负载均衡

Kubernetes 和数据库

数据库容器化是最近的一大热点，那么 Kubernetes 能为数据库带来什么好处呢？docker

  • 故障恢复：Kubernetes 提供故障恢复的功能，数据库应用若是宕掉，Kubernetes 能够将其自动重启，或者将数据库实例迁移到集群中其余节点上
  • 存储管理：Kubernetes 提供了丰富的存储接入方案，数据库应用能透明地使用不一样类型的存储系统
  • 负载均衡：Kubernetes Service 提供负载均衡功能，能将外部访问均衡到不一样的数据库实例副本上
  • 水平拓展：Kubernetes 能够根据当前数据库集群的资源利用率状况，缩放副本数目，从而提高资源的利用率

目前不少数据库，如：MySQL，MongoDB 和 TiDB 在 Kubernetes 集群中都能运行良好。数据库

Nebula Graph 在 Kubernetes 中的实践

Nebula Graph 是一个分布式的开源图数据库，主要组件有：Query Engine 的 graphd，数据存储的 storaged，和元数据的 meted。在 Kubernetes 实践过程当中，它主要给图数据库 Nebula Graph 带来了如下的好处：api

  • Kubernetes 能均衡 nebula graphd，metad 和 storaged 不一样副本之间的负载。graphd，metad 和 storaged 能够经过 Kubernetes 的域名服务自动发现彼此。
  • 经过 StorageClass，PVC 和 PV 能够屏蔽底层存储细节，不管使用本地卷仍是云盘，Kubernetes 都可以透明对接。
  • 经过 Kubernetes 能够在数秒内成功部署一套 Nebula 集群，Kubernetes 也能够无感知地实现 Nebula 集群的升级。
  • Nebula 集群经过 Kubernetes 能够作到自我恢复，单体副本 crash，Kubernetes 能够从新将其拉起，无需运维人员介入。
  • Kubernetes 能够根据当前 Nebula 集群的资源利用率状况弹性伸缩集群规模，从而提高集群的性能。

下面来说解下具体的实践内容。bash

集群部署

硬件和软件要求

这里主要罗列下本文部署涉及到的机器、操做系统参数服务器

  • 操做系统使用的 CentOS-7.6.1810 x86_64
  • 虚拟机配置
    • 4 CPU
    • 8G 内存
    • 50G 系统盘
    • 50G 数据盘 A
    • 50G 数据盘 B
  • Kubernetes 集群版本 v1.14+
  • Nebula 版本为 v2.0.0-rc1
  • 使用本地 PV 做为数据存储
  • CoreDNS 版本 1.6.0+

K8s 集群规划

如下为集群清单网络

服务器 IP nebula 实例 role
192.168.0.1 master
192.168.0.2 graphd, metad-0, storaged-0 node
192.168.0.3 graphd, metad-1, storaged-1 node
192.168.0.4 graphd, metad-2, storaged-2 node

K8s 待部署组件

  • 安装 Helm3
  • 准备本地磁盘，并安装本地卷插件
  • 安装 nebula 集群

安装 Helm3

Helm 是 Kubernetes 集群上的包管理工，使用 Helm 能够极大地下降使用 Kubernetes 部署应用的门槛。本文不作 Helm 详细介绍，有兴趣的小伙伴可自行阅读《Helm 入门指南》。

下载安装 Helm

使用下面命令在终端执行便可安装 Helm

$ wget https://get.helm.sh/helm-v3.5.2-linux-amd64.tar.gz
$ tar -zxvf helm/helm-v3.5.2-linux-amd64.tgz
$ mv linux-amd64/helm /usr/bin/helm

查看 Helm 版本

执行 helm version 命令便可查看对应的 Helm 版本，以文本为例，如下为输出结果：

version.BuildInfo{Version:"v3.5.2", GitCommit:"167aac70832d3a384f65f9745335e9fb40169dc2", GitTreeState:"dirty", GoVersion:"go1.15.7"}

设置本地磁盘

在每台机器上作以下配置

建立 mount 目录

$ sudo mkdir -p /mnt/disks

格式化数据盘

$ sudo mkfs.ext4 /dev/diskA 
$ sudo mkfs.ext4 /dev/diskB

挂载数据盘

$ DISKA_UUID=$(blkid -s UUID -o value /dev/diskA) 
$ DISKB_UUID=$(blkid -s UUID -o value /dev/diskB) 
$ sudo mkdir /mnt/disks/$DISKA_UUID
$ sudo mkdir /mnt/disks/$DISKB_UUID
$ sudo mount -t ext4 /dev/diskA /mnt/disks/$DISKA_UUID
$ sudo mount -t ext4 /dev/diskB /mnt/disks/$DISKB_UUID

$ echo UUID=`sudo blkid -s UUID -o value /dev/diskA` /mnt/disks/$DISKA_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab
$ echo UUID=`sudo blkid -s UUID -o value /dev/diskB` /mnt/disks/$DISKB_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab

部署本地卷插件

$ curl https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner/archive/v2.4.0.zip
$ unzip v2.4.0.zip

修改 v2.4.0/helm/provisioner/values.yaml classes 部分：

  • 将 hostDir: /mnt/fast-disks 改为 hostDir: /mnt/disks，# storageClass: true 改为 storageClass: true。而后执行：
$ helm install local-static-provisioner --namespace default sig-storage-local-static-provisioner/helm/provisioner
# 查看 local-static-provisioner 部署状况
$ helm list
NAME                    	NAMESPACE	REVISION	UPDATED                              	STATUS  	CHART            	APP VERSION
local-volume-provisioner	default  	1       	2021-02-10 11:06:34.3540341 +0800 CST	deployed	provisioner-2.4.0	2.4.0

部署 nebula 集群

下载 nebula helm chart

# 下载 nebula chart
$ helm repo add nebula-charts https://vesoft-inc.github.io/nebula-docker-compose
$ helm pull nebula-charts/nebula
$ tar -zxvf nebula-v2.0.0.tgz

设置 Kubernetes node节点

下面是 Kubernetes 节点列表，咱们须要设置 node 节点的调度标签。能够将 192.168.0.2，192.168.0.3，192.168.0.4 打上 nebula: "cloud" 的标签。

服务器 IP kubernetes roles nodeName
192.168.0.1 master 192.168.0.1
192.168.0.2 node 192.168.0.2
192.168.0.3 node 192.168.0.3
192.168.0.4 node 192.168.0.4

具体操做以下：

$ kubectl  label node 192.168.0.2 nebula="cloud" --overwrite 
$ kubectl  label node 192.168.0.3 nebula="cloud" --overwrite
$ kubectl  label node 192.168.0.4 nebula="cloud" --overwrite

调整 values 默认值

nebula helm chart 目录以下:

nebula
├── Chart.yaml
├── README.md
├── templates
│   ├── configmap.yaml
│   ├── deployment.yaml
│   ├── _helpers.tpl
│   ├── NOTES.txt
│   ├── pdb.yaml
│   ├── serviceaccount.yaml
│   ├── service.yaml
│   └── statefulset.yaml
└── values.yaml

1 directory, 11 files

能够根据运行环境需求修改 charts/nebula/values.yaml  里面的默认值

经过 helm 安装 nebula

$ helm install nebula charts/nebula 
# 查看部署状态
$ helm status nebula
NAME: nebula
LAST DEPLOYED: Fri Feb 19 12:58:16 2021
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Nebula Graph Cluster installed!

1. Watch all containers come up.
  $ kubectl get pods --namespace=default -l app.kubernetes.io=nebula -w
# 查看 K8s 集群上 nebula 部署状况
$ kubectl get pods --namespace=default -l app.kubernetes.io=nebula
NAME                             READY   STATUS    RESTARTS   AGE
nebula-graphd-676cfcf797-4q7mk   1/1     Running   0          6m
nebula-graphd-676cfcf797-whwqp   1/1     Running   0          6m
nebula-graphd-676cfcf797-zn5l6   1/1     Running   0          6m
nebula-metad-0                   1/1     Running   0          6m
nebula-metad-1                   1/1     Running   0          6m
nebula-metad-2                   1/1     Running   0          6m
nebula-storaged-0                1/1     Running   0          6m
nebula-storaged-1                1/1     Running   0          6m
nebula-storaged-2                1/1     Running   0          6m

访问 nebula 集群:

$ kubectl get service nebula-graphd
NAME            TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)                                          AGE
nebula-graphd   NodePort   10.105.47.116   <none>        9669:31646/TCP,19669:30554/TCP,19670:32386/TCP   22m

# 使用 nebula-console 测试
$ docker run --rm -ti --entrypoint=/bin/sh vesoft/nebula-console:v2-nightly
# 经过 NodePort 链接到 graphd 组件
/ $ nebula-console -addr 192.168.0.4 -port 31646 -u root -p vesoft
2021/02/19 05:04:55 [INFO] connection pool is initialized successfully

Welcome to Nebula Graph v2.0.0-rc1!

(root@nebula) [(none)]> show hosts;
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| Host                                                          | Port | Status   | Leader count | Leader distribution  | Partition distribution |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-0.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-1.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-2.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "Total"                                                       |      |          | 0            |                      |                        |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
Got 4 rows (time spent 2608/4258 us)

FAQ

如何搭建一套 Kubernetes 集群？

搭建高可用的 Kubernetes 能够参考社区文档：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/

如何调整 nebula 集群的部署参数？

在使用 helm install 时，使用 --set 能够设置部署参数，从而覆盖掉 helm chart 中 values.yaml 中的变量。参考文档：https://helm.sh/docs/intro/using_helm/

可否兼容 nebula v1.0.0+ 集群部署？

v1.0.0+ 不支持内部域名解析，须要修改 charts/nebula/values.yaml，配置以下:

hostNetwork: true
metadEndpoints: []
  - 192.168.0.2:9559
  - 192.168.0.3:9559
  - 192.168.0.4:9559

如何在 K8s 集群外部访问 nebula 内部组件？

本文使用 NodePort 的方式访问 graphd 组件，其余的访问方式还有 hostPort、hostNetwork、Ingress、LoadBalancer，须要您根据实际的部署环境来定制。

如何查看 nebula 集群情况？

使用 kubectl get pods --namespace=default -l app.kubernetes.io=nebula命令，或者直接在 Kubernetes dashboard 上查看 nebula 集群的运行情况。

如何使用其余类型的存储？

参考文档：https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

推荐阅读

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程