看 k8s 源代码有一段时间,总感受在迷宫里乱窜,有时候以为终于找到出口了,一会儿又撞墙了,总结下来仍是本身的内功不够深厚,本文是对 kube-apiserver Legacy(遗留,即将废弃)API 初始化流程(以及数据结构)的一个梳理,算是作个"路标",便于之后在"迷宫"中还能找到回来的路后端
kube-apiserver 主要功能是提供 api 接口给客户端访问 后端 etcd 存储,固然这中间不光是简单的 key/value 存储,为了方便扩展,kube-apiserver 设计了一套代码框架将 "资源对象" 映射到 RESTful APIapi
本文梳理了一下 kube-apiserver 启动流程和相关数据结构数据结构
k8s 代码更新比较快,本文基于 k8s release-1.9.x 代码app
kube-apiserver 启动流程相关的(主要)数据结构框架
Options,Config 和 Server 对象的(大体)关系:
由 Options 对象建立(配置) Config 对象,而后由 Config 对象建立(配置) Server 对象ide
ServerRunOptions 类封装了 kube-apiserver 命令行参数,这些参数按照不一样的类别进行分组函数
// kubernetes/cmd/kube-apiserver/app/options/options.go import ( ... genericoptions "k8s.io/apiserver/pkg/server/options" ... ) type ServerRunOptions struct { GenericServerRunOptions *genericoptions.ServerRunOptions Etcd *genericoptions.EtcdOptions SecureServing *genericoptions.SecureServingOptions InsecureServing *kubeoptions.InsecureServingOptions ... }
咱们重点看看 EtcdOptions,etcd 存储相关的配置,它和 kube-apiserver 如何访问后端 etcd 存储密切相关ui
StorageConfig 定义了 etcd 详细配置,好比 etcd 版本,key 公共前缀等命令行
// kubernetes/vendor/k8s.io/apiserver/pkg/server/options/etcd.go type EtcdOptions struct { StorageConfig storagebackend.Config EncryptionProviderConfigFilepath string ... } // kubernetes/vender/k8s.io/apiserver/storage/storagebackend/config.o type Config struct { // Type defines the type of storage backend, e.g. "etcd2", "etcd3" Type string // Prefix is the prefix to all keys passed to storage.Interface methods. Prefix string // ServerList is the list of storage servers to connect with ... }
《工厂方法》NewEtcdOptions 用于建立 EtcdOptions设计
// kubernetes/cmd/kube-apiserver/app/options/options.go func NewServerRunOptions() *ServerRunOptions { s := ServerRunOptions { ... Etcd: genericoptions.NewEtcdOptions( storagebackend.NewDefaultConfig(kubeoptions.DefaultEtcdPathPrefix, nil)) ... } }
EtcdOptions 有一个很是重要的方法 ApplyWithStorageFactoryTo 用于初始化 server.Config(服务配置类,见下文)的 RESTOptionsGetter 属性,该属性用于建立 etcd 后端存储(见下文)
// kubernetes/vendor/k8s.io/apiserver/pkg/server/options/etcd.go func (s *EtcdOptions) ApplyWithStorageFactoryTo( factory server storage.StorageFactory, c *server.Config) error { s.RESTOptionsGetter = &storageFactoryRestOptionsFactory{ Options: *s, StorageFactory: factory } } // kubernetes/pkg/kubeapiserver/options/storage_versions.go const ( DefaultEtcdPathPrefix = "/registry" )
Config is a structure used to configure a GenericAPIServer
server.Config 类用于配置和建立 GenericAPIServer(见下文)
// kubernetes/vender/k8s.io/apiserver/pkg/server/config.go type Config struct { ... // 这个字段很重要,标记一下 RESTOptionsGetter generic registry.RESTOptionsGetter ... }
《工厂方法》NewConfig 建立 server.Config 实例,该方法只是给 server.Config 的一些字段赋予一些默认值,《构建方法》BuildGenericConfig 对剩余的字段进行初始化
func BuildGenericConfig(s *options.ServerRunOptions, proxyTransport *http.Transport) (...) { //《工厂方法》 genericConfig := genericapiserver.NewConfig(legacy scheme.Codecs) ... // 将 ServerRunOptions.SecureServing "应用" 到 server.Config if err := s.SecureServing.ApplyTo(genericConfig); err 1= nil { ... } }
方法体中还有不少 ApplyTo 函数调用,基本都是将 ServerRunOptions 中的字段 "应用" 到 server.Config
GenericAPIServer contains state for a Kubernetes cluster api server
GenericAPIServer 结构体包含 server "通用" 的状态(字段),通常作为字段内嵌在具体 server(Master, APIAggregator .etc)中,能够把 GenericAPIServer 看做一个基类
type GenericAPIServer struct { ... }
Master contains state for a Kubernetes cluster master/api server
Master 结构体包含 GenericAPIServer 的引用,下面将要介绍的几个其它的结构体也都具备相似的结构
type Master struct { GenericAPIServer *genericapiserver.GenericAPIServer ClientCARegistrationHook ClientCARegistrationHook }
APIAggregator contains state for a Kubernetes cluster master/api server
type APIAggregator struct { GenericAPIServer *genericapiserver.GenericAPIServer ... }
kube-apiserver 入口在 kubernetes/cmd/kube-apiserver/apiserver.go
PS:经过如下命令能够(单独)构建 kube-apiserver
# export GOPATH=/opt/kubernetes-src/ # cd $GOPATH/src/k8s.io/kubernetes # make WHAT=cmd/kube-apiserver all
// kubernetes/cmd/kube-apiserver/apiserver.go import( ... "k8s.io.kubernetes/cmd/kube-apiserver/app" ... ) func main() { rand.Seed(time.Now().UTC().UnixNano()) // 解析命令行参数 s := options.NewServerRunOptions() s.AddFlags(pflag.CommandLine) flag.InitFlags() // 初始化 log logs.InitLogs() defer logs.FlushLogs() ... stopCh := server.SetupSignalHandler() if err := app.Run(s, stopCh); err != nil { fmt.FPrintf(os.Stderr, "%v\n", err) os.Exit(1) } }
main 函数只是个壳子,解析完命令行参数后会调用 app 包中的 Run 函数
// kubernetes/cmd/kube-apiserver/app.server.go func Run(runOptions *options.ServerRunOptions, stopCh <-chan struct{}) error { ... server, err := CreateServerChain(runOptions, stopCh) if err != nil { return err } return server.PrepareRun().Run(stopCh) }
CreateServerChain 函数使用了《责任链》模式,多个 server 组成一个链条,紧密相连,给客户端提供 RESTful API 服务