源码解析：K8s 创建 pod 时，背后发生了什么（一）（2021）
2021-06-01 09:00:00 Author: arthurchiao.github.io(查看原文) 阅读量:67 收藏
2021-06-01 09:00:00 Author: arthurchiao.github.io(查看原文) 阅读量:67 收藏
Published at 2021-06-01 | Last Update 2021-06-01
本文基于 2019 年的一篇文章 What happens when … Kubernetes edition! 梳理了 k8s 创建 pod（及其 deployment/replicaset）的整个过程， 整理了每个重要步骤的代码调用栈，以在实现层面加深对整个过程的理解。
原文参考的 k8S 代码已经较老（v1.8/v1.14 以及当时的 master），且部分代码
链接已失效；本文代码基于 v1.21。
由于内容已经不与原文一一对应（有增加和删减），因此标题未加 “[译]” 等字样。感谢原作者（们）的精彩文章。
篇幅太长，分成了几部分：
- 源码解析：K8s 创建 pod 时，背后发生了什么（一）（2021）
- 源码解析：K8s 创建 pod 时，背后发生了什么（二）（2021）
- 源码解析：K8s 创建 pod 时，背后发生了什么（三）（2021）
- 源码解析：K8s 创建 pod 时，背后发生了什么（四）（2021）
- 源码解析：K8s 创建 pod 时，背后发生了什么（五）（2021）
本文试图回答以下问题：敲下 kubectl run nginx --image=nginx --replicas=3 命令后，
K8s 中发生了哪些事情？
要弄清楚这个问题，我们需要：
- 了解 k8s 几个核心组件的启动过程，它们分别做了哪些事情，以及
- 从客户端发起请求到 pod ready 的整个过程。
首先看几个核心组件的启动过程分别做了哪些事情。
0.1 kube-apiserver 启动
调用栈
创建命令行（kube-apiserver）入口：
main // cmd/kube-apiserver/apiserver.go
|-cmd := app.NewAPIServerCommand() // cmd/kube-apiserver/app/server.go
| |-RunE := func() {
| Complete()
| |-ApplyAuthorization(s.Authorization)
| |-if TLS:
| ServiceAccounts.KeyFiles = []string{CertKey.KeyFile}
| Validate()
| Run(completedOptions, handlers) // 核心逻辑
| }
|-cmd.Execute()
kube-apiserver 启动后，会执行到其中的 Run() 方法：
Run() // cmd/kube-apiserver/app/server.go
|-server = CreateServerChain()
| |-CreateKubeAPIServerConfig()
| | |-buildGenericConfig
| | | |-genericapiserver.NewConfig() // staging/src/k8s.io/apiserver/pkg/server/config.go
| | | | |-return &Config{
| | | | Serializer: codecs,
| | | | BuildHandlerChainFunc: DefaultBuildHandlerChain, // 注册 handler
| | | | }
| | | |
| | | |-OpenAPIConfig = DefaultOpenAPIConfig() // OpenAPI schema
| | | |-kubeapiserver.NewStorageFactoryConfig() // etcd 相关配置
| | | |-APIResourceConfig = genericConfig.MergedResourceConfig
| | | |-storageFactoryConfig.Complete(s.Etcd)
| | | |-storageFactory = completedStorageFactoryConfig.New()
| | | |-s.Etcd.ApplyWithStorageFactoryTo(storageFactory, genericConfig)
| | | |-BuildAuthorizer(s, genericConfig.EgressSelector, versionedInformers)
| | | |-pluginInitializers, admissionPostStartHook = admissionConfig.New()
| | |
| | |-capabilities.Initialize
| | |-controlplane.ServiceIPRange()
| | |-config := &controlplane.Config{}
| | |-AddPostStartHook("start-kube-apiserver-admission-initializer", admissionPostStartHook)
| | |-ServiceAccountIssuerURL = s.Authentication.ServiceAccounts.Issuer
| | |-ServiceAccountJWKSURI = s.Authentication.ServiceAccounts.JWKSURI
| | |-ServiceAccountPublicKeys = pubKeys
| |
| |-createAPIExtensionsServer
| |-CreateKubeAPIServer
| |-createAggregatorServer // cmd/kube-apiserver/app/aggregator.go
| | |-aggregatorConfig.Complete().NewWithDelegate(delegateAPIServer) // staging/src/k8s.io/kube-aggregator/pkg/apiserver/apiserver.go
| | | |-apiGroupInfo := NewRESTStorage()
| | | |-GenericAPIServer.InstallAPIGroup(&apiGroupInfo)
| | | |-InstallAPIGroups
| | | |-openAPIModels := s.getOpenAPIModels(APIGroupPrefix, apiGroupInfos...)
| | | |-for apiGroupInfo := range apiGroupInfos {
| | | | s.installAPIResources(APIGroupPrefix, apiGroupInfo, openAPIModels)
| | | | s.DiscoveryGroupManager.AddGroup(apiGroup)
| | | | s.Handler.GoRestfulContainer.Add(discovery.NewAPIGroupHandler(s.Serializer, apiGroup).WebService())
| | | |
| | | |-GenericAPIServer.Handler.NonGoRestfulMux.Handle("/apis", apisHandler)
| | | |-GenericAPIServer.Handler.NonGoRestfulMux.UnlistedHandle("/apis/", apisHandler)
| | | |-
| | |-
|-prepared = server.PrepareRun() // staging/src/k8s.io/kube-aggregator/pkg/apiserver/apiserver.go
| |-GenericAPIServer.AddPostStartHookOrDie
| |-GenericAPIServer.PrepareRun
| | |-routes.OpenAPI{}.Install()
| | |-registerResourceHandlers // staging/src/k8s.io/apiserver/pkg/endpoints/installer.go
| | |-POST: XX
| | |-GET: XX
| |
| |-openapiaggregator.BuildAndRegisterAggregator()
| |-openapiaggregator.NewAggregationController()
| |-preparedAPIAggregator{}
|-prepared.Run() // staging/src/k8s.io/kube-aggregator/pkg/apiserver/apiserver.go
|-s.runnable.Run()
一些重要步骤
- 创建 server chain。Server aggregation（聚合）是一种支持多 apiserver 的方式，其中 包括了一个 generic apiserver，作为默认实现。
- 生成 OpenAPI schema，保存到 apiserver 的 Config.OpenAPIConfig 字段。
- 遍历 schema 中的所有 API group，为每个 API group 配置一个 storage provider， 这是一个通用 backend 存储抽象层。
- 遍历每个 group 版本，为每个 HTTP route 配置 REST mappings。 稍后处理请求时，就能将 requests 匹配到合适的 handler。
0.2 controller-manager 启动
调用栈
NewDeploymentController
NewReplicaSetController
0.3 kubelet 启动
调用栈
main // cmd/kubelet/kubelet.go
|-NewKubeletCommand // cmd/kubelet/app/server.go
|-Run // cmd/kubelet/app/server.go
|-initForOS // cmd/kubelet/app/server.go
|-run // cmd/kubelet/app/server.go
|-initConfigz // cmd/kubelet/app/server.go
|-InitCloudProvider
|-NewContainerManager
|-ApplyOOMScoreAdj
|-PreInitRuntimeService
|-RunKubelet // cmd/kubelet/app/server.go
| |-k = createAndInitKubelet // cmd/kubelet/app/server.go
| | |-NewMainKubelet
| | | |-watch k8s Service
| | | |-watch k8s Node
| | | |-klet := &Kubelet{}
| | | |-init klet fields
| | |
| | |-k.BirthCry()
| | |-k.StartGarbageCollection()
| |
| |-startKubelet(k) // cmd/kubelet/app/server.go
| |-go k.Run() // -> pkg/kubelet/kubelet.go
| | |-go cloudResourceSyncManager.Run()
| | |-initializeModules
| | |-go volumeManager.Run()
| | |-go nodeLeaseController.Run()
| | |-initNetworkUtil() // setup iptables
| | |-go Until(PerformPodKillingWork, 1*time.Second, neverStop)
| | |-statusManager.Start()
| | |-runtimeClassManager.Start
| | |-pleg.Start()
| | |-syncLoop(updates, kl) // pkg/kubelet/kubelet.go
| |
| |-k.ListenAndServe
|
|-go http.ListenAndServe(healthz)
0.4 小结
以上核心组件启动完成后，就可以从命令行发起请求创建 pod 了。
文章来源: https://arthurchiao.github.io/blog/what-happens-when-k8s-creates-pods-1-zh/
如有侵权请联系:admin#unsafe.sh
如有侵权请联系:admin#unsafe.sh