kubeadm 可以帮助您引导符合最佳实践的最小可行 Kubernetes 集群。使用 kubeadm, 您的集群应通过 Kubernetes 合规性认证。Kubeadm 还支持其他集群生命周期的功能,
如升级、降级和管理引导令牌。
因为您可以在各种类型的机器(例如笔记本电脑、服务器、树莓派等)上安装 kubeadm, 所以它非常适合与 Terraform 或 Ansible 等配置系统集成。
kubeadm 的简单性意味着它可以服务于各种用例:
kubeadm 旨在成为新用户开始尝试 Kubernetes 的一种简单方法,可能这是第一次让 现有用户可以轻松测试应用程序并将其与集群拼接在一起,同时,kubeadm 也可成为其他生态系统中的构建块或者更大范围的安装工具。
您可以在支持安装 deb 或 rpm 软件包的操作系统上轻松安装 kubeadm 。 负责 kubeadm 的 SIG——SIG Cluster Lifecycle提供了为您预先构建的这些软件包, 但您也可以基于源代码为其它操作系统生成这些软件包。
领域 | 成熟度 |
---|---|
命令行 UX | beta |
执行(Implementation) | beta |
配置文件 API | alpha |
自托管 (Self-hosting) | alpha |
kubeadm alpha 子命令 | alpha |
CoreDNS | GA |
DynamicKubeletConfig | alpha |
kubeadm 的整体功能状态是 Beta,很快将在 2018年升级为 正式发布 (GA)。一些子功能,如自托管或配置文件
API 仍在积极开发中。随着工具的发展,创建集群的实现可能会略有变化,但整体实现应该相当稳定。正如其名字所表达的,kubeadm alpha
下的任何命令
都仅按 alpha 特性来支持。
每个 Kubernetes 发行版本通常支持九个月,在此期间,如果 Kubernetes 被发现有严重错误或安全问题,可能会从发行分支上发布补丁版本。
以下是最新的 Kubernetes 版本号和支持时间表;该表也适用于 kubeadm
。
Kubernetes 版本号 | 发行月 | 结束月 |
---|---|---|
v1.6.x | 2017 年 3 月 | 2017 年 12 月 |
v1.7.x | 2017 年 6 月 | 2018年 3 月 |
v1.8.x | 2017 年 9 月 | 2018年 6 月 |
v1.9.x | 2017 年 12 月 | 2018年 9 月 |
v1.10.x | 2018 年 3 月 | 2018年 12 月 |
v1.11.x | 2018 年 6 月 | 2019年 3 月 |
v1.12.x | 2018 年 9 月 | 2019年 6 月 |
详见“安装 kubeadm”.
Note:注意: 如果您已经安装了 kubeadm,请运行
apt-get update && apt-get upgrade
或yum update
以获取最新版本的 kubeadm。当您升级时,kubelet 会每隔几秒钟重新启动一次, 因为它陷入崩溃循环(crashloop)中,等待 kubeadm 告诉它该怎么做。 这个崩溃循环是意料之中的并且是正常的。主节点被初始化后,kubelet 会正常运行。
主节点是运行控制平面组件的机器,包括 etcd(集群数据库)和 API 服务器(kubectl CLI 与之通信)。
--pod-network-cidr
设置为特定于提供者的值。
请参阅安装 pod 网络附加组件。kubeadm init
指定 --apiserver-advertise-address=<ip-address>
参数。
要使用 IPv6 部署 Kubernetes 集群,必须指定 IPv6 地址,例如 --apiserver-advertise-address=fd00::101
。kubeadm init
之前运行 kubeadm config images pull
以验证与 gcr.io 镜像仓库的连接。现在运行:
kubeadm init <args>
更多关于 kubeadm init
的参数信息,详见 kubeadm 参考指南。
有关配置选项的完整列表,请参阅 配置文件文档。
要自定义控制平面组件,包括可选的 IPv6 分配到控制平面组件和 etcd 服务器的活动探测器,请为自定义参数中记录的每个组件提供额外的参数。
要再次运行 kubeadm init
,必须先移除集群.
如果您将具有不同体系结构的节点加集群,请在节点上为 kube-proxy
和 kube-dns
创建单独的 Deployment 或 DaemonSet 。
这是因为这些组件的 Docker 镜像目前不支持多架构。
执行 kubeadm init
命令后,首先运行一系列预检,以确保机器已准备好运行 Kubernetes。
这些预先检查会显示警告并退出错误,然后 kubeadm init
会下载并安装集群控制平面组件。 这可能会需要几分钟。
输出应如下所示:
[init] Using Kubernetes version: vX.Y.Z
[preflight] Running pre-flight checks
[kubeadm] WARNING: starting in 1.8, tokens expire after 24 hours by default (if you require a non-expiring token use --token-ttl 0)
[certificates] Generated ca certificate and key.
[certificates] Generated apiserver certificate and key.
[certificates] apiserver serving cert is signed for DNS names [kubeadm-master kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 10.138.0.4]
[certificates] Generated apiserver-kubelet-client certificate and key.
[certificates] Generated sa key and public key.
[certificates] Generated front-proxy-ca certificate and key.
[certificates] Generated front-proxy-client certificate and key.
[certificates] Valid certificates and keys now exist in "/etc/kubernetes/pki"
[kubeconfig] Wrote KubeConfig file to disk: "admin.conf"
[kubeconfig] Wrote KubeConfig file to disk: "kubelet.conf"
[kubeconfig] Wrote KubeConfig file to disk: "controller-manager.conf"
[kubeconfig] Wrote KubeConfig file to disk: "scheduler.conf"
[controlplane] Wrote Static Pod manifest for component kube-apiserver to "/etc/kubernetes/manifests/kube-apiserver.yaml"
[controlplane] Wrote Static Pod manifest for component kube-controller-manager to "/etc/kubernetes/manifests/kube-controller-manager.yaml"
[controlplane] Wrote Static Pod manifest for component kube-scheduler to "/etc/kubernetes/manifests/kube-scheduler.yaml"
[etcd] Wrote Static Pod manifest for a local etcd instance to "/etc/kubernetes/manifests/etcd.yaml"
[init] Waiting for the kubelet to boot up the control plane as Static Pods from directory "/etc/kubernetes/manifests"
[init] This often takes around a minute; or longer if the control plane images have to be pulled.
[apiclient] All control plane components are healthy after 39.511972 seconds
[uploadconfig] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[markmaster] Will mark node master as master by adding a label and a taint
[markmaster] Master master tainted and labelled with key/value: node-role.kubernetes.io/master=""
[bootstraptoken] Using token: <token>
[bootstraptoken] Configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstraptoken] Configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstraptoken] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy
Your Kubernetes master has initialized successfully!
To start using your cluster, you need to run (as a regular user):
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the addon options listed at:
/docs/admin/addons/
You can now join any number of machines by running the following on each node
as root:
kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>
如果您是非 root 用户运行 kubectl,请运行以下命令,这些命令也是 kubeadm init
输出的一部分:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
或者,如果您是 root
用户,则可以运行:
export KUBECONFIG=/etc/kubernetes/admin.conf
记录 kubeadm init
输出结果中的 kubeadm join
命令。
您需要执行此命令将节点添加到您的集群。
令牌(token)用于主节点和待加入节点之间的相互认证。
请将这里包含的令牌视为机密数据,保证其安全,因为任何人都可以通过令牌将经过身份验证的节点添加到集群中。
可以使用 kubeadm token
命令列出,创建和删除这些令牌。 参见 kubeadm 参考指南.
Caution: 注意: 本节包含有关安装和部署顺序的重要信息。 继续操作之前请仔细阅读。
您必须安装 pod 网络插件,以便您的 pod 之间可以相互通信。
您必须在开启任何应用程序之前部署网络。 此外,CoreDNS 将不会在安装网络之前启动。kubeadm 仅支持基于容器网络接口(CNI)的网络(并且不支持 kubenet )
有几个项目使用 CNI 提供 Kubernetes pod 网络,其中一些还支持网络策略。 有关可用网络加载项的完整列表,请参阅插件项页面。
请注意,kubeadm 默认设置更安全的集群并强制使用 RBAC。 确保您的网络配置支持 RBAC。
您可以使用以下命令安装 pod 网络插件:
kubectl apply -f <add-on.yaml>
每个集群只能安装一个 Pod 网络。
请选择其中一个选项卡以查看相应第三方 Pod 网络驱动的安装说明。
有关使用 Calico 的更多信息,请参阅 Calico on Kubernetes上的快速入门, 安装 Calico 用于策略和网络和其他相关资源。
要使 Calico 正常工作,您需要执行 kubeadm init
时增加 --pod-network-cidr=192.168.0.0/16
参数或更新 calico.yml
文件以匹配您的 Pod 网络。
请注意,Calico 仅适用于 amd64
、arm64
、ppc64le
和 s390x
架构。
kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/rbac-kdd.yaml
kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml
Canal 使用 Calico 作为策略、Flannel 作为网络。 有关 Calico 的内容,请参阅官方入门指南。
为了让 Canal 正常工作, 您需要在执行 kubeadm init
时增加 --pod-network-cidr=10.244.0.0/16
参数。 注意 Canal 只支持 amd64
设备。
kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/canal/rbac.yaml
kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/canal/canal.yaml
有关将 Cilium 与 Kubernetes 一起使用的更多信息,请参阅关于 Kubernetes 的 Cilium 快速入门 和 适用于 Ciliu m的 kubernetes 安装指南。
不需要将 --pod-network-cidr
选项传递给 kubeadm init
,但强烈推荐你这么做。
这些命令将通过 etcd 运算器管理的自己的 etcd 以部署 Cilium。
# 从 Cilium 仓库下载所需的清单
wget https://github.com/cilium/cilium/archive/v1.2.0.zip
unzip v1.2.0.zip
cd cilium-1.2.0/examples/kubernetes/addons/etcd-operator
# 生成并部署 etcd 证书
export CLUSTER_DOMAIN=$(kubectl get ConfigMap --namespace kube-system coredns -o yaml | awk '/kubernetes/ {print $2}')
tls/certs/gen-cert.sh $CLUSTER_DOMAIN
tls/deploy-certs.sh
# 标记具有固定标识标签的 kube-dns
kubectl label -n kube-system pod $(kubectl -n kube-system get pods -l k8s-app=kube-dns -o jsonpath='{range .items[]}{.metadata.name}{" "}{end}') io.cilium.fixed-identity=kube-dns
kubectl create -f ./
# 等待几分钟,让 Cilium、coredns 和 etcd pod 收敛到工作状态
为了使 flannel
正常工作,你必须将选项 --pod-network-cidr=10.244.0.0/16
传递给 kubeadm init
。
通过执行 sysctl net.bridge.bridge-nf-call-iptables=1
命令,将 /proc/sys/net/bridge/bridge-nf-call-iptables
设置为 1
以便将桥接的 IPv4 流量传递给 iptables 的链。 这是一些 CNI 插件工作的要求,有关详细信息,请参阅此处。
注意 flannel
可以运行在 amd64
、arm
、arm64
、ppc64le
架构的机器上。
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
flannel
的更多信息, 参见 CoreOS flannel 在 GitHub 上的仓库.
通过执行 sysctl net.bridge.bridge-nf-call-iptables=1
命令,将 /proc/sys/net/bridge/bridge-nf-call-iptables
设置为 1
以便将桥接的 IPv4 流量传递给 iptables 的链。 这是一些 CNI 插件工作的要求,有关详细信息,请参阅此处。
Kube-router 依靠 kube-controller-manager 为节点分配 pod CIDR。 因此,执行kubeadm init
命令需要使用带 -pod-network-cidr
选项。
Kube-router 提供 pod 网络、网络策略和基于高性能 IP Virtual Server(IPVS)/ Linux Virtual Server(LVS)的服务代理。
有关使用 kubeadm 使用 Kube-router 设置 Kubernetes 集群的信息,请参阅官方设置指南.
通过执行 sysctl net.bridge.bridge-nf-call-iptables=1
命令,将 /proc/sys/net/bridge/bridge-nf-call-iptables
设置为 1
以便将桥接的 IPv4 流量传递给 iptables 的链。 这是一些 CNI 插件工作的要求,有关详细信息,请参阅此处。
Romana 官方设置指南在这里.
Romana 仅运行在 amd64
架构的机器.
kubectl apply -f https://raw.githubusercontent.com/romana/romana/master/containerize/specs/romana-kubeadm.yml
通过执行 sysctl net.bridge.bridge-nf-call-iptables=1
命令,将 /proc/sys/net/bridge/bridge-nf-call-iptables
设置为 1
以便将桥接的 IPv4 流量传递给 iptables 的链。 这是一些 CNI 插件工作的要求,有关详细信息,请参阅此处。
Weave Net 官方设置指南在这里.
Weave Net 可以工作在无需任何额外操作的 amd64
、arm
、arm64
和ppc64le
架构的机器上。
Weave Net 默认设置发夹(hairpin)模式。如果他们不知道自己的 PodIP,Pod 可以通过其服务 IP 地址来访问自身。
kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"
提供了覆盖 SDN 解决方案、多云网络、混合云网络,同时覆盖底层支持、网络策略实施、网络隔离、服务链和灵活的负载平衡。
有多种灵活的方法可以安装 JuniperContrail / TungstenFabric CNI。
请参考快速入门:TungstenFabric
安装了 pod 网络后,您可以通过在 kubectl get pods --all-namespaces
的输出中检查 CoreDNS pod 运行状态来确认它正常工作。
一旦 CoreDNS pod 启动并运行,您可以继续加入您的节点。
如果您的网络无法运行或 CoreDNS 未处于 “正在运行” 状态,请查看我们的故障排除文档.
默认情况下,出于安全原因,您的集群不会在主节点上调度容器。 如果您希望能够在主节点上安排 pod,例如对于用于开发的单机 Kubernetes 集群,运行:
kubectl taint nodes --all node-role.kubernetes.io/master-
输出与如下类似:
node "test-01" untainted
taint "node-role.kubernetes.io/master:" not found
taint "node-role.kubernetes.io/master:" not found
这将从拥有 node-role.kubernetes.io/master
污点的任何节点(包括主节点)上删除该污点,这意味着调度程序能够将 Pod 调度到任意节点执行。
节点是运行工作负载(容器和容器等)的位置。 要向集群添加新节点,请为每台计算机执行以下操作:
sudo su -
)kubeadm init
输出的命令。 例如:kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>
如果您没有令牌,可以通过在主节点上运行以下命令来获取它:
kubeadm token list
输出类似于:
TOKEN TTL EXPIRES USAGES DESCRIPTION EXTRA GROUPS
8ewj1p.9r9hcjoqgajrj4gi 23h 2018-06-12T02:51:28Z authentication, The default bootstrap system:
signing token generated by bootstrappers:
'kubeadm init'. kubeadm:
default-node-token
默认情况下,令牌在24小时后过期。 如果需要在当前令牌过期后将节点加入集群,可以通过在主节点上运行以下命令来创建新令牌:
kubeadm token create
输出类似于:
5didvk.d09sbcov8ph2amjw
如果您没有 --discovery-token-ca-cert-hash
的值,则可以通过在主节点上运行以下命令来获取它:
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
openssl dgst -sha256 -hex | sed 's/^.* //'
输出类似于:
8cb2de97839780a412b93877f8507ad6c94f73add17d5d7058e91741c9d5ec78
Note: 注意: 要为<master-ip>:<master-port>
指定 IPv6 元组,IPv6 地址必须用方括号括起来,例如:[fd00::101]:2073
。
输出应该类似于:
[preflight] Running pre-flight checks
... (log output of join workflow) ...
Node join complete:
* Certificate signing request sent to master and response
received.
* Kubelet informed of new secure connection details.
Run 'kubectl get nodes' on the master to see this machine join.
几秒钟之后,在主节点上运行时,您应该注意到 kubectl get nodes
输出中的包含此节点。
为了在其他计算机(例如笔记本电脑)上获取 kubectl 与您的集群通信, 您需要将管理员 kubeconfig 文件从主集群复制到您的工作站,如下所示:
scp root@<master ip>:/etc/kubernetes/admin.conf .
kubectl --kubeconfig ./admin.conf get nodes
Note:注意: 上面的示例假定您为 root 启用了 SSH 访问。 如果不是这种情况,您可以复制
admin.conf
文件以供其他用户访问,而scp
则可以使用其他用户访问。
admin.conf
文件为用户提供了集群上的 superuser 权限。 应谨慎使用此文件。 对于普通用户,建议您生成一个唯一的凭据,并给予白名单特权。 您可以使用kubeadm alpha phase kubeconfig user --client-name <CN>
命令执行此操作。 该命令将打印出一个 KubeConfig 文件到标准输出,您应将其保存为文件并分发给您的用户。 之后,使用kubectl create(cluster)rolebinding
命令进行白名单特权绑定。
如果要从集群外部连接到 API 服务器,则可以使用 kubectl proxy
:
scp root@<master ip>:/etc/kubernetes/admin.conf .
kubectl --kubeconfig ./admin.conf proxy
您现在可以在本地访问 API 服务器: http://localhost:8001/api/v1
要取消 kubeadm 所做的事情,你应该首先腾空节点 并确保节点在关闭之前是空的(没有运行任何 pod)。
使用合适的凭据与主节点通信,运行:
kubectl drain <node name> --delete-local-data --force --ignore-daemonsets
kubectl delete node <node name>
然后,在要删除的节点上,重置所有 kubeadm 的安装状态:
kubeadm reset
如果你想重新开始,只需使用适当的参数运行 kubeadm init
或 kubeadm join
。
有关的更多选项和信息,参见
kubeadm reset 命令
.
维护 kubeadm 集群的说明(例如升级,降级等)可以在这里找到。
请参阅附加组件列表 以探索其他附加组件, 包括用于记录、监控、网络策略、可视化和控制 Kubernetes 集群的工具。
kubectl
的更多信息。--log-driver=json-file --log-opt=max-size=10m --log-opt=max-file=5
。有关详细信息,请参阅配置 Docker 守护程序并对其进行故障排除。版本 vX.Y 的 kubeadm CLI 工具可以部署具有版本 vX.Y 或 vX.(Y-1)的控制平面的集群。 kubeadm CLI vX.Y 还可以升级现有的 kubeadm 创建的 vX 版本集群(Y-1)。
由于我们无法预知未来,kubeadm CLI vX.Y 可能会也可能无法部署 vX.(Y+1) 的集群。
示例:kubeadm v1.8 可以部署 v1.7 和 v1.8 集群,并将v1.7 kubeadm 创建的集群升级到 v1.8。
另请查看我们的安装指南 以获取有关 kubelet 和控制平面之间的版本偏差的更多信息。
kubeadm 的 deb / rpm 包和二进制文件是为 amd64、arm(32位)、arm64、ppc64le 和 s390x 构建的并 遵循多平台方案.
只有部分网络提供商为所有平台提供解决方案。 请查阅上面的网络提供商列表或每个提供商的文档,以确定提供商是否支持您选择的平台。
请注意:kubeadm 在运行时,这些限制将在适当的时候得到解决。
解决方法:定期
备份 etcd。由 kubeadm 配置的 etcd 数据目录位于主节点的 /var/lib/etcd
。
如果您遇到 kubeadm 上的困难,请参阅我们的故障排除文档.
此页是否对您有帮助?
Thanks for the feedback. If you have a specific, answerable question about how to use Kubernetes, ask it on Stack Overflow. Open an issue in the GitHub repo if you want to report a problem or suggest an improvement.