Kubernetes控制节点的部署


Posted in Servers onApril 01, 2022

标签和nodeSelector

标签(Label)是附加到 Kubernetes 对象上的键值对,如果用 json 表示附加到 metadata 的 label:

"metadata": {
  "labels": {
    "key1" : "value1",
    "key2" : "value2"
  }
}

yaml:

metadata:
  labels:
    key1: "value1"
    key2: "value2"

标签主要是用于表示对用户有意义的对象的属性标识。

可以给节点设定一些 Label,例如在 kube-system 命名空间中,运行着 Kubernetes 的核心组件,我们可以查看此命名空间中所有组件的 Label。

kubectl get nodes --namespace=kube-system --show-labels
beta.kubernetes.io/arch=amd64,
beta.kubernetes.io/os=linux,
kubernetes.io/arch=amd64,
... ...

我们也可以手动给一个 Node 添加标签。

kubectl label nodes <node-name> <label-key>=<label-value>

例如我们给节点设置一个 disksize,表示节点的硬盘是否够大。

kubectl label nginx disksize=big

然后我们在编写 yaml 文件时,希望这个 pod 在容量大的 Node 上运行,可以这样写:

nodeSelector:
    disksize=big

顺便聊一下官方的一个例子,设置 Node 的 Label,表示硬盘是 ssd。

kubectl label nodes kubernetes-foo-node-1.c.a-robinson.internal disktype=ssd

在 yaml 文件的节点选择器中,添加选择。

spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
  nodeSelector:
    disktype: ssd

Label 可以在多个地方使用,例如在 Node 上添加 Label,标识此 Node;而在 NodeSelector 里使用,可以选择合适的 Node 运行 Pod;在 metadata 中使用,可以对元数据加以描述。

在 metadata 中添加的 Label,可以在命令查询时做筛选。

查询 pod 的 Label:

kubectl get pods --show-labels

查找符合条件的 pod(参考 LABELS 字段,可以根据里面的标签选择):

kubectl get pods -l app=nginx

标签选择

在前面,我们学习了 nodeSelector ,可以帮助我们选择合适的 Node 运行 Pod,实际上 Kubernets 的标签选择是丰富多样的,例如:

nodeSelector:
    disktype: ssd
    disksize: big

则表示节点选择器是等值选择,表达式是 disktype=ssd && disksize=big

标签选择有等值和集合两种,其中等值选择有 ===!= 三种,= 和 == 无区别。在多个需求(多个label)的情况下,相对于使用 && 运算符,但是选择器不存在 ||这种逻辑或运算符。

yaml 只支持 {key}:{value} 这种形式,而我们使用命令形式时,则可使用以上三种运算符。

kubectl get nodes -l disktype=ssd,disksize!=big
# 多个条件使用 逗号","" 隔开,而不是 "&&"。

对于集合选择方式,支持三种操作符:innotin 和 exists。不过别理解成是从集合中选择,下面举个例子。

假如有三个 Node,其 disksize 有 big、medium、small,我们要部署一个 pod,在 big、medium 中都可以运行,则:

... -l disksize in (big,medium)
... -l disksize notin (small)
# 不在 small 中运行

而 exists 则跟 != 类似,但是 exists 表示只要存在这个 label 即可,而不论其设置了是什么值。

-l disksize
# 等同 -l disksize in (big,medium,small)

我们也可以使用 '' 把选择表达式包起来。

kubectl get pods -l 'app=nginx'

前面已经提到了 yaml 的 nodeSelector 和 命令式的选择,这里我们介绍 yaml 的 selector。

前面我们提到在 Deployment 的 metadata 中加上 Label,即 pod 加上 Label,我们也在 kubectl get pods 中使用 Label 选择过滤 pod。同样,当我们创建 Service 或者使用 ReplicationController 时,也可以使用标签选择合适的 pod。

假如我们已经部署了 nginx,那么查询 kubectl get pods --show-labels 时,其 pod 的 LABELS 会有 app=nginx,那么我们可以这样选择:

selector:
    app: nginx

完整版本:

apiVersion: v1
kind: Service
metadata:
  name: my-service
spec:
  type: LoadBalancer
  selector:
    app: nginx
  ports:
    - protocol: TCP
      port: 80
      targetPort: 6666
status:
  loadBalancer:
    ingress:
      - ip: 192.0.2.127

selector 还支持以下选择方式 matchLabelsmatchExpressions

matchLabels 是由 {key,value} 对组成的映射。 matchLabels 映射中的单个 {key,value } 等同于 matchExpressions 的元素, 其 key 字段为 "key",operator 为 "In",而 values 数组仅包含 "value"。

matchExpressions 是 Pod 选择算符需求的列表。 有效的运算符包括 InNotInExists 和 DoesNotExist。 在 In 和 NotIn 的情况下,设置的值必须是非空的。 来自 matchLabels 和 matchExpressions 的所有要求都按逻辑与的关系组合到一起 -- 它们必须都满足才能匹配。

示例如下:

selector:
  matchLabels:
    component: redis
  matchExpressions:
    - {key: tier, operator: In, values: [cache]}
    - {key: environment, operator: NotIn, values: [dev]}

这里就不在详细说这些选择规则了,前面提到的已经够用了,读者可以查阅官方文档学习更多复杂的操作:https://kubernetes.io/zh/docs/concepts/overview/working-with-objects/labels/

亲和性和反亲和性

前面我们学习了 nodeSelector ,使用 nodeSelector 选择合适的 Label,可以表达我们约束的类型。

亲和性则类似于 nodeSelector,可以根据节点上的标签约束 pod 可以调度到哪些节点。

pod 亲和性有两种别为:

  • requiredDuringSchedulingIgnoredDuringExecution

    硬需求,将 pod 调度到一个节点必须满足的规则。

  • preferredDuringSchedulingIgnoredDuringExecution

    尝试执行但是不能保证偏好。

这是官方的一个例子:

apiVersion: v1
kind: Pod
metadata:
  name: with-node-affinity
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: kubernetes.io/e2e-az-name
            operator: In
            values:
            - e2e-az1
            - e2e-az2
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 1
        preference:
          matchExpressions:
          - key: another-node-label-key
            operator: In
            values:
            - another-node-label-value
  containers:
  - name: with-node-affinity
    image: k8s.gcr.io/pause:2.0

亲和性的约束相对于:

... ... -l kubernetes.io/e2e-az-name in (e2e-az1,e2e-az2)

affinity 设置亲密关系,nodeAffinity 设置节点亲密关系,最后才到 亲和性,它们表示必须满足和尽量满足。

如果我们设置了多个 nodeSelectorTerms :

requiredDuringSchedulingIgnoredDuringExecution:
  nodeSelectorTerms:
  ...
  nodeSelectorTerms:

则只需要满足其中一种即可调度 pod 到 node 上。

如果你同时指定了 nodeSelector 和 nodeAffinity,两者必须都要满足, 才能将 Pod 调度到候选节点上。

节点亲和性语法支持下面的操作符: InNotInExistsDoesNotExistGtLt

Pod 亲和性与反亲和性的合法操作符有 InNotInExistsDoesNotExist

通过 -Affinity 可以设置亲和性,例如节点亲和性 nodeAffinity,而且设置反亲和性使用 -AntiAffinity,例如 nodeAntiAffinity

反亲和性跟亲和性一样,都有 requiredDuringSchedulingIgnoredDuringExecution 硬限制和 preferredDuringSchedulingIgnoredDuringExecution 软限制,只是反亲和性是相反的表示,如果符合条件则不能调度。

关于亲和性和反亲和性的说明就到这里,着两者的配置比较多和复杂,读者可以参考官方文档,这里不在赘述。

污点和容忍度

前面提到亲和性和反亲和性,我们加以通过 pod 选择合适的 node,或者 service 选择合适的 pod,这些拥有 Label 的对象都是被选择的。

这里,我们介绍污点和容忍度,它们可以排斥 “被选择” 的命运。

节点污点(taint) 可以排斥一类特定的 pod,而 容忍度(Tolerations)则表示能够容忍这个对象的污点。

当节点添加一个污点后,除非 pod 声明能够容忍这个污点,否则 pod 不会被调度到这个 节点上。

系统会 尽量 避免将 Pod 调度到存在其不能容忍污点的节点上, 但这不是强制的。Kubernetes 处理多个污点和容忍度的过程就像一个过滤器:从一个节点的所有污点开始遍历, 过滤掉那些 Pod 中存在与之相匹配的容忍度的污点。

但是如果你只有一个 worker,那么设置了污点,那 pod 也只能选择在这个节点上运行。

添加污点格式:

kubectl taint node [node] key=value:[effect]

更新污点或覆盖:

kubectl taint node [node] key=value:[effect] --overwrite=true

使用 kubectl taint 给节点增加一个污点。

kubectl taint nodes node1 key1=value1:NoSchedule

移除污点:

kubectl taint nodes node1 key1=value1:NoSchedule-

其中,污点需要设置 label ,并设置这个 label 的效果为 NoSchedule。

污点的效果称为 effect ,节点的污点可以设置为以下三种效果:

  • NoSchedule:不能容忍此污点的 Pod 不会被调度到节点上;不会影响已存在的 pod。
  • PreferNoSchedule:Kubernetes 会避免将不能容忍此污点的 Pod 安排到节点上。
  • NoExecute:如果 Pod 已在节点上运行,则会将该 Pod 从节点中逐出;如果尚未在节点上运行,则不会将其安排到节点上。

但是某些系统创建的 Pod 可以容忍所有 NoExecute 和 NoSchedule 污点,因此不会被逐出,例如 master 节点是不能被部署 pod 的,但是 kube-system 命名空间却有很多系统 pod。当然通过修改污点,可以让 户 pod 部署到 master 节点中。

查询节点的污点:

kubectl describe nodes | grep Taints
Taints:             node-role.kubernetes.io/master:NoSchedule
Taints:             key1=value1:NoSchedule

系统默认污点

我们去除 master 的污点:

kubectl taint node instance-1 node-role.kubernetes.io/master:NoSchedule-

然后部署 nginx pod。

kubectl create deployment nginxtaint --image=nginx:latest --replicas=3

查看 pod:

kubectl get pods -o wide

结果笔者查到三个副本都在 master 节点上。

为了保证集群安全,我们需要恢复 master 的污点。

kubectl taint node instance-1 node-role.kubernetes.io/master:NoSchedule

当某种条件为真时,节点控制器会自动给节点添加一个污点。当前内置的污点包括:

  • node.kubernetes.io/not-ready:节点未准备好。这相当于节点状态 Ready 的值为 "False"。
  • node.kubernetes.io/unreachable:节点控制器访问不到节点. 这相当于节点状态 Ready 的值为 "Unknown"。
  • node.kubernetes.io/out-of-disk:节点磁盘耗尽。
  • node.kubernetes.io/memory-pressure:节点存在内存压力。
  • node.kubernetes.io/disk-pressure:节点存在磁盘压力。
  • node.kubernetes.io/network-unavailable:节点网络不可用。
  • node.kubernetes.io/unschedulable: 节点不可调度。
  • node.cloudprovider.kubernetes.io/uninitialized:如果 kubelet 启动时指定了一个 "外部" 云平台驱动, 它将给当前节点添加一个污点将其标志为不可用。在 cloud-controller-manager 的一个控制器初始化这个节点后,kubelet 将删除这个污点。

容忍度

一个 node 可以设置污点,排斥 pod,但是 pod 也可以设置 容忍度,容忍 node 的污点。

tolerations:
- key: "key1"
  operator: "Exists"
  effect: "NoSchedule"

也可以设置 value。

tolerations:
- key: "key1"
  operator: "Equal"
  value: "value1"
  effect: "NoSchedule"

operator 的默认值是 Equal

一个容忍度和一个污点相“匹配”是指它们有一样的键名和效果,并且:

  • 如果 operator 是 Exists

    此时容忍度不能指定 value,如果存在 key 为 key1 的 label,且污点效果为 NoSchedule,则容忍。

  • 如果 operator 是 Equal ,则它们的 value 应该相等

如果 effect 留空,则表示只要是 label 为 key1 的节点,都可以容忍。

如果:

tolerations:
  operator: "Exists"

则表示此 pod 能够容忍任意的污点,无论 node 怎么设置 keyvalue 、effect ,此 pod 都不会介意。

如果要在 master 上也能部署 pod,则可以修改 pod 的容忍度:

spec:
      tolerations:
      # this toleration is to have the daemonset runnable on master nodes
      # remove it if your masters can't run pods
      - key: node-role.kubernetes.io/master
        effect: NoSchedule

DaemonSet

在 Kubernetes 中,有三个 -Set ,分别是 ReplicaSet、DaemonSet、StatefulSets。而 负载类型有 Deployments、ReplicaSet、DaemonSet、StatefulSets等(或者说有这几个控制器)。

前面已经介绍过 Deployments ,而 kind: ReplicaSet 一般是没必要的,可以在 kind: Deployment 加上 replicas: 

而 kind: DaemonSet 需要使用一个 yaml 来描述,但是整体跟 Deployment 一样。

DaemonSet 可以确保一个节点只运行一个 Pod 副本,假如有个 nginx 的 pod,当新的 Node 加入集群时,会自动在这个 Node 上部署一个 pod;当节点从集群中移开时,这个 Node 上的 Pod 会被回收;如果 DaemontSet 配置被删除,则也会删除所有由它创建的 Pod。

DaemonSet 的一些典型用法:

  • 在每个节点上运行集群守护进程
  • 在每个节点上运行日志收集守护进程
  • 在每个节点上运行监控守护进程

在 yaml 中,要配置 Daemont,可以使用 tolerations,配置示例:

kind: DaemontSet
... ...

其它地方跟 Deployment 一致。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Servers 相关文章推荐
如何利用map实现Nginx允许多个域名跨域
Mar 31 Servers
nginx location优先级的深入讲解
Mar 31 Servers
使用 Apache Superset 可视化 ClickHouse 数据的两种方法
Jul 07 Servers
Nginx stream 配置代理(Nginx TCP/UDP 负载均衡)
Nov 17 Servers
Nginx性能优化之Gzip压缩设置详解(最大程度提高页面打开速度)
Feb 12 Servers
Shell脚本一键安装Nginx服务自定义Nginx版本
Mar 20 Servers
使用kubeadm命令行工具创建kubernetes集群
Mar 31 Servers
Nginx动静分离配置实现与说明
Apr 07 Servers
阿里云k8s服务升级时502错误 springboot项目应用
Apr 09 Servers
TaiShan 200服务器安装Ubuntu 18.04的图文教程
Jun 28 Servers
设置IIS Express并发数
Jul 07 Servers
CentOS7 minimal 最小化安装网络设置过程
Dec 24 Servers
Kubernetes部署实例并配置Deployment、网络映射、副本集
Apr 01 #Servers
iSCSI服务器CHAP双向认证配置
Apr 01 #Servers
详解使用内网穿透工具Ngrok代理本地服务
Mar 31 #Servers
Vertica集成Apache Hudi重磅使用指南
Nginx虚拟主机的配置步骤过程全解
Mar 31 #Servers
Tomcat用户管理的优化配置详解
Kubernetes关键组件与结构组成介绍
You might like
修改php.ini实现Mysql导入数据库文件最大限制的修改方法
2007/12/11 PHP
PHP 如何利用phpexcel导入数据库
2013/08/24 PHP
jquery实现的超出屏幕时把固定层变为定位层的代码
2010/02/23 Javascript
JavaScript中获取纯正的undefined的方法
2016/03/06 Javascript
JS组件Bootstrap dropdown组件扩展hover事件
2016/04/17 Javascript
js实现获取两个日期之间所有日期的方法
2016/06/17 Javascript
AngularJS使用ng-repeat指令实现下拉框
2016/08/23 Javascript
jQuery基本筛选选择器实例代码
2017/02/06 Javascript
vuejs2.0实现分页组件使用$emit进行事件监听数据传递的方法
2017/02/22 Javascript
详谈angularjs中路由页面强制更新的问题
2017/04/24 Javascript
使用异步组件优化Vue应用程序的性能
2019/04/28 Javascript
深入理解javascript prototype的相关知识
2019/09/19 Javascript
vue实现前端分页完整代码
2020/06/17 Javascript
总结Python编程中三条常用的技巧
2015/05/11 Python
Python中字符串的处理技巧分享
2016/09/17 Python
Python实现的文本编辑器功能示例
2017/06/30 Python
Python字典数据对象拆分的简单实现方法
2017/12/05 Python
python的Crypto模块实现AES加密实例代码
2018/01/22 Python
Python实现从SQL型数据库读写dataframe型数据的方法【基于pandas】
2019/03/18 Python
python 计算平均平方误差(MSE)的实例
2019/06/29 Python
python防止随意修改类属性的实现方法
2019/08/21 Python
Python Pandas对缺失值的处理方法
2019/09/27 Python
pycharm中使用request和Pytest进行接口测试的方法
2020/07/31 Python
python 解决函数返回return的问题
2020/12/05 Python
孕妇内衣和胸罩:Cake Maternity
2018/07/16 全球购物
Myprotein俄罗斯官网:欧洲第一运动营养品牌
2019/05/05 全球购物
Moda Operandi官网:美国奢侈品电商,海淘秀场T台同款
2020/05/26 全球购物
大整数数相乘的问题
2012/07/22 面试题
金额转换,阿拉伯数字的金额转换成中国传统的形式如:(¥1011)-> (一千零一拾一元整)输出
2015/05/29 面试题
研究生毕业自我鉴定范文
2014/03/27 职场文书
触电现场处置方案
2014/05/14 职场文书
基层党员四风问题自我剖析材料
2014/09/29 职场文书
科长个人四风问题整改措施思想汇报
2014/10/13 职场文书
纪录片信仰观后感
2015/06/08 职场文书
篮球比赛通讯稿
2015/07/18 职场文书
vue3 自定义图片放大器效果的示例代码
2022/07/23 Vue.js