数据存储

# 简介

部分容器生命周期很短会频繁创建和销毁，容器销毁时容器中的数据也会被清除,为持久化容器数据引入了 Volume（存储卷）概念。

Volume是Pod中能够被多个容器访问的共享目录，被定义在Pod上，被一个Pod里面的多个容器挂载到具体的文件目录下，通过Volume实现同一个Pod中不同容器之间的数据共享及数据持久化存储。

Volume的生命周期不和Pod中的单个容器的生命周期有关，当容器终止或者重启的时候，Volume中的数据也不会丢失。

**Volume支持多种类型，常见的几类如下：**
- 简单存储：EmptyDir、HostPath、NFS。
- 高级存储：PV、PVC。
- 配置存储：ConfigMap、Secret。

# 简单存储

## EmptyDir
最基础的Volume类型，一个EmptyDir就是Host上的一个空目录，是在Pod被分配到Node时创建的，它的初始内容为空，并且无须指定宿主机上对应的目录文件，会自动分配一个目录，当Pod销毁时，EmptyDir中的数据也会被永久删除。

**EmptyDir的用途如下：**
- 临时空间，例如用于某些应用程序运行时所需的临时目录，且无须永久保留
- 一个容器需要从另一个容器中获取数据的目录（多容器共享目录）

在一个Pod中准备两个容器nginx和busybox，然后声明一个volume分别挂载到两个容器的目录中，然后nginx容器负责向volume中写日志，busybox中通过命令将日志内容读到控制台。

![](/media/202406/2024-06-30_162733_2880780.09907700344938897.png)

创建volume-emptydir.yaml

```asp
cat <<EOF> volume-emptydir.yaml
apiVersion: v1
kind: Pod
metadata:
  name: volume-emptydir
  namespace: dev
spec:
  containers:
    - name: nginx
      image: nginx:1.17.1
      ports:
        - containerPort: 80
      volumeMounts:                 #将logs-volume挂载到nginx容器中目录为/var/log/nginx
        - name: logs-volume
          mountPath: /var/log/nginx
    - name: busybox
      image: busybox:1.30
      command: ["/bin/sh","-c","tail -f /logs/access.log"]   #初始命令，动态读取指定文件内容
      volumeMounts:                 #将logs-volume挂载到busybox容器中目录为/logs
        - name: logs-volume
          mountPath: /logs
  volumes:                          #声明volume，name为logs-volume，类型为emptyDir
    - name: logs-volume
      emptyDir: {}
EOF
```
启动
```asp
kubectl create -f volume-emptydir.yaml
```
查看
```asp
kubectl get -f volume-emptydir.yaml -o wide
```
```asp
NAME              READY   STATUS    RESTARTS   AGE   IP             NODE    NOMINATED NODE   READINESS GATES
volume-emptydir   2/2     Running   0          42s   10.244.104.4   node2   <none>           <none>
```
访问nginx
```asp
curl 10.244.104.4
```
持续查看busybox会读取nginx服务的logs并输出
```asp
kubectl logs -f volume-emptydir -n dev -c busybox
```
```asp
10.244.219.64 - - [30/Jun/2024:09:18:44 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"
10.244.219.64 - - [30/Jun/2024:09:20:24 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"
...
```
删除
```asp
kubectl delete -f volume-emptydir.yaml
```

## HostPath

将Node主机中的实际目录挂载到Pod中供容器使用，保证Pod销毁后数据依旧可以保存在Node主机上

![](/media/202406/2024-06-30_172328_7388530.8293140266303495.png)

创建volume-hostpath.yaml
```asp
cat <<EOF> volume-hostpath.yaml
apiVersion: v1
kind: Pod
metadata:
  name: volume-hostpath
  namespace: dev
spec:
  containers:
    - name: nginx
      image: nginx:1.17.1
      ports:
        - containerPort: 80
      volumeMounts:               #将logs-volume挂载到nginx容器中目录为/var/log/nginx
        - name: logs-volume
          mountPath: /var/log/nginx
    - name: busybox
      image: busybox:1.30
      command: ["/bin/sh","-c","tail -f /logs/access.log"]   #初始命令，动态读取指定文件内容
      volumeMounts:               #将logs-volume挂载到busybox容器中目录为/logs
        - name: logs-volume
          mountPath: /logs
  volumes:                        #声明volume，name为logs-volume，类型为hostPath
    - name: logs-volume
      hostPath:
        path: /root/logs
        type: DirectoryOrCreate   # 目录存在就使用，不存在就创建
EOF
```
> type值说明：
DirectoryOrCreate：目录存在就使用，不存在就先创建后使用。
Directory：目录必须存在。
FileOrCreate：文件存在就使用，不存在就先创建后使用。
File：文件必须存在。
Socket：unix套接字必须存在
CharDevice：字符设备必须存在。
BlockDevice：块设备必须存在。

启动
```asp
kubectl create -f volume-hostpath.yaml
```
查看（nginx被部署到node2）
```asp
kubectl get -f volume-hostpath.yaml -o wide
```
```asp
NAME              READY   STATUS    RESTARTS   AGE   IP             NODE    NOMINATED NODE   READINESS GATES
volume-hostpath   2/2     Running   0          3s    10.244.104.5   node2   <none>           <none>
```
访问nginx
```asp
curl 10.244.104.4
```
在node2持续查看busybox会读取nginx服务的logs并写入本地目录中
```asp
tail -f /root/logs/access.log
```
```asp
10.244.219.64 - - [30/Jun/2024:09:34:19 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"
...
```
删除（删除pod后node2的数据依然存在不会随pod一起被销毁）
```asp
kubectl delete -f volume-hostpath.yaml
```

## NFS

如果Node节点故障Pod转移到别的Node节点上会影响之前的数据，为此需要准备单独的网络存储系统，比较常用的是NFS和CIFS。

NFS是一个网络文件存储系统，将Pod中的存储直接连接到NFS系统上，无论Pod在节点上怎么转移，只要Node和NFS保持对接，数据就可以成功访问。

![](/media/202406/2024-06-30_174023_1038500.39745289541598017.png)

在所有node节点安装客户端支持NFS
```asp
yum install -y nfs-utils
```
在master节点安装nfs服务端
```asp
yum install -y nfs-utils rpcbind
```
创建共享目录添加权限
```asp
mkdir -pv /root/nfs && chmod 777 -R /root/nfs
```
发布共享目录
```asp
echo "/root/nfs *(rw,no_root_squash)" >> /etc/exports
```
启动nfs服务
```asp
systemctl enable --now nfs
```
查看发布目录
```asp
showmount -e
```
创建volume-nfs.yaml
```asp
cat <<EOF> volume-nfs.yaml
apiVersion: v1
kind: Pod
metadata:
  name: volume-nfs
  namespace: dev
spec:
  containers:
    - name: nginx
      image: nginx:1.17.1
      ports:
        - containerPort: 80
      volumeMounts:               #将logs-volume挂载到nginx容器中目录为/var/log/nginx
        - name: logs-volume
          mountPath: /var/log/nginx
    - name: busybox
      image: busybox:1.30
      command: ["/bin/sh","-c","tail -f /logs/access.log"]   #初始命令，动态读取指定文件内容
      volumeMounts:               #将logs-volume挂载到busybox容器中目录为/logs
        - name: logs-volume
          mountPath: /logs
  volumes:                        #声明volume，name为logs-volume，类型为hostPath
    - name: logs-volume
      nfs:
        server: 192.168.1.100     #NFS服务器地址
        path: /root/nfs           #共享文件路径
EOF
```
启动
```asp
kubectl create -f volume-nfs.yaml
```
查看（nginx被部署到node2）
```asp
kubectl get -f volume-nfs.yaml -o wide
```
```asp
NAME         READY   STATUS    RESTARTS   AGE     IP             NODE    NOMINATED NODE   READINESS GATES
volume-nfs   2/2     Running   0          3m50s   10.244.104.6   node2   <none>           <none>
```
访问nginx
```asp
curl 10.244.104.6
```
在nfs服务器上持续查看
```asp
tail -f /root/nfs/access.log 
```
```asp
10.244.219.64 - - [30/Jun/2024:10:14:34 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"
...
```
删除（删除pod后数据依然存在于NFS服务器上，再次新建pod会继续在nfs上存储日志数据）
```asp
kubectl delete -f volume-nfs.yaml
```

# 高级存储

为了能够屏蔽底层存储实现的细节，方便用户使用，kubernetes引入了PV和PVC两种资源对象

- PV（Persistent Volume）持久化卷，是对底层共享存储的抽象，由管理员进行创建和配置，它和底层具体的共享存储技术有关，并通过插件完成和共享存储的对接
- PVC（Persistent Volume Claim）持久化卷声明，是用户对于存储需求的一种声明，是用户向k8s系统发出资源需求申请

![](/media/202407/2024-07-02_094114_1897590.43802101556613315.png)

**使用了PV和PVC之后，工作可以得到进一步的提升：**
- 存储：存储工程师维护。
- P V：  管理员维护。
- PVC： 用户维护。

## PV简介

资源清单
```asp
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  nfs:                           #存储类型，和底层正则的存储对应
  capacity:                      #存储能力，目前只支持存储空间的设置
    storage: 2Gi
  accessModes:                   #访问模式
  storageClassName:              #存储类别
  persistentVolumeReclaimPolicy: #回收策略
```

关键配置参数说明

**存储类型：**底层实际存储的类型，kubernetes支持多种存储类型，每种存储类型的配置有所不同
**存储能力**（capacity）：目前只支持存储空间的设置（storage=1Gi），不过未来可能会加入IOPS、吞吐量等指标的配置
**访问模式**（accessModes）：用来描述用户应用对存储资源的访问权限，访问权限包括下面几种方式：
- ReadWriteOnce（RWO）：读写权限，但是只能被单个节点挂载
- ReadOnlyMany（ROX）：只读权限，可以被多个节点挂载
- ReadWriteMany（RWX）：读写权限，可以被多个节点挂载
**回收策略**（ persistentVolumeReclaimPolicy）：当PV不再被使用之后，对其的处理方式，目前支持三种策略：
- Retain（保留）：保留数据，需要管理员手动清理数据。
- Recycle（回收）：清除PV中的数据，效果相当于rm -rf /volume/*。
- Delete（删除）：和PV相连的后端存储完成volume的删除操作，常见于云服务器厂商的存储服务。
**存储类别**（storageClassName）：PV可以通过storageClassName参数指定一个存储类别。
- 具有特定类型的PV只能和请求了该类别的PVC进行绑定。
- 未设定类别的PV只能和不请求任何类别的PVC进行绑定。
**状态**（status）：一个PV的生命周期，可能会处于4种不同的阶段。
- Available（可用）：表示可用状态，还未被任何PVC绑定。
- Bound（已绑定）：表示PV已经被PVC绑定。
- Released（已释放）：表示PVC被删除，但是资源还没有被集群重新释放。
- Failed（失败）：表示该PV的自动回收失败

## PV部署

在所有node节点安装客户端支持NFS
```asp
yum install -y nfs-utils
```
在master节点安装nfs服务端
```asp
yum install -y nfs-utils rpcbind
```
创建NFS存储目录并授权
```asp
mkdir -p /root/data/{pv1,pv2,pv3} && chmod 777 -R /root/data
```
发布NFS存储目录
```asp
cat <<EOF>> /etc/exports
/root/data/pv1     *(rw,no_root_squash)
/root/data/pv2     *(rw,no_root_squash)
/root/data/pv3     *(rw,no_root_squash)
EOF
```
查看发布目录
```asp
showmount -e
```
重启NFS服务
```asp
systemctl restart nfs
```
创建pv.yaml
```asp
cat <<EOF> pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv1
spec:
  capacity:                              #存储能力：1GB
    storage: 1Gi
  accessModes:                           #访问模式：可读可写
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain  #回收策略：保留
  nfs:                                   #底层存储对应
    path: /root/data/pv1
    server: 192.168.1.100
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  capacity:
    storage: 2Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /root/data/pv2
    server: 192.168.1.100
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv3
spec:
  capacity:
    storage: 3Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /root/data/pv3
    server: 192.168.1.100
EOF
```
运行
```asp
kubectl create -f pv.yaml
```
查看
```asp
kubectl get -f pv.yaml
```
```asp
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
pv1    1Gi        RWX            Retain           Available                                   28s
pv2    2Gi        RWX            Retain           Available                                   28s
pv3    3Gi        RWX            Retain           Available                                   28s
```

## PVC简介

PVC是资源的申请，用来声明对存储空间、访问模式、存储类别需求信息，
资源清单
```asp
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc
  namespace: dev
spec:
  accessModes:       #访客模式
  selector:          #采用标签对PV选择
  storageClassName:  #存储类别
  resources:         #请求空间
    requests:
      storage: 5Gi
```

关键配置参数说明

**访客模式**（accessModes）：用于描述用户应用对存储资源的访问权限
**选择条件**（selector）：通过Label Selector的设置，可使PVC对于系统中已存在的PV进行筛选。
**存储类别**（storageClassName）：PVC在定义时可以设定需要的后端存储的类别，只有设置了该class的pv才能被系统选出。
**资源请求**（resources）：描述对存储资源的请求。

## PVC部署

创建pvc.yaml
```asp
cat <<EOF> pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
  namespace: dev
spec:
  accessModes:
    - ReadWriteMany    #访客模式
  resources:           #请求空间
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc2
  namespace: dev
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc3
  namespace: dev
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi      #设置超过pv大小的容量挂载会失败
EOF
```
运行
```asp
kubectl create -f pvc.yaml
```
查看PVC（没有满足PVC3的存储中间，STATUS处于pending状态）
```asp
kubectl get -f pvc.yaml
```
```asp
NAME   STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1   Bound     pv1      1Gi        RWX                           15s
pvc2   Bound     pv2      2Gi        RWX                           15s
pvc3   Pending                                                     15s
```
查看PV
```asp
kubectl get pv
```
```asp
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM      STORAGECLASS   REASON   AGE
pv1    1Gi        RWX            Retain           Bound       dev/pvc1                           22m
pv2    2Gi        RWX            Retain           Bound       dev/pvc2                           22m
pv3    3Gi        RWX            Retain           Available                                      22m
```

## 挂载使用

创建pods.yaml
```asp
cat <<EOF> pods.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod1
  namespace: dev
spec:
  containers:
  - name: busybox
    image: busybox:1.30       #执行操作每10S写入
    command: ["/bin/sh","-c","while true;do echo pod1-pvc1 >> /root/out.txt; sleep 10; done;"]
    volumeMounts:
    - name: volume
      mountPath: /root/       #容器内路径
  volumes:
    - name: volume
      persistentVolumeClaim:
        claimName: pvc1       #容器外的PVC
        readOnly: false
---
apiVersion: v1
kind: Pod
metadata:
  name: pod2
  namespace: dev
spec:
  containers:
    - name: busybox
      image: busybox:1.30
      command: ["/bin/sh","-c","while true;do echo pod1-pvc2 >> /root/out.txt; sleep 10; done;"]
      volumeMounts:
        - name: volume
          mountPath: /root/
  volumes:
    - name: volume
      persistentVolumeClaim:
        claimName: pvc2
        readOnly: false
EOF
```
运行
```asp
kubectl create -f pods.yaml
```
查看
```asp
kubectl get -f pods.yaml
```
查看pv1内写入的数据
```asp
tail -f /root/data/pv1/out.txt
```
查看pv2内写入的数据
```asp
tail -f /root/data/pv2/out.txt
```
删除
```asp
kubectl delete -f ./
```

## 生命周期

PVC和PV是一一对应的，PV和PVC之间的相互作用遵循如下的生命周期

**资源供应**：管理员手动创建底层存储和PV。

**资源绑定**：创建PVC，k8s负责根据PVC声明去寻找PV，并绑定在用户定义好PVC之后，系统将根据PVC对存储资源的请求在以存在的PV中选择一个满足条件的，找到就将该PV和用户定义的PVC进行绑定，用户的应用就可以使用这个PVC了，找不到PVC就会无限期的处于Pending状态，直到管理员创建一个符合其要求的PV，一旦绑定到某个PVC就会被这个PVC独占，不能再和其他的PVC进行绑定了

**资源使用**：用户可以在Pod中像volume一样使用PVC，Pod使用Volume的定义，将PVC挂载到容器内的某个路径进行使用。

**资源释放**：删除PVC来释放PV，当存储资源使用完毕后，删除后该PVC绑定的PV将会标记为“已释放”，但是还不能立刻和其他的PVC进行绑定。通过之前PVC写入的数据可能还留在存储设备上，只有在清除之后该PV才能再次使用。

**资源回收**：根据PV设置的回收策略进行资源的回收，对于PV管理员可以设定回收策略，用于设置与之绑定的PVC释放资源之后如何处理遗留数据的问题。只有PV的存储空间完成回收，才能供新的PVC绑定和使用。

![](/media/202407/2024-07-02_110114_1328770.5916349885577121.png)

# 配置存储

## ConfigMap

特殊存储卷主要作用是用来存储配置信息，将key映射为一个文件value映射为文件中的内容，如果更新key值容器中的值也会动态更新

创建configmap.yaml
```asp
cat <<EOF> configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: configmap
  namespace: dev
data:
  info:
    username:admin
    password:123456
EOF
```
运行
```asp
kubectl create -f configmap.yaml
```
查看
```asp
kubectl describe -f configmap.yaml
```
```asp
Name:         configmap
Namespace:    dev
Labels:       <none>
Annotations:  <none>

Data
====
info:
----
username:admin password:123456
Events:  <none>
```
创建pod-configmap.yaml
```asp
cat <<EOF> pod-configmap.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod-configmap
  namespace: dev
spec:
  containers:
    - name: nginx
      image: nginx:1.17.1
      volumeMounts:          #configmap挂载的目录
        - name: config
          mountPath: /configmap/config
  volumes:                   #引用configmap
    - name: config
      configMap:
        name: configmap
EOF
```
运行
```asp
kubectl create -f pod-configmap.yaml
```
查看
```asp
kubectl get -f pod-configmap.yaml
```
查看挂载到容器里的内容
```asp
kubectl exec -it pod-configmap -n dev /bin/sh
more /configmap/config/info && exit
```
```asp
username:admin
password:123456
```
修改（支持动态更新，将密码修改为hehe）
```asp
kubectl edit cm configmap -n dev
```
再次查看容器内的内容
```asp
kubectl exec -it pod-configmap -n dev /bin/sh
more /configmap/config/info && exit
```
```asp
username:admin
password:hehe
```
删除
```asp
kubectl delete -f ./
```
## Secret

主要用来存储敏感信息，例如密码、密钥、证书等等。

数据加密
```asp
echo -n "admin" | base64
echo -n "123456" | base64
```
```asp
YWRtaW4=
MTIzNDU2
```
创建configmap.yaml
```asp
cat <<EOF> secret.yaml
apiVersion: v1
kind: Secret
metadata:
  name: secret
  namespace: dev
type: Opaque
data:
  username: YWRtaW4=
  password: MTIzNDU2
EOF
```
运行
```asp
kubectl create -f secret.yaml
```
查看(只显示字符数量，加密)
```asp
kubectl describe -f secret.yaml
```
```asp
Name:         secret
Namespace:    dev
Labels:       <none>
Annotations:  <none>

Type:  Opaque

Data
====
password:  6 bytes
username:  5 bytes
```
创建pod-configmap.yaml
```asp
cat <<EOF> pod-secret.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod-secret
  namespace: dev
spec:
  containers:
    - name: nginx
      image: nginx:1.17.1
      volumeMounts:
        - mountPath: /secret/config
          name: config
  volumes:
    - name: config
      secret:
        secretName: secret
EOF
```
运行
```asp
kubectl create -f pod-secret.yaml
```
查看
```asp
kubectl get -f pod-secret.yaml
```
查看（已经在容器内解开编码显示）
```asp
kubectl exec -it pod-secret -n dev /bin/sh
more /secret/config/username && more /secret/config/password && exit
```
```asp
admin
123456
```
删除
```asp
kubectl delete -f ./
```