Centos/RedHat操作系统环境修复配置指南
提示
本文介绍再Centos/RedHat 发行版Linux操作系统下环境修复环境配置指南、关于网络延时、CPU、内存、磁盘IO(临时方案)等环境检查不通过，不提供修复方案，请更换设备、升级硬件、重装系统。
本文目录
| 类别 | 内容 |
|---|---|
| 适用操作系统版本 | 1.适用测试操作系统版本 |
| 操作系统环境修复配置指南 | 2. 内核参数修复 3.selinux状态修复 4.服务器时间修复 5.服务器时区修复 6.umask修复 7.⽹络修复 8.防火墙/防护软件检查修复 9.数据磁盘IO存储说明及配置说明 |
1适用测试操作系统版本
RedhatCentos-7-x86 7.3-RedhatCentos-7-x86 7.9
2内核参数修复
2.1内核参数调整
2.1.1 检查方法/命令
[root@ones ~]# sysctl -a #执⾏命令完成后回显必须包含
# 以下参数，且值也必须保持⼀致
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-arptables = 1
2.1.2 修复步骤
如果回显结果包含参数，且值⼀致可跳过此操作
vi /etc/sysctl.conf，在⽂件末尾增加以下内容，保存退出
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-arptables = 1
执⾏以下命令使变动⽴即⽣效
[root@ones ~]# /sbin/sysctl -p
执⾏ sysctl -a 命令再次检查修改是否成功
[root@ones ~]# sysctl -a
3 selinux状态修复
3.1 selinux 命令不存在
按照脚本报错
+------------------------------+---------------------------------------------------------------------------------+---------+----------------------------------------------------------+
| CHECK ITEM | VALUE | RESULT | REASON |
+------------------------------+---------------------------------------------------------------------------------+---------+----------------------------------------------------------+
.... |
| SELinux | [error occurred] | no pass | error detail on logs above. |
.... |
+------------------------------+---------------------------------------------------------------------------------+---------+----------------------------------------------------------+
修复方法
apt install selinux-utils
3.2 selinux状态修复
检查⽅法/命令
sestatus -v # 执⾏命令完成后回显必须包含以下参数，且值也必须保持⼀致
SELinux status: disabled
3.2 修复步骤
如果回显结果包含参数且值⼀致可跳过此操作
vi /etc/selinux/config，将SELINUX=enforcing改为SELINUX=disabled，如下
[root@ones ~]# cat /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
# targeted - Targeted processes are protected,# minimum - Modification of targeted policy. Only selectedprocesses are protected.
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
重启操作系统
[root@ones ~]#reboot
执⾏ sestatus -v 命令再次检查修改是否成功
sestatus -v
4 服务器时间修复
4.1 检查⽅法/命令
[root@ones ~]#date
Mon Jan 22 11:28:30 CST 2024 #时间必须与北京时间⼀致,或与当地时区保持一致
4.2 修复步骤
# 1、修复时间方法一（离线环境且无时间服务器）
[root@ones ~]#date -s "20240122 11:16:00" #yyyymmdd
hh:mm:ss，按照格式要求填写当前时间
# 2、修复时间方法二（通过外网/内网NTP时间服务器同步时间） 需要安装ntpdate
[root@ones ~]#ntpdate ntp.aliyun.com(时间服务器/可以使用内网时间服务器)
# 3、修复时间方法三（通过外网/内网NTP时间服务器守护自动同步时间,当时间出现偏移会自动同步,适用一部分服务器主板晶振时钟异常使用）
[root@ones ~]#yum -y install chrony # 部分发行部已经安装
[root@ones ~]#vi /etc/chrony.conf
# 找到server <NTP服务器> minpoll 4 maxpoll 10 iburst的信息后，按i键编辑文件，在您暂时不需要的NTP服务器句首前添加符号#进行隐藏
# 新添加一行NTP服务器信息，格式为：server <需要添加的NTP服务器> minpoll 4 maxpoll 10 iburst。完成编辑后按Esc键并输入:wq保存退出。
server ntp.aliyun.com minpoll 4 maxpoll 10 iburst
# 依次执行以下命令，启动chronyd服务并设置开机自启动。
[root@ones ~]#systemctl start chronyd.service
[root@ones ~]#systemctl enable chronyd.service
[root@ones ~]#chronyc -n sources -v # 执行以下命令，查看时间同步服务器列表。
执⾏以下命令再次检查修改是否成功
[root@ones ~]#date
5 服务器时 区修复
# 查看时区,确认是否修改
[root@ones ~]#timedatectl status
# 执行以下命令，查看时区列表。
[root@ones ~]#ls /usr/share/zoneinfo/<时区文件夹名称>
# 执行以下命令，可以在时区列表中查看到Hong_Kong Shanghai时区。
[root@ones ~]#ls /usr/share/zoneinfo/Asia
# 以修改Asiz Shanghai时区为例
[root@ones ~]#ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 更新硬件时钟（RTC）
[root@ones ~]#hwclock -w
# 查看时区
[root@ones ~]#timedatectl status
6 umask修复
6.1 检查⽅法/命令
[root@ones ~]# umask
0022
6.2 修复步骤
编辑/etc/bashrc、/etc/profile⽂件，修改umask
[root@ones ~]# vi /etc/bashrc
[root@ones ~]# vi /etc/profile
###两个⽂件的内容是⼀样的
##搜索umask，找到如下代码，不算第⼀位的特殊权限
if [ $UID -gt 199 ] && [ "`id -gn`" = "`id -un`" ]; then umask 002 / /表示uid⼤于等于199的默认umask值，表示普通⽤户else
umask 022 / /表示uid⼩于199的默认umask值，表示root
fi
###修改后需要重新读取⼀下/etc/bashrc或/etc/profile
[root@ones ~]# source /etc/profile
[root@ones ~]# source /etc/bashrc
7 ⽹络修复
7.1 固定ip修复
7.1.1 检查是否为固定ip
[root@ones ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens160 |grep BOOTPROTO
BOOTPROTO="static" # 静态固定IP地址，无需调整
7.1.2 配置固定ip⽅法
请参照《7.4.1 检查是否网关/固定IP/固定DNS》修改当前环境的固定ip
7.2 dns修复
7.2.1 检查⽅法/命令
[root@ones ~]# cat /etc/resolv.conf #⾄少⼀条nameserver记录
nameserver 223.5.5.5
nameserver 114.114.114.114
7.2.2 修复步骤
建议添加客户dns服务器，如果客户没有dns服务器，必须添加"nameserver 127.0.0.1"
vi /etc/resolv.conf # 编辑⽂件，增加dns服务器
nameserver 223.5.5.5 #223.5.5.5需要按照实际情况进⾏替换
# 检查dns服务器是否正常
[root@ones ~]# ping -c 3 223.5.5.5
[root@ones ~]# ping -c 3 ones.cn # 尝试解析域名，需要按照实际情况进⾏替换
7.2.3 永久修改DNS
vi /etc/sysconfig/network-scripts/ifcfg-eth0 # 编辑网络配置文件，以eth0为例
DNS1=114.114.114.114 #需要按照实际情况进⾏替换
# 保存后重启网络服务
service network restart
7.3 端⼝占⽤修复
7.3.1 检查⽅法/命令
以下列表中的端⼝建议全部释放，避免部署产生端口占用造成端口冲突
7.3.2 端口列表
| 端口号分类 | 端口号 | 功能 |
|---|---|---|
kubernetes/k3s | TCP 2379-2381 | Etcd server client API |
kubernetes/k3s | TCP 10250-10252、10256 | Kubelet API\kube-scheduler\kube-controller-manager |
kubernetes/k3s | TCP 10010 | Containerd |
kubernetes/k3s | TCP 5000 | Docker Registry(镜像仓) |
kubernetes/k3s | TCP/UDP 30000-32767 | service-node-port范围(可选) |
kubernetes/k3s/Flannel VXLAN | UDP 8472 | Flannel VXLAN |
kubernetes/k3s | TCP 6443-6444/8443 | K3s supervisor Kubernetes API Server |
kubernetes/k3s | TCP 9100 | kube-rbac-proxy |
ONES业务端口 | TCP 30011 | ONES node-port 默认监听端口(可 选) |
ONES业务端口 | TCP 80、443 | ONES ingress-nginx 默认监听端口(可选) |
ONES工具端口 | TCP 5001 | Jira迁移工具web服务(可选) |
ONES工具端口 | TCP 5601 | 日志查询 kibanna默认端口(可选) |
ONES工具端口 | TCP 31380 | 监控面板 Grafana默认端口(可选) |
ONES工具端口 | TCP 30012 | ONES运维工具箱端口(可选) |
7.3.3 端⼝释放步骤
端⼝释放前需要与客户确认是否可以kill进程。如果有进程⾃动拉起监听，需要先停⽌⾃动拉起服务，避免释放放反复重启
# 尝试通过kill 命令强制停止进程，请再合理场景下使用，确认冲突端口是否可以中断，如有守护服务：systemd supervisord需要通过守护服务停止
[root@ONES ~]#kill -9 3122 #3122进程id，与检查⽅法对应的端⼝（3122/docker-proxy）
[root@ONES ~]#netstat -antpl |grep -w 8081 #正常情况应该是没有回显
7.4 网络/网关修复
7.4.1 检查是否网关/固定IP/固定DNS
ifcfg-eth0⽹卡名称需要按照实际情况进⾏替换，再
k3s/k8s部署架构下，建议固定服务器IP地址，避免出现IP漂移造成服务不可用。
[root@ones ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static # 此为固定静态IP，保持即可
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=eth0
IPADDR=10.16.0.145 # IP地址
NETMASK=255.255.255.0 # 子网掩码
GATEWAY=10.16.0.254 # 网关
UUID=a405d355-c4f0-4820-8240-4c7bebc289a9
DEVICE=eth0
ONBOOT=yes
DNS1=114.114.114.114 # DNS配置
# GATEWAY="10.16.0.254" #⽹关地址根据实际情况进⾏替换
# 配置保存，重启网络
[root@ones ~]# service network restart
Restarting network (via systemctl): [ OK ]
7.5 主机名/主机名冲突修复
7.5.1 多节点部署时需要检查各节点主机名/修改主机名
# 各节点hostname不能相同
[root@ONES ~]#hostname # 查询hostname 再各节点执行
# 修改主机名 <NEW HOSTNAME> 实际替换
[root@ONES ~]#hostnamectl set-hostname <NEW HOSTNAME>
8 防火墙/防护软件检查修复
部分厂商防火墙/软防Agent等软件对于部署以及业务运行会造成影响，建议先停止防火墙程序，部署业务运行成功后再开启，进行Bypass相关白名单处理
端口需要bypass 取消拦截放行，参考 [7.3.2 端口列表](# 7.3.2 端口列表)
### 部分厂商排查
ds_agent # 查下 agent 关键字 ps aux | grep -i agent ,必须关掉
qaxsafed # 奇安信，查下 qax 看看有没有其他的 ps aux | grep -i qax
secdog # 也查下 dog 和 sec
sangfor_watchdog # 这个不影响 ，但是有它基本是深信服的虚拟化环境，会和flannel的8472端口冲突，见https://p.wpseco.cn/wiki/doc/626a0269352c70b82e6ac9fa
YDservice
Symantec
start360su_safed # 推荐 ps aux | grep safe 先查下，再查 360 字样
gov_defence_service
gov_defence_guard # ps aux | grep defence
wsssr_defence_daemon # 奇安信服务器安全加固系统，和下面是一起的。目前遇到过影响 socat 运行和容器进程访问另一个机器上的mysql端口
wsssr_defence_service
wsssr_defence_agent #影响pod网络
ics_agent
/opt/nubosh/vmsec-host/intedrity/bin/icsintedrity # docker -p 的都无法访问
/opt/nubosh/vmsec-host/file/bin/icsfilesec
edr_sec_plan # ps aux | grep edr ,深信服的 edr ，这个会下发 iptables 规则，配置错了会影响 node 之间，以及 pod 和 pod 之间通信
titanagent # 青藤 云安全软件
# dynarose的安全软件，影响 docker 和 pod 的容器通信
ps -aux | grep -E 'blocklogc|collectclient|fwclient|identity|nodeclient|subconnc|subdomainc|sddog|sdc[c]'
# 卡巴斯基，影响容器通信 systemctl disable --now kesl
ps aux | grep -E 'kaspersky|klnagent'
# 深信达，SDC 沙盒，没调整好配置会导致容器网络有问题
CnSinDa/SDC/Common/64/SDCAgent
CnSinDa/SDC/Secret/64/Secret
9 数据磁盘IO存储说明及配置说明
9.1 建议增设多块数据盘背景说明
9.1.1 磁盘要求说明
关于服务器磁盘本身，本地存储的性能未经过系统评估，因此无法预知此种部署模式的性能指标，建议使用SSD高速磁盘/HDD高转速/高性能云盘/OSS S3对象存储 详情与最终实施部署方案沟通为准，在部分用户磁盘场景，对于提供的磁盘块本身有进行Raid阵列、逻辑分布式条带存储、共享存储 再投产前，需提前说明确认 以免影响IO磁盘 多副本写入
注意：服务器非通过同一宿主机服务器分配的虚拟机资源 以免造成当该宿主机宕机, 分配的虚拟机资源或高可用本身不攻自破。
9.1.2 单点故障
对于单节点部署场景，使用本地存储时，本地存储缺乏数据副本，存储路径只能挂载其中一个服务器节点的本地磁盘下，因此存在单点故障的风险。如服务器出现故障，如数据磁盘造成损坏 造成业务不可用，通常在部署最佳实践中，我们建议在单节点中配置 数据备份服务，对于数据备份服务：通常数据备份数据再有限的环境中选择落盘到本地磁盘中 因此建议增加额外一块数据盘存储备份数据，以免再应用数据盘硬件等因素发生磁盘损坏(对于存储硬件发生问题引发的风险，我司作为应用软件提供商无法提供维护手段，提供有限协助支持)，通过备份数据盘中的数据，完成业务恢复。
9.1.3 性能瓶颈
若 /data 目录所在的文件系统底层均来自同一硬盘设备（或同一硬盘不同分区构建的设备），则使用 /data 目录所在文件系统的 Pods 将存在 IO 竞争，进而影响 ONES组件的稳定性以及 QoS。
对于单节点部署场景，建议使用两块以上数据盘，随着用户量使用规模较高，在服务承载一定并发量时，消耗除了内存以外对服务服务器磁盘IO读写的效率依赖也很大，且IO的读写均受限于本地磁盘的性能，若IO读写效率降低，中间件及其它服务（MySQL、ETCD、Kafka、索引中间件、服务运行）的处理效率都会遇到影响，会导致服务处理过程变长，甚至服务宕掉不可用。
9.1.4 存储建议
-
1、本地物理磁盘,需要完全独立隔离(每台负载节点上的磁盘非来自共享磁盘阵列，而是独立的磁盘独立的IO) 再有条件环境下 建议增设多块数据盘，对于有状态业务服务进行IO隔离，提升业务性能
使用高性能存储，如
SATA SSD、PCIe SSD通过RAID或LVM提高 IO 性能、带宽 (默认) -
2、对象存储
OSS/S3数据流吞吐性能几乎可以随集群规模线性增长，具有非常高的上限，ONES已成功对接各大云厂商, 支持标准S3协议接入，可提供接入测试（推荐） -
3、
NAS存储 在大量操作请求并发情况下，缓存/网络协议处理易形成阻塞，导致服 务不可用，仅建议存储静态附件类资源,需进行用量评估 (不推荐)
9.1.5 单节点 多块数据盘 IO隔离简示图
最佳实践如图所示：
1、防止
K3SServer Agent 和工作负载干扰集群数据存储，建议将关键存储进行IO分离，以免抢占IO，影响control plane响应延时，造成无法维持系统状态。(优化IO/防止系统盘剩余空间不足) 2、为避免中间件及业务组件，避免 IO 竞争读写负载较高导致处理效率较慢，业务并发降低，严重将导致业务不可用，建议将对高IO中间件 业务单独设立数据盘 N+1磁盘。
3、为避免单点服务器磁盘硬件故障，导致数据盘数据丢失，默认缺省服务器数据备份服务数据落盘再数据盘之中，建议增设数据备份盘，提高容错能力
最佳实践建议：将数据备份上传
OSS/S3外部对象存储中，或独立备份服务器部署对象存储服务。
9.2 检查关闭swap交换分区
# 检查交换分区是否启动
[root@ones ~]# free -g
total used free shared buff/cache available
Mem: 31 2 24 0 4 28
Swap: 0 0 0 # 代表未开启
[root@ones ~]#swapon --show # 无回显则表示未启用
### 关闭已开启交换分区
[root@ones ~]#swapoff -a # 关闭所有交换分区
[root@ones ~]#vi /etc/fstab # 永久关闭交换分区
#/dev/mapper/centos-swap swap swap defaults 0 0
# 将其注释掉或删除，保存文件并退出。
# 重新启动服务器以应用更改。
[root@ones ~]#reboot
9.3 单机单数据盘磁盘初始化挂载配置
单数据盘分区挂载 例：一块数据盘：
vdb默认ONES数据目录挂载点:/data/ones请根据实际情况作调整。
# 一、磁盘分区
###查询已经挂载分区，检查磁盘挂载是否成功
[root@ones ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 16G 0 16G 0% /dev
tmpfs 16G 320K 16G 1% /dev/shm
tmpfs 16G 725M 15G 5% /run
tmpfs 16G 0 16G 0% /sys/fs/cgroup
/dev/mapper/centos-root 99G 39G 61G 40% /
/dev/vda1 1014M 150M 865M 15% /boot
/dev/vdb1 1024G 150M 1023G 1% /data/ones # 例
###针对新数据盘 vdb进行分区
[root@ones ~]# parted /dev/vdb mklabel gpt # 使用gpt格式
[root@ones ~]# parted /dev/vdb mkpart 1 xfs 2048 1TB # 磁盘1T
# 二、磁盘格式化并挂载
###若使用xfs，需要携带ftype=1格式进行格式化，或使用ext4文件系统
[root@ones ~]# mkfs.xfs -n ftype=1 /dev/vdb1
###创建挂载点
[root@ones ~]#mkdir -p /data/ones
###通过以下查看blkid 磁盘分区UUID
[root@ones ~]# blkid
###检查磁盘⾃动挂载
[root@ones ~]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Fri Dec 22 15:25:13 2023
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults 0 0
UUID=154ce567-1c9a-4279-8147-34a849ce9a57 /boot xfs defaults 0 0
UUID=2145583b-79b6-4934-9d05-f5cd1bee752a / xfs defaults 0 0
UUID=OJayrk-nXIr-RYzx-FnL0-cpa4-8bfD-3h8py9 /data/ones xfs defaults 0 0 # 通过持久化挂载配置，开机自动挂载，通过UUID避免各别虚拟机厂商不稳定盘符偏移问题
###挂载分区,检查磁盘挂载是否成功
[root@ones ~]#mount -a && df -h
# 三、针对k3s agent数据目录与server数据目录隔离(避免系统盘IO受限，系统盘空间不足问题，可选)
# 创建k3s数据目录
[root@ones ~]#K3S_DATA_DIR=/data/ones/ones-installer-pkg/k3s
[root@ones ~]#mkdir -p ${K3S_DATA_DIR}/etc/rancher ${K3S_DATA_DIR}/var/lib/rancher/k3s/agent ${K3S_DATA_DIR}/run/k3s ${K3S_DATA_DIR}/var/lib/kubelet
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/etc/rancher /etc/rancher
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/var/lib/rancher/k3s/agent /var/lib/rancher/k3s/agent
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/run/k3s /run/k3s
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/var/lib/kubelet /var/lib/kubelet
# 若有充足数据盘 建议将etcd也独立出来（可选）
[root@ones ~]#mkdir -p ${K3S_DATA_DIR}/var/lib/rancher/k3s/server/db/etcd
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/var/lib/rancher/k3s/server/db/etcd /var/lib/rancher/k3s/server/db/etcd
9.4 单机多块数据磁盘IO分离配置
适用于单节点：
K3S Deploy例：两块数据盘：vdbvdc默认ONES数据目录挂载点:/data/ones请根据实际情况作调整。
# 一、磁盘分区
###针对新数据盘 vdb进行分区
[root@ones ~]# parted /dev/vdb mklabel gpt # 使用gpt格式
[root@ones ~]# parted /dev/vdb mkpart 1 xfs 2048 500G # 磁盘1 500Gb
###针对新数据盘 vdc进行分区
[root@ones ~]# parted /dev/vdc mklabel gpt # 使用gpt格式
[root@ones ~]# parted /dev/vdc mkpart 1 xfs 2048 500G # 磁盘2 500Gb
# 二、磁盘格式化并挂载
###若使用xfs，需要携带ftype=1格式进行格式化，或使用ext4文件系统
[root@ones ~]# mkfs.xfs -n ftype=1 /dev/vdb1
[root@ones ~]# mkfs.xfs -n ftype=1 /dev/vdc1
###通过以下查看blkid 磁盘分区UUID
[root@ones ~]# blkid
###创建挂载点
[root@ones ~]#mkdir -p /data/ones/ones-local-storage/mysql
###检查磁盘⾃动挂载
[root@ones ~]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Fri Dec 22 15:25:13 2023
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults 0 0
UUID=154ce567-1c9a-4279-8147-34a849ce9a57 /boot xfs defaults 0 0
UUID=2145583b-79b6-4934-9d05-f5cd1bee752a / xfs defaults 0 0
UUID=OJayrk-nXIr-RYzx-FnL0-cpa4-8bfD-3sad9 /data/ones xfs defaults 0 0 # vdb1 通过持久化挂载配置，开机自动挂载，通过UUID避免各别虚拟机厂商不稳定盘符偏移问题
UUID=OJayrk-nXIr-RYzx-FnL0-cpa4-8bfD-3xxxx /data/ones/ones-local-storage/mysql xfs defaults 0 0 # vdc1 通过持久化挂载配置，开机自动挂载，通过UUID避免各别虚拟机厂商不稳定盘符偏移问题
###挂载分区,检查磁盘挂载是否成功
[root@ones ~]#mount -a && df -h
# 三、针对k3s agent数据目录与server数据目录隔离(避免系统盘IO受限，系统盘空间不足问题，可选)
# 创建k3s数据目录
[root@ones ~]#K3S_DATA_DIR=/data/ones/ones-installer-pkg/k3s
[root@ones ~]#mkdir -p ${K3S_DATA_DIR}/etc/rancher ${K3S_DATA_DIR}/var/lib/rancher/k3s/agent ${K3S_DATA_DIR}/run/k3s ${K3S_DATA_DIR}/var/lib/kubelet
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/etc/rancher /etc/rancher
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/var/lib/rancher/k3s/agent /var/lib/rancher/k3s/agent
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/run/k3s /run/k3s
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/var/lib/kubelet /var/lib/kubelet
# 若有充足数据盘 建议将etcd也独立出来（可选）
[root@ones ~]#mkdir -p ${K3S_DATA_DIR}/var/lib/rancher/k3s/server/db/etcd
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/var/lib/rancher/k3s/server/db/etcd /var/lib/rancher/k3s/server/db/etcd
9.5 多节点多块数据磁盘IO分离配置
适用于多节点:
K3S/K8S DeployOpenEBS分布式存储方案+localStorage存储以每台Node节点 三块数据存储盘为例:vdbvdcvdd
# 针对每个Node节点操作处理磁盘如下：（需要保留一块裸盘提供OpenEBS使用）
# 一、磁盘分区
###针对新数据盘 vdb进行分区
[root@ones ~]# parted /dev/vdb mklabel gpt # 使用gpt格式
[root@ones ~]# parted /dev/vdb mkpart 1 xfs 2048 500G # 磁盘1 500Gb
###针对新数据盘 vdc进行分区
[root@ones ~]# parted /dev/vdc mklabel gpt # 使用gpt格式
[root@ones ~]# parted /dev/vdc mkpart 1 xfs 2048 500G # 磁盘2 500Gb
###数据盘 vdd 无需处理，提供裸盘 openEBS方案（注意）
# 一块未被使用的磁盘，提供给OpenEBS管理和使用，最终数据将以zfs文件系统格式进行存储。OpenEBS为业务提供 非结构化数据的存储，比如: 附件、wiki页面数据等
# 二、磁盘格式化并挂载
###若使用xfs，需要携带ftype=1格式进行格式化，或使用ext4文件系统
[root@ones ~]# mkfs.xfs -n ftype=1 /dev/vdb1
[root@ones ~]# mkfs.xfs -n ftype=1 /dev/vdc1
###通过以下查看blkid 磁盘分区UUID
[root@ones ~]# blkid
###创建挂载点
[root@ones ~]#mkdir -p /data/ones/ones-local-storage/mysql
###检查磁盘⾃动挂载
[root@ones ~]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Fri Dec 22 15:25:13 2023
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults 0 0
UUID=154ce567-1c9a-4279-8147-34a849ce9a57 /boot xfs defaults 0 0
UUID=2145583b-79b6-4934-9d05-f5cd1bee752a / xfs defaults 0 0
UUID=OJayrk-nXIr-RYzx-FnL0-cpa4-8bfD-3sad9 /data/ones xfs defaults 0 0 # vdb1 通过持 久化挂载配置，开机自动挂载，通过UUID避免各别虚拟机厂商不稳定盘符偏移问题
UUID=OJayrk-nXIr-RYzx-FnL0-cpa4-8bfD-3xxxx /data/ones/ones-local-storage/mysql xfs defaults 0 0 # vdc1 通过持久化挂载配置，开机自动挂载，通过UUID避免各别虚拟机厂商不稳定盘符偏移问题
###挂载分区,检查磁盘挂载是否成功
[root@ones ~]#mount -a && df -h
# 三、针对k3s agent数据目录与server数据目录隔离(避免系统盘IO受限，系统盘空间不足问题，可选)
# 创建k3s数据目录
[root@ones ~]#K3S_DATA_DIR=/data/ones/ones-installer-pkg/k3s
[root@ones ~]#mkdir -p ${K3S_DATA_DIR}/etc/rancher ${K3S_DATA_DIR}/var/lib/rancher/k3s/agent ${K3S_DATA_DIR}/run/k3s ${K3S_DATA_DIR}/var/lib/kubelet
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/etc/rancher /etc/rancher
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/var/lib/rancher/k3s/agent /var/lib/rancher/k3s/agent
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/run/k3s /run/k3s
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/var/lib/kubelet /var/lib/kubelet
# 若有充足数据盘 建议将etcd也独立出来（可选）
[root@ones ~]#mkdir -p ${K3S_DATA_DIR}/var/lib/rancher/k3s/server/db/etcd
[root@ones ~]#ln -sf ${K3S_DATA_DIR}/var/lib/rancher/k3s/server/db/etcd /var/lib/rancher/k3s/server/db/etcd