ONES 私有部署环境要求
1. 部署说明:
集群版:如采用K3S集群版,请参考下文;
文档协同:如需部署文档协同,具体服务器配置要求参考:【办公文档协同编辑能力包】私有部署要求(v6)。
信创要求:支持麒麟 V10 等信创操作系统,具体配置需求请联系 ONES 工程师获取。
2. 配置要求
2.1 配置项与规格推荐
主要配置项 | 规格推荐 | 备注 | |
---|---|---|---|
1 | 操作系统 | 64 位 CentOS7.9、64位Redhat7.9及以上 64位 ubuntu 18及以上(最佳实践为Ubuntu22) | 必须 |
2 | 操作系统内核 | 3.10.0-1160 或以上 | 必须 |
3 | 网络带宽 | (1)固定带宽入网下行至少为 50Mbps 以上,用于下载资源(如果是云服务器则可以考虑按量付费,最大带宽选择 100Mbps) (2)固定带宽出网上行请根据用户规模,参考下述配置表。 | 必须 |
4 | 依赖软件 | curl(执行对应版本的包管理器安装,例centos7: yum install -y curl安装) | 文件存储引擎推荐用 overlay2,除依赖软件外请保持 CentOS 的纯净,无第三方安装的软件 |
5 | 内网 IP 地址 | 默认子网地址 10.42.0.0/16和10.43.0.0/16,存在冲突需注明 | 服务器需配置静态IP,不能采用DHCP方式 |
6 | 应用端口 | 5000 (Docker Registry本地私有镜像仓默认监听端口,离线打包时需要) 2379、2380、2381、6443、6444、8472、8285、10248、10249、10250、10251、10252、10256 (K3s Server默认监听端口) 10010 (Containerd默认监听端口) 30011 (ONES 系统默认监听端口) 9100 (kube-rbac-proxy默认监听端口) 30000-32767 (K3s 默认的service-node-port范围) 80、443 (ingress-nginx 默认监听端口) 5001(Jira迁移工具web服务) 30012(运维工具箱) 31380(监控工具) | |
7 | CPU/内存 | CPU: amd64 架构 CPU核数>8 内存:大于等于32G 物理机推荐DDR4标准 | |
8 | 磁盘 | (1)系统盘大小>=100G,其中/ 目录大于100G; (2)数据盘大小参考下表;(磁盘写速度>20MB/s 磁盘读速度>60MB/s) (3)备份盘大小参考下表;(磁盘写速度>20MB/s 磁盘读速度>60MB/s) | 优先考虑 高效云盘或SSD 硬盘,SATA 盘转速最低须 7200 转 |
9 | 权限 | 在执行安装过程中,需要使用root账号来确保安装顺利完成。 |
这些运行条件都会通过环境检测脚本进行检测
2.2 ONES 系统主要硬件推荐配置表
(1)K3S单机版:推荐配置如下,稳定运行后建议根据实际状态实时调整。
用户人数 | CPU核数 | 内存 | 系统盘 | 数据盘 | 索引盘 | 备份盘 | 网络带宽 |
---|---|---|---|---|---|---|---|
测试用途 | >=8C | >=24G | >=100G | >=250G | >=10M | ||
500以内 | >=16C | >=48G | >=100G | >=2T | 100G | >=2T | >=50M |
500~5999 | >=32C | >=64G | >=100G | >=3T | 200G | >=3T | >=100M |
需要根据工作项数量等实际情况确定,考虑采用集群版 | |||||||
6000+ | 需要根据工作项数量等实际情况确定,推荐采用集群版 |
ONES K3S单机各个盘的使用说明:
磁盘 | 介质 | 卷管理 | 格式 | 挂载路径 | 用途 |
---|---|---|---|---|---|
系统盘 | SSD | LVM | xfs | / | 系统根分区,不建议细分为多个小分区 |
数据盘 | HDD | LVM | xfs | /data | ONES数据盘,根据业务量预估空间大小,正式环境推荐使用SSD |
索引盘 | SSD | LVM | xfs | /data/ones/ones-local-storage/tidb | 提供给索引中间件使用,提供实时高效的搜索能力 |
备份盘 | HDD | LVM | xfs | /backup | 数据备份,更推荐提供单独服务器做异机备份 |
(2)K3S集群版:推荐配置如下,稳定运行后建议根据实际状态实时调整。
测试用途 | ||||||
---|---|---|---|---|---|---|
角色 | 部署模式 | CPU要求 | 内存要求 | 机器数量 | 系统盘 | 数据盘 |
K3s 工作节点 | K3s 集群 | 12核 | 24G | 3台 | 200G SSD | 见下表 |
备份机&操作机&组件机 | 裸系统 | 8核 | 16G | 1台 | 200G | >250G |
中型规模 | ||||||
角色 | 部署模式 | CPU要求 | 内存要求 | 机器数量 | 系统盘 | 数据盘 |
K3s 工作节点 | K3s 集群 | 24核 | 48G | 3台 | 500G SSD | 见下表 |
备份机&操作机&组件机 | 裸系统 | 8核 | 16G | 1台 | 200G | >2T |
大型规模 | ||||||
角色 | 部署模式 | CPU要求 | 内存要求 | 机器数量 | 系统盘 | 数据盘 |
K3s 工作节点 | K3s 集群 | 32核 | 64G | 3台 | 500G SSD | 见下表 |
备份机&操作机&组件机 | 裸系统 | 8核 | 16G | 1台 | 200G | >3T |
ONES K3S集群版数据盘说明:优先建议采用外置存储,如OSS等;如采用本地存储,ONES使用longhorn存储方案,需为每个负载节点提供3块数据盘,如下表所示:
磁盘 | 介质 | 卷管理 | 格式 | 挂载路径 | 用途 |
---|---|---|---|---|---|
disk01 | HDD | LVM | xfs | /data/ones/ones-local-storage | 对分布式有状态服务提供低时延的存储,如 MySQL、Kakfa、Clickhouse、Victoriametrics;正式环境推荐使用SSD |
disk02 | HDD | LVM | xfs | /data/ones/longhorn-system | 提供给longhorn使用,longhorn为业务提供 非结构化数据的存储,比如: 附件、wiki页面数据等;正式环境推荐使用SSD |
disk03 | SSD | LVM | xfs | /data/ones/ones-local-storage/tidb | 对写性能有较高要求的有状态服务提供高性能存储, 比如:TiKV |
由于longhorn的存储不能支持”超额分配”,稳定运行需要消耗更高的磁盘,需要多预留一倍的存储空间;因此,卷管理需使用LVM,保障后续的扩容需求。基于最佳实践,针对不同的集群规模、请提供不同大小的磁盘,如下表所示:
集群规模 | disk01大小 | disk02大小 | disk03大小 |
---|---|---|---|
测试用途 | >=200GB | >=1TB | 100GB |
中型规模 | >=500GB | >=2TB | 100GB |
大型规模 | >=1TB | >=4TB | 200GB |
(3)注意事项:
a. 数据盘和备份盘的剩余空间如小于 20%,需尽快扩容,否则影响备份功能和升级操作。
b. 如果评估数据盘使用将会超过500G,推荐采用外置存储,如OSS等;或者后续再将附件存储迁移到OSS上。
c. 为更好的保障备份的有效性和备份数据的安全,建议使用独立的机器用于生产数据备份服务,该机器配置要求较低。
d. 如果采用物理机,挂载的硬盘请采用 LVM 管理,便于后续扩容;如果采用云主机,挂载的磁盘可以先低配、再根据用量来逐步提升。
e. 如有 Jira 导入需求,请根据Jira的issue数量、用户数量、附件大小和数量来确定服务器资源,比如 ONES 服务器数据盘的剩余空间不小于 Jira 服务器附件目录大小 * 2,具体请联系ONES工程师。
f. 如有 Confluence 导入需求,请确保 ONES 服务器数据盘的剩余空间不小于 Confluence 服务器的已使用空间 * 2,CPU和内存配置在推荐值以上。
g. 集群的稳定性依赖于底层操作系统、存储系统、网络环境的稳定性。比如集群内各个节点须在同一个机房&同一个交换机&同一个网段下,减少网络问题的概率;如果集群部署在虚拟机上,底层宿主机需是同样要求!
h. 信创环境需采用更高配置,比如CPU和内存建议为当前配置1.5倍以上。
i. 如果使用了较多的插件,建议增加更多的内存,并联系ONES工程师调整platform和plugin相关资源配置。
2.3 环境准备
离线部署
外网服务器 x 1 (网络环境:可以访问互联网,用于制作离线制品,临时使用)
内网服务器 x 1 (网络环境:无法访问互联网,用于部署ONES服务)
在线部署
外网服务器 x 1 请保证服务器所在网络环境能联通外网,否则安装程序将无法下载数据完成安装。
如网络环境限制无法访问外网,请查看:内网安装指引
环境准备之后,参考https://opsdoc.ones.cn/docs/environmental-requirements/K3S/envcheck 进行环境检测。
2.4 部署基础配置
配置内容(根据实际情况) | 说明 |
---|---|
域名配置/HTTPS | 提前准备域名及 HTTPS 证书(key文件和crt文件) |
SMTP 发件邮箱配置 | 请务必提前准备发件邮箱服务器、发件端口、发件账号、发件密码(授权码),邀请新成员必须使用该配置发送邮件!参考配置邮箱。 |
2.5 获取证书
需要证书来获得使用 ONES 中各种应用、产品的授权,请在安装前确保你已经有相关证书。请根据你的实际情况参考以下指引获取证书:
3. 部署流程
部署前:参考本文档准备服务器并进行环境检测,确认配置是否满足ONES系统要求,如有疑问请咨询ONES实施工程师。
部署中:离线环境参考ONES 离线初装进行自助部署,在线环境参考ONES 在线初装进行自助部署;或者联系ONES实施工程师在约定的时间远程登录客户的服务器进行初装,初装耗时一小时左右;
部署后:客户可按需进行系统升级,实施工程师在约定的时间远程登录客户的服务器进行升级操作,耗时约一小时左右(视数据情况而定)。
4. 注意事项
- 安装前需与ONES工程师确认服务器网络架构是否能够访问外网、是否拥有独立IP,这将影响ONES准备的版本包。
- 环境当中是否依赖NAT转发,是否存在防火墙或者nginx反向代理等LB服务,请提前告知,这将影响ONES服务的访问方式。
- 保持ONES系统独立运行在专用服务器上,不要与其他服务混合部署,避免系统之间的干扰,保障系统稳定可靠地运行。
- 在准备进行安装时需运行系统环境检测,获取精准信息,确保系统环境支持;在版本安装时也会做基本检测、检测不通过则无法安装。
- 初装、升级、备份等操作建议放在screen或其他后台形式下执行,避免发生中断等不必要的问题。
- 初装、升级、备份时,请确保数据盘利用率不低于80%;运行时,如果数据盘利用率超过95%,ONES搜索等功能可能运行异常,请务必扩容。
- 运行时,建议客户将ONES接入自有监控系统并建议开启告警短信,日常关注CPU/内存/硬盘/网络等资源占用情况,如果资源占用异常,请联系ONES工程师;如果资源占用超过阈值,请自行扩容。
- K3S支持将数据备份到本次磁盘,也支持将数据备份到异地服务器或OSS上。目前有3类数据会做备份:mysql、kafka和附件数据,mysql数据每周1次全量备份、每小时一次增量备份、保留最近 90天的备份;kakfa每天2次增量备份;附件数据每天1次全量备份,如果附件存储在OSS上,该项备份也可取消,由OSS来确保存储的高可用性。
- 如需从SAAS(ones.cn)将数据迁移到私有部署环境,需客户联系ONES销售沟通SAAS服务入口关停等事宜,迁移/关停之前需邮件确认。