ONES 私有部署环境要求
请根据用户规模选择ONES K3S单机版或ONES K3S集群版的部署模式,按照要求准备服务器、网络资源、信创环境(可选)、License证书等,并请根据运行中的资源使用情况实时扩容;更大规模团队需要定制部署方案。
1 服务器准备
1.1 ONES K3S单机版配置说明
| 用户人数 | 角色 | CPU | 内存 | 系统盘 | 数据盘 | 索引盘 | 网络带宽 |
|---|---|---|---|---|---|---|---|
| 测试或25人以内 | 1台工作节点 | >=8C | >=24G | >=100G | >=250G | >=10M | |
| 500人以内 | 1台工作节点 | >=16C | >=48G | >=100G | >=1TB | >=100G | >=50M |
| 500~2999 | 1台工作节点 | >=32C | >=64G | >=100G | >=2TB | >=200G | >=100M |
| 3000~5999 | 1台工作节点 | >=48C | >=96G | >=100G | >=4TB | >=300G | >=150M |
| 备份机 | 4C | 8G | >=100G | >=500G |
ONES K3S单机版各个盘的使用说明:
| 磁盘类型 | 介质 | 卷管理 | 格式 | 挂载路径 | 用途 |
|---|---|---|---|---|---|
| 系统盘 | SSD | LVM | xfs | / | 根分区不能细分为多个小分区;不需要swap; |
| 数据盘 | SSD | LVM | xfs | /data | 根据业务量预估空间大小、机械盘转速不低于7200/IOPS不低于2000,测试环境可使用HDD;备份机的数据盘建议和正式环境保持一致; |
| 索引盘 | SSD | LVM | xfs | /data/ones/ones-local-storage/tidb | 提供给索引中间件使用,提供实时高效的搜索能力。 |
1.2 ONES K3S集群版配置说明
ONES K3S集群为应用+存储分离的架构,需要分别准备4台服务器(3台工作节点+1台备份/操作/组件机) + 外置存储(NFS或者OSS+NFS)。
1.2.1 外置存储
由客户自行提供、自行负责存储的稳定性和备份恢复,有两种方案:
方案1:客户只提供NFS共享存储;所有附件数据、wiki页面资源、插件数据、共享数据等放在NFS上;NFS空间大小请根据业务量预估。此时ONES只做Mysql业务数据/Clickhouse审计日志的备份,需客户提供单独的备份机或NFS。
方案2:客户提供NFS共享存储+OSS对象存储;内部共享数据、插件数据放在NFS共享存储上,NFS空间不低于200G;所有附件数据、wiki页面资源等放在OSS上,OSS存储需符合S3规范,OSS空间大小请根据业务量预估;客户需提供3个bucket,统一配置为私有读写。此时ONES只做Mysql业务数据/Clickhouse审计日志的备份,需再提供2个bucket。
如果Mysql数据库外置,则ONES侧不再考虑Mysql业务数据的备份,由客户自行负责。
1.2.2 4台服务器
| 集群规模 | 角色 | CPU | 内存 | 系统盘 | 数据盘 | 索引盘 | 网络带宽 |
|---|---|---|---|---|---|---|---|
| 500人以内 | 3台工作节点 | >=16C | >=32G | >=200G | >=300G | >=100G | >=50M |
| 500~2999 | 3台工作节点 | >=24C | >=48G | >=200G | >=500G | >=200G | >=100M |
| 3000~5999 | 3台工作节点 | >=32C | >=64G | >=200G | >=800G | >=300G | >=150M |
| 1台备份机 | 8C | 16G | >=100G | >=500G |
基于成本考虑,备份数据改到外置OSS或NFS存储上,取消备份机。
ONES K3S集群版数据盘说明:ONES K3S集群的本地盘采用longhorn存储共享方案,需为每个负载节点提供3块本地盘,说明如下:
| 磁盘类型 | 介质 | 卷管理 | 格式 | 挂载路径 | 用途 |
|---|---|---|---|---|---|
| 系统盘 | SSD | LVM | xfs | / | 根分区不能细分为多个小分区;不需要swap |
| 数据盘 | SSD | LVM | xfs | /data | /data/ones/ones-local-storage为分布式有状态服务提供低时延的存储,如 MySQL、Kakfa、Clickhouse、Victoriametrics等;/data/ones/longhorn-system提供给longhorn使用,为业务提供非结构化数据的存储,属于允许丢失的运行时数据; |
| 索引盘 | SSD | LVM | xfs | /data/ones/ones-local-storage/tidb | 提供给索引中间件使用,提供实时高效的搜索能力。 |
2 网络资源准备
| 配置内容 | 说明 |
|---|---|
| IP地址 | 服务器需使用静态IP;默认子网地址 10.42.0.0/16和10.43.0.0/16,存在冲突需注明; |
| 网络要求 | K3S集群的服务器之间,延迟小于50ms、带宽大于100M、丢包率小于0.1%、抖动大于30ms;集群服务器须位于同一机房、同一交换机、同一网段;若部署于虚拟机,底层宿主机需满足相同条件,避免跨机房或跨网段部署集群,减少网络延迟和故障风险。如果是云主机、可采用 按流量计费的带宽模式; |
| 开通端口 | (1)ONES运行时默认使用的端口为:5000 (Registry本地私有镜像仓默认监听端口);2379、2380、2381、6443、6444、8472、8285、10248、10249、10250、10251、10252、10256 (K3s Server默认监听端口);10010 (Containerd默认监听端口);30011 (ONES 系统默认监听端口);9100 (kube-rbac-proxy默认监听端口);30000-32767 (K3s 默认的service-node-port范围);80、443 (ingress-nginx 默认监听端口);5001(Jira迁移工具web服务);30012(运维工具箱);31380(监控工具);(2)默认必须对外开放30011服务端口,也可按需调整为80、443等,按需开放31380监控端口。 |
| 域名 | 如需使用域名访问,提前申请域名;特别是对接企业微信的场景下,必须使用域名。 |
| SSL证书 | 如需使用https访问,提前申请SSL证书(key文件和crt文件),证书需来自可信CA、证书链完整、匹配域名且未过期。并请自行关注SSL证书过期时间,到期之前请更新证书,参考SSL证书过期时间检测 |
| 前置网关 | 提前确认是否需要 防火墙、Nginx 反向代理 或负载均衡(LB)等前置网关设备,影响服务访问方式。 |
| NTP服务器 | 请确保服务器的时间是正确的东八区北京时间;特别是集群环境,请务必提前准备NTP服务器,便于配置时间同步服务。 |
| SMTP发件邮箱 | 请务必提前准备发件邮箱服务器、发件端口、发件账号、发件密码(授权码),邀请新成员必须使用该配置发送邮件!参考配置邮箱。 |
3 License证书准备
需要证书来获得使用 ONES 中各种应用、产品的授权,请在安装前确保你已经收到ONES证书中心账号开通的邮件,获取ESN,然后登录「证书中心」下载证书文件,在安装完成后执行自助激活。
4 信创环境准备
如需部署为信创环境,请参考下表准备,详情请与ONES工程师进一步沟通。
| 配置内容 | 说明 |
|---|---|
| 应用层 | ONES应用软件为100%完全自研版本; |
| 中间件 | ONES支持多款信创版的中间件,包括东方通 TongRDS v2.2、宝兰德 BES Cloud MQ v5.2等; |
| 数据库 | ONES支持多款信创版的数据库,包括TDSQL-C MySQL、OceanBase v4.2.4及以上、GaussDB for MySQL、GoldenDB V6.1.03.09等; |
| 操作系统 | ONES支持多款信创版的操作系统,包括银河麒麟V10、统信服务器操作系统V20、麒麟信安v3.5.1、阿里龙蜥 8.4/7.9 X86、openEuler v20.03、Huawei Cloud EulerOS 2.0等; |
| 芯片支持 | ONES支持多款信创版的CPU,包括鲲鹏920、飞腾等; |
| 硬件支持 | 基于性能和稳定性考虑,信创场景下的CPU和内存需为上文标准配置的 1.5 倍以上。 |
5. 注意事项
5.1 系统部署要求
(1) 支持64位 ubuntu 18及以上、64位Redhat8.0及以上、银河麒麟V10等操作系统,最佳实践为Ubuntu22.04 server;操作系统必须使用命令行模式、禁止使用图形化模式;同时请保持操作系统的纯净,无第三方安装的软件;已在Centos7/RHEL7等内核版本为3.* 的操作系统上发现多起性能相关故障,请使用4.* 以上内核发行版。
(2) 在执行安装过程中,需要使用操作系统的root账号来确保安装顺利完成;安装部署前,请确定服务器的IP和hostname,安装之后如需修改IP或hostname,需参考Linux单机单独重装k3s执行;
(3) ONES 需部署在专用服务器上,禁止与其他服务(如数据库、中间件)混合部署,避免资源争用和干扰;
(4) 如果采用外置数据库,资源配置不低于CPU8核+内存24G+磁盘100G SSD,如果数据库部署在信创服务器上、资源配置请 * 1.5;并请根据运行中的资源使用情况实时扩容。
(5) 为避免引起ONES服务异常和性能隐患,请关闭如下杀毒软件:'qaxsafed', 'secdog', 'YDservice', 'titanagent', 'Symantec', 'sangfor_watchdog', '360safe', 'ics_agent', 'icsintedrity', 'icsfilesec', 'edr_sec_plan', 'ds_agent', 'sangfor/edr', 'security/edr', 'wsssr_defence_service', 'wsssr_defence_daemon', 'wsssr_defence_agent', 'start360su_safed', 'gov_defence_service', 'gov_defence_guard', 'KSFGLTX', 'KSFGJCZ', 'KSFZDFY', 'sfemon', 'kesl', 'sfavsrv'等。同时可以在服务器周边部署独立的安全网关、防火墙或IDS,保障整体安全。
(6) 为保障ONES服务稳定运行,服务器系统盘和数据盘的读IO不低于60MB/s、写IO不低于20MB/s;磁盘iops不低于2000!
5.2 存储规划
(1) 系统盘和数据盘的利用率 ≥85% 时需立即扩容,否则影响功能(如搜索)或触发K3S自动清理(将导致业务异常)。若磁盘空间不足导致服务异常,请优先扩容;临时清理需联系ONES工程师指导。
(2) 如果业务数据量 ≥500G 时,请使用外置OSS或NFS存储,或及时迁移附件至外置存储。
(3) 如果是物理机,请通过 LVM 管理磁盘,便于扩容;如果是云主机或虚拟机,初始可低配数据盘、后续按需扩展。
5.3 资源监控
(1) 请将 ONES 纳入自有运维监控体系,关注 CPU/内存/硬盘/网络使用率等,并开启邮件或短信类告警。
(2) CPU/内存/硬盘/网络使用率等资源占用异常时请联系 ONES 工程师处理;超过阈值(如CPU>50%,内存>80%,磁盘空间>80%等)需及时扩容。
(3) 若使用了较多插件,请增加服务器内存并联系 ONES 工程师调整platform资源配置、调整插件运行资源。
5.4 备份策略
(1) 在ONES生产环境请采用专用备份设备(如独立备份 服务器或外置存储系统)承载数据备份任务,实现磁盘 I/O 资源隔离,避免因备份操作争用资源而影响业务系统性能与稳定性,同时消除单点故障隐患。定期将业务数据同步至异地机房或跨云平台主机,确保区域性灾难下的数据可恢复性。
(2) 目前有3类数据会做备份:保存在数据库的业务数据、保存在clickhouse的审计日志和保存在存储设备上的附件/wiki页面/插件等。数据库为内置Mysql的,业务数据每周六凌晨3点20分执行1次全量备份、每小时执行一次增量备份、默认保留最近180天的备份;数据库为外置的,则业务数据由客户自行备份。审计日志每周六23点执行一次全量备份、每天分别在13点和20点各执行1次增量备份,默认备份保留60天。存储为local的, 附件/wiki页面/插件等每天凌晨2点执行1次全量备份、只保留1份文件;存储为外置OSS或NFS的,则由客户自行确保存储的高可用性、ONES根据不同版本特性来做插件备份。
5.5 数据迁移
(1) 如从Jira和Confluence迁移数据,确保数据盘剩余空间 ≥ Jira/Confluence 附件大小 × 2,同时联系工程师评估服务器资源。
(2) 如从SaaS(ones.cn)迁移至私有部署,需联系 ONES 销售确认 SaaS 入口关停流程,邮件确认迁移计划,确认是否迁移插件数据。
5.6 操作规范
(1) 安装、升级、备份等操作需在 screen 等后台工具中执行,避免远程连接的命令行中断。
(2) 执行数据变更的操作前,请先执行数据备份任务,确保数据备份成功。
6. 风险提示
为了确保ONES系统的稳定运行和最佳性能,ONES对部署环境提出了明确的配置要求,如果提供的资源未能达到这些标准,可能会导致以下风险和问题:
6.1 性能下降
(1) 操作卡顿:CPU/内存/磁盘IO不足导致响应延迟,影响用户体验。
(2) 吞吐量降低:系统并发处理请求能力下降,影响业务进度。
6.2 稳定性问题
(1) 频繁崩溃或重启:资源不足可能引发服务中断或异常重启。
(2) 数据丢失或损坏:存储性能不足可能导致写入失败或文件损坏。
6.3 扩展性受限
(1) 难以应对流量增长:硬件性能不足难以支撑更多用户或数据量。
(2) 升级困难:未来新版本的功能扩展或优化可能因硬件瓶颈无法实施。