开启/关闭可观测性系统(新)

为便于后续排查故障、定位问题，请在正式上线使用前开启可观测。

一、前置约束

适用版本：ONES版本 >= 6.5.0 || 6.1 LTS >= 6.1.94

二、开启可观测性系统

1.修改配置

执行下面命令进入运行中的 ones 容器

ones-ai-k8s.sh

修改 config/private.yaml 配置文件

# 添加如下配置
onesTelemetryExportEndpoint: "https://hybridcloud.ones.cn/telemetry/otlp/"
onesTelemetryExportLogEnabled: true
otlpExportGrpcAddr: "otlp-collector-service.ones-telemetry:4317"
grafanaLocalNodePort: "31380"

# 默认登录访问 http://IP:31380 grafana页面无法账号密码，如需安全配置，请再添加如下2个配置
grafanaLocalBasicAuthUser: "" # example: "admin"; Grafana BasicAuth username. 
grafanaLocalBasicAuthPassword: "" # example: "sToIgoAV4m2ho"; for password admin run:  openssl passwd -6 admin

2.卸载旧组件（仅升级场景）

从 6.5.0 或 LTS 6.1.94 版本以下升级上来的环境，需要先卸载旧组件：

make delete-ones-logging RETAIN_DATA=false
make delete-monitoring-system RETAIN_DATA=false
make delete-prometheus RETAIN_DATA=false
make delete-fluent-bit RETAIN_DATA=false
make delete-ones-alert RETAIN_DATA=false
# 若集群使用本地存储，且无需保留监控数据，可以执行下面命令删除数据
# 默认 ONES 数据目录是 /data/ones
rm -r /data/ones/ones-local-storage/ones-logging/ones-logging
rm -r /data/ones/ones-local-storage/others-static-pvc/monitoring-system

3. 安装可观测性系统

make setup-ones-telemetry
make setup-ones

三、功能验证与信息采集

1. 页面访问

访问 http://IP:31380 grafana页面可看到监控数据； 分析故障时，可截图故障点的监控信息、提供给 ONES 工程师

2.日志生成与获取

在如下目录看到新的日志：

# 本地存储模式下默认 ONES 数据目录是 /data/ones
cd /data/ones/ones-local-storage/ones-logging/ones-telemetry/data-volume-ones-logging-statefulset-0/logs/

# 分析故障时，可打包该文件、提供给 ONES 工程师 
tar cvf  "/tmp/logs-$(hostname)-$(date '+%Y%m%d').tar" ./
# 生成的离线压缩文件在 `/tmp/` 目录下，例如 `/tmp/logs-test1-20241008.tar`
# 

3. 诊断文件生成与获取

页面操作后，可在如下目录看到新的离线诊断文件：

# 本地存储模式下默认 ONES 数据目录是 /data/ones
cd /data/ones/ones-local-storage/otlp-collector/ones-telemetry/data-volume-otlp-collector-statefulset-0/files

# 分析故障时，可打包该文件、提供给 ONES 工程师 
tar cvf  "/tmp/telemetry-$(hostname)-$(date '+%Y%m%d').tar" ./
# 生成的离线压缩文件在 `/tmp/` 目录下，例如 `/tmp/telemetry-test1-20241008.tar`

四、可观测性系统访问端口配置

1、修改监控访问端口

ONES 可观测性系统默认开启指标监控。通过配置 grafanaLocalNodePort 控制监控页面的访问端口。

修改 config/private.yaml 配置文件

grafanaLocalNodePort: "31380"

执行命令应用配置

make setup-ones-telemetry

使用 ONES 服务的 ip + grafanaLocalNodePort 访问 grafana 控制台。

2、关闭监控访问

修改 config/private.yaml 配置文件

# 注释如下配置
# grafanaLocalNodePort: "31380"

执行命令应用配置

make setup-ones-telemetry

五、配置告警通知

1、配置开启alertmanager监控告警

下面示范使用企业微信群Bot告警机器人功能

修改 config/private.yaml 配置文件

# 以下分别创建两组 receivers，其中Critical设置两组webhook接收地址
# 发送集群内企业微信Bot WebhookService服务，由服务转发告警至企业微信Bot
# 将P0-P1级别告警分别发送:Critical receivers
# 将P2-P3级别告警分别发送:Default receivers
# 添加如下配置
enableAlertWechatRobot: true # 打开集群内企业微信告警机器人功能，由服务转发到企业微信Bot

alertmanagerConfig: |
  "global":
    "resolve_timeout": "1m"
  "inhibit_rules":
  - "equal":
    - "namespace"
    - "alertname"
    "source_match":
      "severity": "critical"
    "target_match_re":
      "severity": "warning|info"
  - "equal":
    - "namespace"
    - "alertname"
    "source_match":
      "severity": "warning"
    "target_match_re":
      "severity": "info"
  "receivers":
  - "name": "Default"
    "webhook_configs":
    - "url": "http://otlp-collector-service:8129/alerts"
      "send_resolved": true
    - "url": "http://wechatrobot-svc:13100/webhook?key=这里填写企微Bot Webhook Key"
      "send_resolved": true
  - "name": "Watchdog"
  - "name": "Critical"
    "webhook_configs":
    - "url": "http://otlp-collector-service:8129/alerts"
      "send_resolved": true
    - "url": "http://wechatrobot-svc:13100/webhook?key=这里填写企微Bot Webhook Key"
      "send_resolved": true
  "route":
    "group_by":
    - "namespace"
    "group_interval": "1m"
    "group_wait": "30s"
    "receiver": "Default"
    "repeat_interval": "12h"
    "routes":
    - "match":
        "alertname": "Watchdog"
      "receiver": "Watchdog"
    - "match":
        "priority": "P0"
      "receiver": "Critical"
      "repeat_interval": "10m"
    - "match":
        "priority": "P1"
      "receiver": "Critical"
      "repeat_interval": "30m"
    - "match":
        "priority": "P2"
      "receiver": "Critical"
      "repeat_interval": "2h"
  "templates":
  - "/etc/alertmanager/config/default.tmpl"

2、应用配置

make setup-ones-telemetry

更多告警接收器配置方案，请参考 Alertmanager官方配置文档。

六、卸载可观测性系统

进入运行中的 ones 容器

ones-ai-k8s.sh

修改 config/private.yaml 配置文件，注释或删除上述新增配置。

执行如下命令，关闭可观测性系统并删除数据

make setup-ones # 应用配置
make delete-ones-telemetry RETAIN_DATA=false # 卸载可观测性系统

七、配置参数说明

配置项	类型	示例	描述
onesTelemetryLoggingEnabled	bool	true	是否记录日志到本地，默认开启
grafanaLocalNodePort"	number	31380	grafana 监控页面访问端口
alertmanagerConfig	复合结构	参考文档模版	alertmanager告警配置
otlpExportGrpcAddr	string	otlp-collector-service.ones-telemetry:4317	otlp 服务地址，配置后会开启链路追踪，识别并采集有报错的链路
onesTelemetryExportEndpoint	string	https://hybridcloud.ones.cn/telemetry/otlp/	混合云 otlp 服务地址，配置后会上报监控数据到 ONES 混合云
onesTelemetryExportLogEnabled	bool	false	是否上报报错链路日志到 ONES 混合云，默认关闭
onesTelemetryLoggingLogFileMaxAge	int	7	本地日志文件最长保存天数，默认7天
onesTelemetryLoggingLogTotalMaxSize	int	4096	本地日志文件最大大小，默认4096M
onesTelemetryLoggingLogDiskIOTimeThreshold	int	90	本地日志默认在磁盘IO时间高于90%时停止写入，低配环境遇到该负载限制无法写日志时可调整为200
onesTelemetryFluentElasticsearchEnabled	bool	false	是否开启日志输出到 elasticsearch，默认关闭
onesTelemetryFluentCustomOutputConfigurations	string		自定义日志输出配置