重建索引（索引中间件）
操作步骤
进入 ones-ai-k8s 操作终端
ones-ai-k8s.sh
修改配置
vi config/private.yaml
# 如下两个数字，改成跟上一次不一样的值即可；如果没有这些配置项，手工添加即可
kilobSyncSchemaHash: "2"
kilobForceSnapshotVersion: "2"
kilobForceSnapshotAll: "true"
应用配置
make setup-ones
查看进度
kubectl logs -n ones -l app=kilob-sync --tail=200 -f
影响说明
在索引重建期间，系统会逐步创建全新的索引结构。该过程采用增量式处理，数据会按批次被重新分析并加入新索引。
因此，在重建过程中：
初期阶段：新索引仅包含部分数据，搜索功能可能返回不完整的结果
中期阶段：随着处理进度推进，可检索数据量将持续增加
完成阶段：当100%数据被重新索引后，搜索功能将完全恢复正常
验证
- 查看 ONES 负责人，筛选器，文档查询功能是否正常
索引数据对比
对比索引中的数据和数据库中的数据是否一致，一般重建后可以不用执行此步骤，但以下三种情况建议执行：
- 从 Docker 迁移到 K3s 完成数据导入后；
- 迁移了服务器环境；
- 从 SaaS 迁移到私有云环境。
如果客户数据量较大（task >= 200w 或 wiki 页面 >= 200w），谨慎执行此操作。
ONES 版本大于或等于 v6.1.86 或 v6.2.19 以上可以如下操作。
ones-ai-k8s.sh
make print-kilob-index
结果类似如下：
是否重建完成: 【是】
———————————————————————————————————————————————————————————————————————
| Team/Organization Table MySQL TiKV Status |
———————————————————————————————————————————————————————————————————————
| BiUhudNp org_user 7 7 ✅ |
———————————————————————————————————————————————————————————————————————
| E4K7fDQs task 49 49 ✅ |
| E4K7fDQs project 2 2 ✅ |
| E4K7fDQs product 0 0 ✅ |
| E4K7fDQs sprint 4 4 ✅ |
| E4K7fDQs testcase_library 1 1 ✅ |
| E4K7fDQs testcase_case 2 2 ✅ |
| E4K7fDQs testcase_plan 1 1 ✅ |
| E4K7fDQs space 1 1 ✅ |
| E4K7fDQs page 21 21 ✅ |
———————————————————————————————————————————————————————————————————————
其它版本（至少 v3.14）可以用如下操作：
curl -O https://res.ones.pro/script/kilob-cli
# curl -L https://res.ones.pro/script/kilob-cli-arm64 -o kilob-cli
chmod +x kilob-cli
kubectl -n ones cp kilob-cli $(kubectl -n ones get pod -l app=ones-tools -o jsonpath='{.items[0].metadata.name}'):/
kubectl -n ones exec $(kubectl -n ones get pod -l app=ones-tools -o jsonpath='{.items[0].metadata.name}') -c ones-tools -- /kilob-cli print_index --addr advanced-tidb-pd:2379 --db $(grep mysqlHost /data/ones/ones-installer-pkg/config/private.yaml | awk '{print $2}'):3306 --db_user ones --db_password $(grep mysqlPassword /data/ones/ones-installer-pkg/config/private.yaml | awk '{print $2}')
FAQ
1. 全量重建过程中，cdc报错
重建过程中，kafka-cdc-connect 这个pod出现异常报错，则可考虑彻底删除kafka数据并重建的方式
# 6.21以下版本，参考如下操作，该操作同时会触发索引重建。
kubectl -n ones scale deploy kafka-cdc-connect-deployment --replicas=0
kubectl -n ones scale deploy kilob-sync-deployment --replicas=0
kubectl -n ones scale deploy binlog-event-sync-deployment --replicas=0
kubectl -n ones scale deploy ones-bi-sync-etl-deployment --replicas=0
kubectl -n ones exec kafka-ha-0 -- /opt/bitnami/kafka/bin/kafka-topics.sh --delete --topic ones-cdc.* --bootstrap-server localhost:9092
kubectl -n ones exec kafka-ha-0 -- /opt/bitnami/kafka/bin/kafka-topics.sh --delete --topic cdc_connect.* --bootstrap-server localhost:9092
kubectl -n ones scale deploy kafka-cdc-connect-deployment --replicas=1
kubectl -n ones scale deploy kilob-sync-deployment --replicas=1
kubectl -n ones scale deploy binlog-event-sync-deployment --replicas=1
kubectl -n ones scale deploy ones-bi-sync-etl-deployment --replicas=1
# 6.21及以上版本，执行如下命令即可
make rebuild-cdc
2. 全量重建过程中，mysqldump报错
# 报错样例如下：
1、mysqldump: Error 3024: Query execution was interrupted, maximum statement execution time exceeded when dumping table "field _value" at row: 26858769
2、mysqldump: Error 2013: Lost connection to MyQL server during query when dumping table`task`at row; 1545674
# 报错原因是 某些表太大，mysqldump导出时超时，需要调整默认mysql参数
# 进入mysql，调整如下参数，建议值如下
interactive_timeout=86400
wait_timeout = 86400
max_execution_time=0
net_write_timeout=3600
net_read_timeout=3600
max_allowed_packet=5368709120
调整方式如下图，请先保存旧值、重建之后还原。
3.全量重建过程中, kilob/cdc/canal等模块OOM
# 进入容器，调整如下内存限制，建议值如下，可根据当前内存情况调整
ones-ai-k8s.sh
vi config/private.yaml
#V3版本如下参数
onesCanalMemoryLimit: "4Gi"
onesBISyncCanalMemoryLimit: "4Gi"
kilobSyncMemoryLimit: "16Gi"
#v6以上版本如下参数，canal模块改为cdc模块
kilobSyncMemoryLimit: "16Gi"
kafkaCdcConnectMemoryLimit: "16Gi"
make setup-ones