【实战】调整Splunk数据模型保存路径

环境

Splunk Indexer 集群
CentOS 7 操作系统

问题背景

在做POC项目时候，在搜索头上运行搜索任务突然提示报错：“splunk node2 index 服务异常停止，不能进行搜索，node3 index停止搜索任务”

排查过程

1. index node2节点上/opt目录(splunk安装目录)磁盘使用率高达100%，导致node2 节点上的splunk服务异常停止。
2. index node3节点上/opt目录(splunk安装目录)可用磁盘空间小于5Gb，Splunk 默认配置当Splunk安装路径可用磁盘空间低于5Gb时会停止索引(及保存数据/停止搜索任务)。
3. 再次排查发现 index node2和index node3的/opt/splunk/var/lib/splunk默认数据保存目录磁盘使用量非常高，由此确定数据模型的数据文件保存在/opt/splunk/var/lib/splunk/$index_name/datamodel_summary目录中，导致Splunk 服务异常停止。
4. 需要指定将数据模型文件保存至/data目录下。

解决方法

数据模型默认保存路径

默认保存路径：$SPLUNK_DB/$INDEX_NAME/datamodel_summary
/opt/splunk/var/lib/splunk/index_name/datamodel_summary

自定义保存路径：/data/splunk_db/index_name/datamodel_summary
由于是POC测试环境，可以重建数据模型，选择删除创建好的数据模型文件

编辑Master节点上的indexes.conf配置文件

[volume:splunk_datamodel]
path = /data/splunk_db/ 
# 设置全局index 数据模型保存路径

[applog]
tstatsHomePath = volume:splunk_datamodel/applog/datamodel_summary
# 设置applog index数据模型保存的位置
coldPath = $SPLUNK_DB/applog/colddb
enableDataIntegrityControl = 0
enableTsidxReduction = 0
homePath = $SPLUNK_DB/applog/db
maxTotalDataSizeMB = 512000
thawedPath = $SPLUNK_DB/applog/thaweddb

在Master节点上面推送更改后的配置文件使index节点重新加载修改后的配置文件

设置 > 索引器集群化 > 编辑 > 配置软件包操作 > 推送

删除/opt/splunk/var/lib/splunk/目录下的数据文件

cd /opt/splunk/var/lib/splunk/applog/datamodel_summary
rm -rf *

数据模型进行加速

设置 > 数据模型 > 数据模型名称 > 编辑 > 编辑加速

参考链接：
https://community.splunk.com/t5/Reporting/How-can-I-change-the-location-of-accelerated-data-model-summary/m-p/174138