分布式架构下splunk如何进行数据输入

Posted 2023-03-28

参考技术A 问题：现在在一个公司里面，有1,2,3,三台电脑作为搜索头，4,5,6,7,8五台电脑作为索引器，9作为cluster master管理集群，10作为deployment server 管理转发器，请问应该怎样去导入数据？假设现在数据存放在电脑108中。

1、确定测试用 索引 。首先，确定自己的分布式架构下在deployment server 下面已经建立了测试用索引，以便于进行数据测试。若不清楚是否拥有此索引，可直接询问管理员。（若无此索引，请尽量新建一新索引作为测试用索引）

2、判断数据所用的来源类型可以正确解析数据，若无此来源类型，应选择合适配置并新建来源类型。（若所选来源类型可以正确解析数据，则直接跳过下面的 新建来源类型 步骤）

（1）点击 添加数据

（2）点击 上载

（3）选择合适的 来源类型。 在此处配置，直到自己所用配置可以正确解析为止。若无法正确解析，请询问管理员如何进行配置，或查阅ADMIN文档中props.conf一节 。

3、新建 来源类型 。在deployment server新建来源类型，以求对数据获得正确的导入格式。

（1）在 设置 中找到 来源类型

（2）点击 新建来源类型 。请注意在此步之前是否已确定数据导入进来时断行等数据解析是否正确，若未判断，应先将数据导入并选择合适的设置，以求数据正确解析。

（3）选择合适的配置。然后保存，请再次确定此时保存的来源类型可以正确解析数据。确定方法与第二步相同。

4、建立新远程文件或目录，以监控数据路径。

（1）点击 设置 中 数据输入

（2）在 转发的输 入中选择合适的数据类型

（3）点击新远程文件和目录。

（4）请选择存放数据的转发器，即 可用主机 。选择服务器类为 新建 ， 新建服务器类名称 。（请注意，现在所有的操作过程均为测试过程，此过程做完后显示数据正常进入之后，再在正式的索引中导入数据，重复在此测试过程中的所有操作即可，在正式导入数据时请确定是否需要新建服务器类，若不清楚，可直接询问管理员。）

（5）请填写所要监控的 文件或文件目录 ，请注意，此时无法进行选择，因为数据来自于远方计算机，即存放数据的转发器108中的文件或目录路径。例如：/var/log/syslog。

（6）点击 选择 ，选择自己之前已经确定过可以正确解析数据的 来源类型 。选择 测试用索引 （若测试正确，则再次经过此步骤时选择正式索引）

（7）单击 检查 。单击 完成。

5、此时到deployment server 下面去下发配置文件props。现在进入/opt/splunk/etc/deployment-apps/路径，则可以看到刚才新建的服务器类所形成的默认应用。

（1）进入/opt/splunk/etc/deployment-apps/路径

（2）进入 应用 。进入 local。 编写 props.conf 文件。其中写入编码格式，二进制等设置。若不知道正确配置可直接去第2步 复制剪贴板， 直接粘贴进去 。（请注意，此时你的来源类型为新建的时才需要编写此处以及之后的步骤，若系统自带的来源类型已经满足你的需求，则不需要再在此处编写此文件，一旦编写，反而有可能覆盖系统自带的配置文件。）

（3）回到/opt/splunk/bin目录,输入./splunk reload deploy-server将配置文件下发至forwarder108中。

6、进入cluster master后台，去编写cluster下的props.conf文件，路径为/opt/splunk/etc/master-apps/。在此路径下若只有一个文件夹_cluster，则直接编辑即可。若有两个以上文件夹，应询问管理员在哪个文件夹下进行编辑。编辑方式与deployment server 下的编辑一样，只不过配置的参数不同。若不知应该配置哪些参数，则到第2步复制配置参数 复制剪贴板， 直接复制粘贴即可。

7、向所有indexer下发对应来源类型的配置参数。在cluster master的web界面进行操作。

（1）点击 设置 中 索引器群集化。

(2)点击 配置软件包操作

（3）点击推送，也有可能为Push,具体看自己的即可。此时所有操作均已完成。在搜索头中进行搜索即可。