logstash 对配置文件conf敏感信息，密码等加密

Posted 2021-03-22 sanduzxcvbnm

logstash的配置文件conf经常会涉及敏感信息，比如ES，mysql的账户密码等，以下使用logstash导入mysql为例子，加密隐藏mysql的密码。

在向keystore中添加key及其secret值之后，你可以在配置敏感设置时使用key代替secret值。
引用key的语法与环境变量的语法相同：${KEY}，KEY是key的名称。
例如，假设keystore包含一个名为ES_PWD的key，其值为yourelasticsearchpassword：

在配置文件中使用：output { elasticsearch {...password => "${ES_PWD}" } } }
在logstash.yml中使用：xpack.management.elasticsearch.password: ${ES_PWD}

注意，Logstash keystore与Elasticsearch keystore不同，虽然Elasticsearch keystore允许你按名称存储elasticsearch.yml值，但是Logstash keystore允许你指定可在Logstash配置中引用的任意名称。

当前不支持从pipelines.yml或命令行（-e）引用keystore数据。
从集中式管道管理引用keystore数据需要每个Logstash部署都有keystore的本地副本。

当Logstash解析设置（Logstash.yml）或配置（/etc/logstash/conf.d/*.conf）时，它会在解析环境变量之前解析keystore中的key。

keystore密码

你可以通过在名为LOGSTASH_KEYSTORE_PASS的环境变量中存储密码来保护对Logstash keystore的访问，如果在设置此变量后创建Logstash keystore，它将受到密码保护。这意味着环境变量需要被正在运行的Logstash实例访问，这个环境变量还必须为需要发出keystore命令（添加、列表、删除等）的任何用户正确设置。

建议使用keystore密码，但这是可选的，即使你没有设置密码，数据也会被加密。但是，强烈建议配置keystore密码并对任何可能包含环境变量值的文件授予限制性权限，如果你选择不设置密码，那么你可以跳过本节的其余部分。

set +o history
export LOGSTASH_KEYSTORE_PASS=mypassword
set -o history
bin/logstash-keystore create

这个设置要求运行Logstash的用户定义环境变量LOGSTASH_KEYSTORE_PASS=mypassword，如果没有定义环境变量，Logstash就无法访问keystore。

当你从RPM或DEB包安装中运行Logstash时，环境变量来自/etc/sysconfig/logstash。

你可能需要创建/etc/sysconfig/logstash，这个文件应该由具有600权限的root用户拥有，/etc/sysconfig/logstash的格式应该是ENVIRONMENT_VARIABLE=VALUE，每行一个条目。

keystore位置

keystore必须位于Logstash的path.settings目录，这是包含logstash.yml文件的同一个目录。在对keystore执行任何操作时，建议为keystore命令设置path.settings，例如，在RPM/DEB安装上创建keystore ：

set +o history
export LOGSTASH_KEYSTORE_PASS=mypassword
set -o history
sudo -E /usr/share/logstash/bin/logstash-keystore --path.settings /etc/logstash create

如果path.settings没有指向与logstash.yml相同的目录，你将看到一个警告。

创建keystore
要创建keystore，请使用create：
bin/logstash-keystore create

在path.settings配置设置中定义的目录中创建密钥存储库。
建议在创建keystore时设置keystore密码。

添加key
要存储敏感值，比如Elasticsearch的身份验证凭证，可以使用add命令：
bin/logstash-keystore add ES_PWD
当提示时，为key输入一个值。

key列表
要列出在keystore中定义的key，请使用：
bin/logstash-keystore list

移除key
要从keystore中移除key，请使用：
bin/logstash-keystore remove ES_PWD

先创建keystore，可以不设置keystore密码,直接选择y

bin/logstash-keystore create

conf目录下会出现logstash.keystore

创建你要加密的变量key,例如这里添加mysql的密码变量 MYSQL_PWD

bin/logstash-keystore add MYSQL_PWD

然后输入要添加的密码即可

logstash-keystore的其它命令

bin/logstash-keystore list #查看添加了哪些变量key
bin/logstash-keystore remove MYSQL_PWD #删除变量key
bin/logstash-keystore -h #查看帮助

使用这些已经加密的变量key

output
{
    jdbc
    {
        driver_jar_path => "/home/logstash-6.5.4/vendor/jar/jdbc/mysql-connector-java-5.1.47-bin.jar"
        driver_class => "com.mysql.jdbc.Driver"
        connection_string => "jdbc:mysql://10.43.212.46:3306/logstash?user=root&password=${MYSQL_PWD}"
        statement => [ "INSERT INTO test (name,age) VALUES(?,?)", "name","age"]
    }
}

汇总

logstash的配置文件中保存的有es，mysql等等的连接使用的明文密码，可以通过设置变量的方式来代替，确保安全。另外，设置变量这个操作也可以通过设置一个密码来进行，也就是说，只有验证的这个密码通过后才能设置需要使用的这些变量信息

设置这个访问变量的密码

set +o history
export LOGSTASH_KEYSTORE_PASS=mypassword 
set -o history

设置变量

./bin/logstash-keystore create
./bin/logstash-keystore add ES_USER
./bin/logstash-keystore add ES_PWD

使用这些变量

# 格式：${变量名}
...

output {
  elasticsearch {
    hosts => "localhost:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    user => "${ES_USER}"
    password => "${ES_PWD}"
  }
}

其他操作

# 添加变量
bin/logstash-keystore add ES_PWD
# 查看变量列表
bin/logstash-keystore list
# 移除变量
bin/logstash-keystore remove ES_PWD