来自 jdbc 输入的 logstash 总和值

Posted

技术标签:

【中文标题】来自 jdbc 输入的 logstash 总和值【英文标题】:logstash sum values from jdbc input 【发布时间】:2019-03-15 14:02:04 【问题描述】:

我是 logstash 的新手,我正在尝试将数据库中两列的值相加并生成一个新指标。

我已经用尽了所有的选择。

这是我的 conf 文件。我正在创建的新变量是“tod_ped” 我创建了另一个变量来尝试了解“TOT_PROD”的值是什么,该变量是“valor”。

我试图求和的两个列是“TOT_PROD”和“TOT_SERV”。

input 
  jdbc 
    jdbc_driver_library => "jtds-1.3.1.jar"
    jdbc_driver_class => "Java::net.sourceforge.jtds.jdbc.Driver"
    jdbc_connection_string => "jdbc:jtds:sqlserver://xxxxxx:1433/dbPHXPSS"
    jdbc_user => "readonly"
    jdbc_password => "xxxxx"
    statement => "SELECT [NVENDA]
              ,[CPROJETO]
              ,[TECNOLOGIA]
              ,[PREVISAO]
              ,[APROVACAO]
              ,[STATUS]
              ,[CLIENTE]
              ,[TITULO]
              ,[TOT_PROD]
              ,[TOT_SERV]
              ,[QTD_H_FE]
              ,[QTD_H_SE]
              ,[QTD_H_PM]
              ,[QTD_H_DES]
              ,[TOT_DESPESA]
              ,[VENDEDOR]
        ,[TIPO_SOLICITACAO]
        ,[TECNOLOGIAPROJ]
          FROM [dbPHXPSS].[dbo].[VW_PROVISAOPROJETOS]
  where QTD_H_PM IS NOT NULL"


filter 

   ruby 
        code =>"

        hash = event.to_hash
        hash.each do |k,v|
                if v == nil
                        event.set(k,'0')
                end
                if k == 'TOT_PROD'
                        event.set(teste, v)
                end
        end
     # testing the content from de varible 'TOT_PROD'
     event.set('valor', event.get('teste'))
        "
        

 mutate 
        convert => ["TOT_PROD","float_eu"]
  

ruby 
        code =>"
        # adding the values to 'tot_ped'
        event.set('tot_ped', (event.get('TOT_PROD').to_f + event.get('TOT_SERV').to_f ))
        "
        

output 
        elasticsearch 
                hosts => "localhost"
                index => "phoenix"
                document_type => "phxdb"
    
        stdout 

这是从logstash返回的代码。 我注意到的是变量“tot_ped”没有添加值,而测试变量将“TOT_PROD”的值返回为 nil。


            "@version" => "1",
             "cliente" => "OAB SP                        ",
            "vendedor" => "Sxxxxxxxx",
              "status" => "MEDIA",
    "tipo_solicitacao" => "0",
           "aprovacao" => "0",
            "tot_serv" => 0.0,
            "cprojeto" => "0",
            "qtd_h_se" => 132.0,
            "qtd_h_pm" => 24.0,
               "valor" => nil,
             "tot_ped" => 0.0,
           "qtd_h_des" => "0",
          "@timestamp" => 2019-03-15T13:42:15.243Z,
           "tot_prod" => 134133.7195,
         "tot_despesa" => "0",
              "titulo" => "Projeto Wifi",
            "previsao" => "0",
          "tecnologia" => "VSF",
      "tecnologiaproj" => "0",
            "qtd_h_fe" => 56.0,
              "nvenda" => 20361.0

谢谢你。

【问题讨论】:

有人有什么想法吗? 【参考方案1】:

我修好了! 问题是我在变量名上使用了大写字母,我只是改成了小写,然后就可以了!

ruby 
    code =>"
    event.set('tot_ped', ((event.get('tot_prod').to_f * 2.25) + event.get('tot_serv').to_f ))
    "
    

【讨论】:

以上是关于来自 jdbc 输入的 logstash 总和值的主要内容,如果未能解决你的问题,请参考以下文章

Logstash input输入 jdbc插件

来自具有相同类名的段落的输入或字符串的值总和始终显示“0”

logstash 安装 jdbc-output出错

Logstash JDBC输入插件执行失败并显示错误:第9行第60列中的#,{,}中的一个

Logstash/Elasticsearch JDBC document_id vs document_type?

Logstash 2.3.4如何使用logstash-jdbc插件在Elasticsearch中加载嵌套文档