替换Hive表中所有列的字符

Posted 2021-04-05

我需要在我的Hive表中的所有列上执行正则表达式替换功能。有没有办法在不调出每列的情况下对所有列执行操作？

答案

使用regexp_replace。以下是Hive REGEXP_REPLACE函数的语法。 regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT);

另一答案

    val col : DataFrame = hiveContext.sql("show columns in dbname.table_name")
    val arry  = col.collectAsList().toArray

    def regexpReplace(x: AnyRef): String =
    return "select regexp_replace(" + x + ",[^0-9a-zA-Z]," + "' ')  from dbname.tbl_name"

  for(  col <- arry)
    {
      val res = regexpReplace(col.toString.substring(1,x.toString.length-1))
      sqlContext.sql(res)
    }