Spark 写入Mysql

Posted Vics异地我就

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark 写入Mysql相关的知识,希望对你有一定的参考价值。

result.foreachPartition(
  it => 
    var url = "jdbc:mysql://地址/库名?characterEncoding=utf8"
    val conn = DriverManager.getConnection(url, "user", "password")
    val pstat = conn.prepareStatement("INSERT IGNORE INTO `表名 (`geo_hash`, `month_sale`, `mark_size`) VALUES (?, ?,?)")
    for (obj <- it) 
      pstat.setString(1, obj._1)
      pstat.setInt(2, obj._2)
      pstat.setInt(3, obj._3)
      pstat.addBatch
    
    try 
      pstat.executeBatch
     finally 
      pstat.close
      conn.close
    
  
)

以上是关于Spark 写入Mysql的主要内容,如果未能解决你的问题,请参考以下文章

Spark:将DataFrame写入Mysql

Spark将计算结果写入到Mysql中

Spark操作dataFrame进行写入mysql,自定义sql的方式

Spark 写入Mysql

Spark 写入Mysql

Spark 写入Mysql