Spark 写入Mysql

Posted Vics异地我就

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark 写入Mysql相关的知识,希望对你有一定的参考价值。

result.foreachPartition(
  it => {
    var url = "jdbc:mysql://地址/库名?characterEncoding=utf8"
    val conn = DriverManager.getConnection(url, "user", "password")
    val pstat = conn.prepareStatement("INSERT IGNORE INTO `表名 (`geo_hash`, `month_sale`, `mark_size`) VALUES (?, ?,?)")
    for (obj <- it) {
      pstat.setString(1, obj._1)
      pstat.setInt(2, obj._2)
      pstat.setInt(3, obj._3)
      pstat.addBatch
    }
    try {
      pstat.executeBatch
    } finally {
      pstat.close
      conn.close
    }
  }
)

以上是关于Spark 写入Mysql的主要内容,如果未能解决你的问题,请参考以下文章

为啥从 Spark 写入 Vertica DB 比从 Spark 写入 MySQL 需要更长的时间?

spark将数据写入mysql的共享表

Spark:将DataFrame写入Mysql

Spark SQL大数据处理并写入Elasticsearch

Spark操作dataFrame进行写入mysql,自定义sql的方式

Spark 写入Mysql