Spark 写入Mysql
Posted Vics异地我就
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark 写入Mysql相关的知识,希望对你有一定的参考价值。
result.foreachPartition(
it => {
var url = "jdbc:mysql://地址/库名?characterEncoding=utf8"
val conn = DriverManager.getConnection(url, "user", "password")
val pstat = conn.prepareStatement("INSERT IGNORE INTO `表名 (`geo_hash`, `month_sale`, `mark_size`) VALUES (?, ?,?)")
for (obj <- it) {
pstat.setString(1, obj._1)
pstat.setInt(2, obj._2)
pstat.setInt(3, obj._3)
pstat.addBatch
}
try {
pstat.executeBatch
} finally {
pstat.close
conn.close
}
}
)
以上是关于Spark 写入Mysql的主要内容,如果未能解决你的问题,请参考以下文章
为啥从 Spark 写入 Vertica DB 比从 Spark 写入 MySQL 需要更长的时间?
Spark SQL大数据处理并写入Elasticsearch