通过Dataflow管道写入Cloud SQL非常慢

Posted 2021-05-01

我设法通过JDBCIO连接到云sql

DataSourceConfiguration.create（ “com.mysql.jdbc.Driver”， “JDBC：MySQL的：//谷歌/ cloudSqlInstance = ::＆的SocketFactory = com.google.cloud.sql.mysql.SocketFactory＆用户=＆密码=”）

但这样做，批量写入需要2-5分钟才能完成1000条记录，这很糟糕。我尝试过不同的网络，看看这是否相关，结果是一致的。

有人有主意吗？

答案

你在哪里初始化这个连接？如果你在DoFn中执行此操作，则会在每个捆绑包上构建和拆除套接字时产生延迟。

看看DoFn.Setup，它为init资源提供了一种干净的方式，这些资源将在bundle调用中持久存在。