如何有效地将 Postgres 数据从 Query 传输到 S3

Posted 2023-03-08

【中文标题】如何有效地将 Postgres 数据从 Query 传输到 S3

【英文标题】：How to transfer Postgres Data from Query to S3 Efficiently

【发布时间】：2020-11-27 22:17:20

【问题描述】：

我的 node.js 应用服务当前使用提供的选择查询访问 postgres，将其转换为 csv，然后将该 CSV 文件上传到 S3。

我想知道是否有更好的方法可以更有效地处理更大的数据拉取？

【参考方案1】：

这应该会让你达到大约 90%。我还没有测试过这个确切的实现，可能有一两个错字，但我现在有类似的代码在生产中运行。

const  Transform  = require('json2csv');
const  Client, Query  = require('pg')
const  S3  = require('aws-sdk');
const  Passthrough  = require('stream')

const client = new Client()
const s3 = new S3( region: 'us-east-1' );


const opts =  fields: ['field1', 'field2', 'field3'] ;
const transformOpts =  highWaterMark: 8192, encoding: 'utf-8', objectMode: true ;

const transform = new Transform(opts, transformOpts);
const passthrough = new Passthrough();
transform.pipe(passthrough)


client.connect()

const query = new Query('SELECT field1, field2, field3 FROM table')
client.query(query)

query.on('row', row => 
  transform.push(row);
  console.log('row!', row) //  field1: 1, field2: 2, field3: 3 
)
query.on('end', () => 
  transform.push(null)
  console.log('query done')
)
query.on('error', err => 
  transform.end();
  console.error(err.stack)
)

s3.upload( Body: passthrough, Key: 'somefile.csv', Bucket: 'some_bucket' )
.send((err, data) => 
  if (err) 
    console.error( err );
    passthrough.destroy(err);
   else 
    console.log(`File uploaded and available at $data.Location`);
    passthrough.destroy();
  
);

【讨论】：

在头脑风暴之后，我最终利用pg-copy-streams 节点包 (github.com/brianc/node-pg-copy-streams) 做了一些非常相似的事情。感谢您的精心回复。