greenplum gpload:配置 YML 文件错误

Posted

技术标签:

【中文标题】greenplum gpload:配置 YML 文件错误【英文标题】:greenplum gpload : configuration YML file error 【发布时间】:2017-02-25 11:34:30 【问题描述】:

当我尝试在 greenplum 中执行 gpload 时,遇到了错误。

输入指令:

[gpadmin@mdw ~]$ gpload -f test.yml

我得到的错误

2017-02-25 11:19:13|ERROR|configuration file error: expected <block end>, but found '?', line 9

配置 YAML 文件内容:

VERSION: 1.0.0.1 
DATABASE: gpadmin
USER: gpadmin
HOST: gpdbsne
PORT: 5432
GPLOAD:
   INPUT:
    - SOURCE:
    LOCAL_HOSTNAME:
      - gpdbsne
    PORT: 8999
    FILE:
      - /home/gpadmin/testfile.txt
    - FORMAT: text 
    - DELIMITER: '|'
    - QUOTE: '"'
    - COLUMNS:
       - col1: text
       - col2: text
       - col3: text
       - col4: text
       - col5: text
   OUTPUT:
     - TABLE: public.test
     - MODE: insert 
     - MAPPING:
           col1: col1
           col2: col2

【问题讨论】:

【参考方案1】:

我是否正确理解数据结构是:INPUT - SOURCE - LOCAL_HOSTNAME ? 如果是这样,请在 SOURCE: Item 之后添加两个空格。 -- 根据评论编辑。 呈现格式的 yml 配置高度依赖于表格。 因此,工作配置可能如下所示:

VERSION: 1.0.0.1 
DATABASE: gpadmin
USER: gpadmin
HOST: gpdbsne
PORT: 5432
GPLOAD:
  - INPUT:
    - SOURCE:
      LOCAL_HOSTNAME: gpdbsne
      PORT: 8999
      FILE: /home/gpadmin/testfile.txt
    - FORMAT: text 
    - DELIMITER: '|'
    - QUOTE: '"'
    - COLUMNS:
      - col1: text
      - col2: text
      - col3: text
      - col4: text
      - col5: text
  - OUTPUT:
    - TABLE: public.test
    - MODE: insert 
    - MAPPING:
      - col1: col1
      - col2: col2

【讨论】:

能否请您提供 json 或任何其他数据模型表示?我会在 yml config 中为你生成它。 谢谢我刚刚重新检查。这是工作 。目前,得到这个 2017-02-25 18:34:24|ERROR|unexpected key: "local_hostname" yml 配置风格总是很无聊。首先拥有数据模型并了解有 3 种类型的值非常重要:单值、键值和列表。所有这些都可以通过制表方式混合。 谢谢你,我申请并开始了只有我面对这个paste.ofcode.org/F3qq57WrFjbUAe2nNLgcKN 让我们continue this discussion in chat.

以上是关于greenplum gpload:配置 YML 文件错误的主要内容,如果未能解决你的问题,请参考以下文章

Pivotal greenplum - talend 的 gpload 问题

greenplum 中的 gpload 实用程序

gpfdist vs gpload greenplum

GreenPlum 使用gpload通过gpfdist文件实现数据高速加载

Greenplum gpload - 最后一个错误:最后一个预期列之后的额外数据

发生 gpload 控制文件处理错误。条目必须是 YAML 序列