自动创建表并从 json 文件插入数据

Posted 2023-03-28

【中文标题】自动创建表并从 json 文件插入数据

【英文标题】：Automatically creating a table and inserting data from json file

【发布时间】：2015-11-16 01:48:28

【问题描述】：

我有将近 50 个 json 文件。我想基于这些文件创建 Postgres 数据库。每个文件包含一个表的数据。文件不是很大（最多几千条记录）。来自customers.json的示例数据（其实字段更多，我已经简化了）：

[ 
    
    "Id": 55948,
    "FullName": "Full name #1",
    "Address": "Address #1",
    "Turnover": 120400.5,
    "DateOfRegistration": "2014-02-13",
    "LastModifiedAt": "2015-11-03 12:04:44" ,
    
    "Id": 55949,
    "FullName": "Full name %2",
    "Address": "Address #2",
    "Turnover": 120000.0,
    "DateOfRegistration": "2012-12-01",
    "LastModifiedAt": "2015-11-04 17:14:21" 
]

我尝试编写一个函数来创建一个表并将所有数据插入其中。我的尝试是基于使用 EXECUTE 的动态查询：

CREATE OR REPLACE FUNCTION import_json(table_name text, data json)
RETURNS VOID AS $$
DECLARE
    query text;
    colname text;
BEGIN
    query := 'CREATE TABLE ' || table_name || ' (';
    FOR colname IN SELECT json_object_keys(data->0)
    LOOP query := query || lower(colname) || ' text,';
    END LOOP;
    query := rtrim(query, ',') || ');';
    EXECUTE(query);
END $$ LANGUAGE plpgsql;

我的函数创建了一个具有预期列名的表，但所有列都是文本类型。问题是我不知道如何定义正确的列类型。

json 文件格式正确，包含整数、数字、日期、时间戳和文本值。我想拿到桌子：

CREATE TABLE customers (
  id integer, 
  fullname text, 
  address text, 
  turnover numeric, 
  date_of_registration date, 
  last_modified_at timestamp);

主要问题：如何识别生成表中的列类型？

此外，有没有一种简单的方法可以将 Pascal 转换为下划线表示法（“DateOfRegistration” -> “date_of_registration”）？

【问题讨论】：

您反对只使用 plpgsql 还是外部语言可以。您是否还有定义列类型的表的架构，或者您是否试图从字段名称推断它，IE 字段名称以设置为日期的“日期”开头，字段名称是 id，然后是整数？

半相关提示：在动态 SQL 中使用format 和%I 而不是使用|| 连接。无论如何，我个人会用 Python 或其他东西来完成这项工作。

如果你愿意使用 python，那么这是可行的，没有太多麻烦。提示您的主要问题：Use a json schema generator 找出目标表的类型。SO thread that answers the 2nd question

【参考方案1】：

您可以通过检查值来确定列的类型。 下面的函数从一对（键，值）中格式化列的定义。 它使用regex pattern matching。 它还将列的名称转换为带下划线的符号（使用regexp_replace() 函数）。 当然，如果该值表示为NULL，该函数将无法正常工作，因此您必须检查第一个json记录是否全部为非空值。

create or replace function format_column(ckey text, cval text)
returns text language sql immutable as $$
    select format('%s %s',
        lower(regexp_replace(ckey, '(.)([A-Z])', '\1_\2', 'g')),
        case 
            when cval ~ '^[\+-]0,1\d+$' then 'integer'
            when cval ~ '^[\+-]0,1\d*\.\d+$' then 'numeric'
            when cval ~ '^"\d\d\d\d-\d\d-\d\d"$' then 'date'
            when cval ~ '^"\d\d\d\d-\d\d-\d\d \d\d:\d\d:\d\d"$' then 'timestamp'
            else 'text' 
        end
    )
$$;

select format_column(key, value)
from (
    values 
        ('Id', '55948'),
        ('FullName', '"Full name #1"'),
        ('Turnover', '120400.5'),
        ('DateOfRegistration', '"2014-02-13"')
    ) val(key, value);

       format_column       
---------------------------
 id integer
 full_name text
 turnover numeric
 date_of_registration date
(4 rows)        

在主函数中你不需要变量或循环。 使用format() 函数来格式化带有参数的字符串，使用string_agg() 来创建文本列表。 由于您需要键和值，请使用json_each() 而不是json_object_keys()。在第二个查询中，您可以使用row_number() 来确保为连续记录划分聚合值列表。

create or replace function import_table(table_name text, jdata json)
returns void language plpgsql as $$
begin
    execute format('create table %s (%s)', table_name, string_agg(col, ', '))
    from (
        select format_column(key::text, value::text) col
        from json_each(jdata->0)
        ) sub;

    execute format('insert into %s values %s', table_name, string_agg(val, ','))
    from (
        with lines as (
            select row_number() over () rn, line
            from (
                select json_array_elements(jdata) line
                ) sub
            )
        select rn, format('(%s)', string_agg(value, ',')) val
        from (
            select rn, format('%L', trim(value::text, '"')) as value
            from lines, json_each(line)
            ) sub
        group by 1
        ) sub;
end $$; 

测试：

select import_table('customers', 
    '[ "Id": 55948,
        "FullName": "Full name #1",
        "Address": "Address #1",
        "Turnover": 120400.5,
        "DateOfRegistration": "2014-02-13",
        "LastModifiedAt": "2015-11-03 12:04:44" ,
       "Id": 55949,
        "FullName": "Full name %2",
        "Address": "Address #2",
        "Turnover": 120000.0,
        "DateOfRegistration": "2012-12-01",
        "LastModifiedAt": "2015-11-04 17:14:21" ]');

\d customers
                    Table "public.customers"
        Column        |            Type             | Modifiers 
----------------------+-----------------------------+-----------
 id                   | integer                     | 
 full_name            | text                        | 
 address              | text                        | 
 turnover             | numeric                     | 
 date_of_registration | date                        | 
 last_modified_at     | timestamp without time zone |

select * from customers;

  id   |  full_name   |  address   | turnover | date_of_registration |  last_modified_at   
-------+--------------+------------+----------+----------------------+---------------------
 55948 | Full name #1 | Address #1 | 120400.5 | 2014-02-13           | 2015-11-03 12:04:44
 55949 | Full name %2 | Address #2 | 120000.0 | 2012-12-01           | 2015-11-04 17:14:21
(2 rows)