JDBC 与 Spring 慢速元数据获取 Oracle

Posted 2023-02-26

【中文标题】JDBC 与 Spring 慢速元数据获取 Oracle

【英文标题】：JDBC with Spring slow metadata fetch Oracle

【发布时间】：2012-02-06 06:02:27

【问题描述】：

我正在使用 Spring JdbcUtils.extractDatabaseMetaData() 方法来分析数据库。该函数调用一个回调并移交一个DatabaseMetaData 对象。此对象提供getColumns(String catalog, String schemaPattern, String tableNamePattern, String columnNamePattern)。

我这样称呼它getColumns("",TABLE_OWNER_USERNAME,null,null)，结果得到 400 列。这些正是我想要的结果，但请求需要超过 1 分钟。

我能否以某种方式优化此查询以加快速度？拉取 400 行应该在 1 秒内完成，而不是一分钟。

编辑：我不怀疑 Spring 部分很慢。仔细分析表明，获取DatabaseMetaData 需要几秒钟，但执行getColumns() 需要很长时间。

【问题讨论】：

你确定是斯普林斯的错吗？您可以使用普通 JDBC 或直接在数据库控制台中运行相同的查询吗？

我不认为这是弹簧故障。问题是，它本身不是一个查询。 JDBC驱动通过getColumns()方法隐藏了实际的查询，所以看不到到底是怎么回事。

@FranzKafka - 您能否跟踪 Spring 生成的 SQL 以确定正在查询哪些数据字典表？是否已在数据字典中收集统计信息？

我的经验是Oracle的系统目录非常慢。有时对我有帮助的唯一一件事是在 SYS 架构上运行 dbms_stats.gather_schema_stats()。

另请参阅此相关问题，该问题列出了通过 ojdbc 在后台运行的实际查询 DatabaseMetaData：***.com/questions/21859698/…

【参考方案1】：

也许这是查询 ALL_TAB_COLUMNS 的更好方法。这是一个例子：

public final List<Column> getColumnsByOwner(final String owner) 
    final String sql = "SELECT COLUMN_NAME, DATA_TYPE, DATA_LENGTH, "
            + " DATA_PRECISION, DATA_SCALE, NULLABLE, DATA_DEFAULT"
            + " FROM ALL_TAB_COLUMNS"
            + " WHERE OWNER = ? ORDER BY COLUMN_ID";

    return jdbcTemplate.query(sql,
            new Object[]  owner ,
            new RowMapper<Column>() 
                @Override
                public Column mapRow(final ResultSet res, final int rowNum)
                        throws SQLException 
                    final Column reg = new Column();

                    reg.setColumnName(res.getString("COLUMN_NAME"));
                    //Read other properties
                    reg.setNullable(res.getString("NULLABLE").equals("Y"));
                    return reg;
                
            );

如果您需要按表过滤，只需添加“AND TABLE_NAME = ?”以 sql 和 tableName 作为另一个参数。

希望对你有帮助。

【参考方案2】：

通过对客户端和服务器之间的实际通信进行反向工程，我可以发现 Oracle 的 DatabaseMetaData.getColumns() 方法发送以下 SQL 查询（尽管这可能会随着 ODBC 驱动程序版本和设置而改变）：

    declare
    in_owner varchar2(128);
    in_name varchar2(128);
    in_column varchar2(128);
    xyzzy SYS_REFCURSOR;
    begin
    in_owner := :1;  // Which resolves to the schema (user) name supplied
    in_name := :2;   // Which resolves to the table name supplied
    in_column := :3; // Which gets set to '%';
    open xyzzy for
    SELECT NULL AS table_cat,
        t.owner AS table_schem,
        t.table_name AS table_name,
        t.column_name AS column_name,
    DECODE(  (SELECT a.typecode
        FROM ALL_TYPES A
        WHERE a.type_name = t.data_type),
    'OBJECT', 2002,
    'COLLECTION', 2003,
    DECODE(substr(t.data_type, 1, 9),
        'TIMESTAMP',
        DECODE(substr(t.data_type, 10, 1),
            '(',
            DECODE(substr(t.data_type, 19, 5),
                'LOCAL', -102, 'TIME ', -101, 93),
            DECODE(substr(t.data_type, 16, 5),
            'LOCAL', -102, 'TIME ', -101, 93)),
        'INTERVAL ',
        DECODE(substr(t.data_type, 10, 3),
        'DAY', -104, 'YEA', -103),
        DECODE(t.data_type,
        'BINARY_DOUBLE', 101,
        'BINARY_FLOAT', 100,
        'BFILE', -13,
        'BLOB', 2004,
        'CHAR', 1,
        'CLOB', 2005,
        'COLLECTION', 2003,
        'DATE', 93,
        'FLOAT', 6,
        'LONG', -1,
        'LONG RAW', -4,
        'NCHAR', -15,
        'NCLOB', 2011,
        'NUMBER', 2,
        'NVARCHAR', -9,
        'NVARCHAR2', -9,
        'OBJECT', 2002,
        'OPAQUE/XMLTYPE', 2009,
        'RAW', -3,
        'REF', 2006,
        'ROWID', -8,
        'SQLXML', 2009,
        'UROWI', -8,
        'VARCHAR2', 12,
        'VARRAY', 2003,
        'XMLTYPE', 2009,
        1111)))
    AS data_type,
        t.data_type AS type_name,
        DECODE (t.data_precision, null,
            DECODE(t.data_type, 'NUMBER',
                DECODE(t.data_scale, null, 0 , 38),
                    DECODE (t.data_type, 'CHAR', t.char_length, 'VARCHAR', t.char_length, 'VARCHAR2', t.char_length, 'NVARCHAR2', t.char_length, 'NCHAR', t.char_length, 'NUMBER', 0, t.data_length) ), t.data_precision)
        AS column_size,
        0 AS buffer_length,
        DECODE (t.data_type, 'NUMBER', DECODE(t.data_precision, null, DECODE(t.data_scale, null, -127 , t.data_scale), t.data_scale), t.data_scale) AS decimal_digits,
        10 AS num_prec_radix,
        DECODE (t.nullable, 'N', 0, 1) AS nullable,
        NULL AS remarks,
        t.data_default AS column_def,
        0 AS sql_data_type,
        0 AS sql_datetime_sub,
        t.data_length AS char_octet_length,
        t.column_id AS ordinal_position,
        DECODE (t.nullable, 'N', 'NO', 'YES') AS is_nullable,
        null as SCOPE_CATALOG,
        null as SCOPE_SCHEMA,
        null as SCOPE_TABLE,
        null as SOURCE_DATA_TYPE,
        'NO' as IS_AUTOINCREMENT,
        t.virtual_column as IS_GENERATEDCOLUMN
    FROM all_tab_cols t
    WHERE t.owner LIKE in_owner ESCAPE '/'
    AND t.table_name LIKE in_name ESCAPE '/'
    AND t.column_name LIKE in_column ESCAPE '/'
    AND t.user_generated = 'YES'
    ORDER BY table_schem, table_name, ordinal_position;
    end;

您可以理解为什么这可能会有点慢，特别是因为 ALL_TAB_COLS 和 ALL_TYPES 表每个都有 1000 条记录长。然而，尽管 Oracle 努力执行第一次调用（几分钟），但随后的调用几乎立即返回结果。这是一个典型的表连接性能问题，即使需要数据子集，引擎在计算和交付所需的子集之前连接整个数据集。随后的数据/结果缓存用于提高后续查询的性能。

更好的解决方案可能是使用 get_ddl() 并按照this thread 解析返回的表定义。

或者您可以通过执行虚拟查询然后使用 resultSetMetadata 来更快地查询表上的元数据，如下所示（注意：列备注元数据可能不会立即可用）：

    ResultSet rs = connection.CreateStatement.executeQuery("SELECT * from MyTable WHERE 1=0");
    ResultSetMetaData md = rs.getMetaData();
    for (int ix = 1; ix <= md.getColumnCount(); ix++)
    
      int colSize = md.getPrecision(ix);
      String nativeType = md.getColumnTypeName(ix);
      int jdbcType = md.getColumnType(ix);
      // and so on....
    

【讨论】：

这是一个致命的建议，尤其是最后一个使用rs.getMetaData() 的想法。之前的速度很慢（更不用说迭代超过 25k 的所有表元数据）突然变得快如闪电。谢谢。