应用数仓ODBC前，这些问题你需要先了解一下

Posted 2022-03-04 华为云开发者社区

本文分享自华为云社区《GaussDB(DWS) ODBC 问题定位指南》，作者： power_gouge 。

用户的应用程序，调用的ODBC的API，其实是由驱动管理器提供的，这个驱动管理器在微软上就是odbcad32(.exe/.dll)，在Linux上就是UnixODBC。再由它们来调用ODBC的具体驱动（Gauss、Oracle、TD……）。

所以一般问题基本会出在以下几个方面：

• 应用加载驱动管理器
• 驱动管理器加载驱动
• 驱动连接数据库

一个典型的用户应用程序如下：

问题处理

应用程序加载驱动管理器失败

Windows

Windows由于操作系统实现机制的问题，ODBC属于操作系统组件的一部分，除非操作系统损坏，一般不会出现应用程序加载驱动管理器失败；只会出现驱动管理器加载驱动失败。所以这里不再赘述。

Linux

Linux上应用程序加载驱动管理器，是指的应用程序依赖于UnixODBC的相关动态库，启动时要将其加载到自己的进程空间中。加载出现问题多表现为在启动时找不到libodbc.so.x/libodbcinst.so.x等库。

解决此问题：

首先确认环境中是否安装了UnixODBC。如果安装了，那么至少会有isql/odbcinst等工具可用。例如可使用which isql这样的命令来确定安装路径。相关的lib库一般会在which isql指定的bin目录的同级目录下，将其添加到LD_LIBRARY_PATH中重启应用程序便可。

export LD_LIBRARY_PATH=/where/unixodbc/installed/lib:$LD_LIBRARY_PATH

特别注意，此语句只影响当前shell会话中的后续命令，其他会话不受影响，特别是后台启动的进程。如果是后台进程，请与应用程序的开发人员确认其运行环境如果修正。

如果确认LD_LIBRARY_PATH已经生效（可以打开/proc/应用程序pid/environ文件确认）,依然无法加载libodbc.so.x/libodbcinst.so.x，那么可能是.1或者.2的库的问题。

历史原因，一般的开发环境中，UnixODBC提供的库既可能叫libodbc.so.1也可能叫libodbc.so.2。用户程序可能依赖了.2，但是环境中只有.1；也有可能是存在.2，但是依赖了.1。

解决此问题，只需要在UnixODBC的lib目录下，将不存在的版本建立成软链接，保证.1与.2都存在，这样出问题的机率便会小很多。特别注意，这里强烈建议是建立软链接，而不要拷贝物理文件，不然可能出现一个应用程序进程中，加载了两个导出函数完全相同的.so，这样可能会引起一些比较难定位的启动错误，后文中会讲到。

驱动管理器加载驱动失败

Windows

最常见x86与x64架构不同导致的加载失败；此问题的典型报错为：

在指定的 DSN 中，驱动程序和应用程序之间的体系结构不匹配

此问题可能的原因：在64位程序中使用了32位驱动，或者相反。

在64位系统上：

C:\\Windows\\SysWOW64\\odbcad32.exe：这是32位ODBC驱动管理器。

C:\\Windows\\System32\\odbcad32.exe：这是64位ODBC驱动管理器。

使用不同架构的应用程序时，请使用不同的驱动管理器；同时安装不同的驱动类型。

32位系统上只能跑32位程序，也无法安装64位驱动，所以基本不用区分。

如果是64位系统，那么它既支持32位程序，也支持64位程序；如果不能确定应用程序是32还是64，可以使用以下办法：

ctrl + shift + esc 打开任务管理器

查看进程列表中某进程后边有没有*32的字样（有就是32位，没有就是64位），如下图：\\

Linux

环境中缺少psqlodbcw.so的库

一般这个问题的报错是

[UnixODBC][Driver Manager]Can't open lib 'xxx/xxx/psqlodbcw.so' : file not found.

可能的原因有：

odbcinst.ini中配置的路径不正确，最简单的办法是 ls -l 一下这个报错的文件，看看这个是不是真的存在，同时具有执行权限。

依赖的库不存在，此时最简单的办法是ldd 一下这个报错的文件，看看是不是真的缺少库，如果缺少库会出现如下问题：

要处理这个问题，需要将unixodbc的安装目录下的lib，添加到LD_LIBRARY_PATH里，例如：

export LD_LIBRARY_PATH=/where/unixodbc/installed/lib:$LD_LIBRARY_PATH

同时，在UnixODBC的安装的lib目录下，看看libodbcinst.so.x后边的后缀是.1还是.2。如果是.2，那么请建立一个软链接，链接到.1，便可以解决此问题。

如果该目录下只有.1的库，没有.2的库，也建议建立一个.2的软链接，防止应用程序依赖于.2，我们依赖于.1，引起冲突。

特别注意，当前会话的LD_LIBRARY_PATH不代表应用程序运行时也是同样的LD_LIBRARY_PATH，必要的时候，与应用程序开发人员对齐。

如果是常驻进程，可以通过如下方法获取到当前进程的环境变量：

cd /proc/应用程序PID
cat environ

打印出来的结果可能比较乱，耐心看一下；如果内容有误，与应用程序开发人员对齐修改方法。

既有.2又有.1的库，导致重复加载

这种勤快的用户比较少见，但是一旦出现，很难定位，典型的报错信息是：

Driver's SQLAllocHandle on SQL_HANDLE_DBC failed

这种情况这时应用与驱动加载的是不同的物理文件，便会导致两套完全同名的函数列表，同时出现在同一个可见域里（UnixODBC的libodbc.so.*的函数导出列表完全一致），产生冲突，无法加载数据库驱动。

解决此问题的办法也比较简单，查看LD_LIBRARY_PATH中的第一个unixodbc的lib目录。在其目录下，缺少.2或.1，建立对应的.2或.1的软链接便可。

连接问题

服务器不可达

典型报错：

connect to server failed: no such file or directory

此问题可能的原因：

配置了错误的/不可达的数据库地址，或者端口
请检查数据源配置中的Servername及Port配置项，确认网络是通达的。

服务器监听不正确
如果确认Servername及Port配置正确，请根据资料中listen_addresses参数的配置方法，确保数据库监听了合适的网卡及端口，特别是Servername中指定的网卡地址及LVS的虚拟IP地址。

修改完记得重启数据库，使监听生效。

防火墙及网闸、流控设备
请确认防火墙设置，将数据库的通信端口添加到可信端口中。
如果有网闸、流控设备，请确认一下相关的设置。
此问题一般都是第三方商业产品导致，需要咨询服务/产品提供商相关的策略。

SSL配置不正确

典型报错1：

The password-stored method is not supported.

解决办法1：

请将数据源配置中的的sslmode调整至allow及以上级别，允许使用SSL连接。

典型报错2：

Server common name "xxxx" does not match host name "xxxxx"

此问题是由于sslmode中使用了全校验(verify-full)，它不仅会校验证书，还会校验证书所在的域名/机器名是否与证书符合，不符合时将报出此问题。

解决办法2：

重新让CA机构以新的域名/机器名签发证书；或者将SSLMODE调整至verify-ca选项或其以下级别（具体级别见产品资料中的说明）。

使用开源驱动连接问题

我们的数据库是支持低版本及开源驱动的（V1R7C10及以后），所以可以放心使用。

但是偶尔一些从V1R6C10升级上来的数据库，接受开源驱动连接时，会碰到用户认证算法不支持的问题，典型报错如下：

authentication method 10 not supported.

此问题机理比较复杂，下面详细展开，先说解决办法：

请使用管理新账号新建一个数据库的用户，并给予其相关的访问权限，使用新用户连接数据库。

更改当前业务用户的密码，使用新密码连接数据库。

解释一下此问题发生的机理：

我们的数据库在连接时，是会让客户端将认证信息发过来的。但是发过来的信息不会是明文密码，这是不安全的；客户端发到数据库的认证信息一般是经过加盐后的密码哈希(md5/sha256算法)，迭代次数也非常多。

数据库本身也并不存储用户的明文密码，存储的是一个哈希值（所以密码要是丢了，就真的丢了，只能重置不能找回）。数据库在校验这个密码的时候，是比较哈希的，这就涉及到数据库中存储的哈希是使用的什么算法得到的哈希值，常见的是sha256（高斯自研）及MD5（开源）。

V1R7C00及以前，数据库中只存储了SHA256的哈希，升级时我们也无法推导用户原有密码，所以升级后仍然只有SHA256的哈希；但是开源客户端只识别MD5的哈希，这就导致数据库无法认证；数据库也只会让客户端以SHA256的哈希来做认证，这时开源就不识别该认证请求，导致报出如上的错误。

在创建用户和修改用户密码时，我们的新版本会同时记录两份哈希，所以后续将会同时支持开源及自研的各个版本。

因数据源配置不正确，导致的连接错误

典型报错：

Data source name not found, and no default driver specified

可能原因：

数据源名称书写错误（或含有特殊符号）

不同的操作系统用户下，数据源可见性不一样；

Linux上的数据源配置文件(odbc.ini)位置不正确

解决办法：

修正数据源名称.

Windows下，请在当前用户下打开驱动管理器，查看数据源配置是否正确。
请注意在64位系统上使用正确的数据源管理器：

C:\\Windows\\SysWOW64\\odbcad32.exe：这是32位ODBC驱动管理器。
C:\\Windows\\System32\\odbcad32.exe：这是64位ODBC驱动管理器。

Linux下使用odbcinst -j 命令，查看当前环境中配置文件的正确路径，输出一般如下：

unixODBC 2.3.0
DRIVERS............: /usr/local/etc/odbcinst.ini/odbcinst.ini
SYSTEM DATA SOURCES: /usr/local/etc/odbcinst.ini/odbc.ini
FILE DATA SOURCES..: /usr/local/etc/odbcinst.ini/ODBCDataSources
USER DATA SOURCES..: /usr/local/etc/odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

其中USER DATA SOURCES就是用户数据源，优先生效；SYSTEM DATA SOURCES是系统数据源，整个系统可用。请针对这些文件路径，

注意：有时用户数据源的配置文件可能是$(HOME)/.odbc.ini

通信协议不匹配问题

典型报错：

unsupported frontend protocol 3.51: server supports 1.0 to 3.0

可能原因：

使用了新版本的数据库驱动连接老版本的数据库(V1R6C10)；
或者使用了我们的驱动，连接到了开源的数据库上。

解决办法：

请使用老版本的数据库驱动连接该数据库。

我们的数据库中，默认低版本客户端可以连接高版本数据库；使用高版本驱动连接低版本客户端，不在规格约束范围内。

这个规格也比较好理解：因为用户一般是对数据库集中管理，升级也是有计划的。但是客户端驱动可能嵌入到业务中的每一个角落，有时甚至是已经发布的装备中，升级相对比较困难。

如果是开源服务器：我们的数据库驱动不支持开源数据库，无法连接；请使用开源客户端连接。

其他常见疑问

与开源的区别？

增加了安全性，使用了SHA256算法做认证加密；同时调整密钥哈希加密次数

提升了批量性能（V1R7C10 2019-4-30及以后版本）

是否可以增加新API？

不可以。

还是基础知识里那张图，用户引用的API是由驱动管理器提供的，我们提供的API只可供驱动管理器使用；新增API无法穿过中间层为用户提供服务。

是否支持COPY接口？

Copy是PG的特有语法及通信协议;而ODBC是微软提出的通用调用接口，所以无此特殊接口。

Linux上的驱动管理器有哪些？

驱动管理器在Linux上并不是操作系统的一部分，它也是由其他开源组织开发的。所以并不是只有UnixODBC一种。但是目前使用最广泛的，其实只有UnixODBC，多数据操作系统安装时基本都已经自带了UnixODBC的某个特定版本；除此之外，还有iODBC等，现在已经慢慢退出市场了。

UnixODBC的版本有限制么？

有。我们支持2.3.0及以上版本。

UnixODBC的.1与.2的库有什么区别？

没有什么区别。

这个与UnixODBC的历史有关，历史上有一段时间提供.1，后来做了一次大升级，动态库版本也跟着升级了，变成了.2。但是一大批存量业务受制无法运行，就又添加了.1的支持。

.1与.2其实只是UnixODBC的configure配置的一部分，其函数导出，功能完全一致，不必纠结于此。

可以打印日志么？

可以。

一般建议打印驱动管理器的日志，此日志比较清晰，定位问题比较快。操作办法：

Windows上：

打开驱动管理器，调整到跟踪页面，确定日志文件路径后，点击开始跟踪便可，如图：

Linux上：

打开odbcinst.ini文件（可使用odbcinst -j 来确定文件路径），添加以下章节：

[ODBC]
Trace=Yes
TraceFIle=/tmp/odbc.log

重启业务便可。

注意：非必要时，请关闭日志，因为每个API都存在写盘，将会引起性能损失。

查询结果集过大，内存吃不消怎么办？

打开UseDclareFetch开关，它将会把查询包装成游标操作。对于不支持Cursor with hold的版本慎用。同时由于使用了服务器端的游标，游标的前后滚操作也会反馈给数据库，通信会有所增加，所以性能会有部分下降；可以通过调整Fetch参数来确定每次数据库向客户端反馈的数据量大小，来降低该性能影响。

Linux下打开UseDeclareFetch的方法：

在数据源配置项中添加：

UseDeclareFetch=1
Fetch=1000

Windows下打开UseDeclareFetch的方法：

其中的Cache Size选项，就是Fetch的大小。

有性能基线数据么？

创建连接的性能大体为0.5s内都算正常（一般0.3s左右）

数据插入的话

非批量版本（R7C10以及前）大约为400tps（SSD的测试结果）

批量版本（R8C10及以后）大约为4000tps（SSD服务器），由于数据库对象差异、网络、物理硬件等，基本2000tps以上都可以认为是正常

语句出错怎么排查？

运行过程中出错，ODBC是不会打屏的。错误信息需要业务里获取错误信息（API为：SQLGetDiagField/SQLGetDiagRec）。

如果用户的业务里有打印具体的错误信息，或者业务的错误信息不足以定位，请根据3.7中的描述，将ODBC的日志打印出来，在其中找SQL_ERROR相关信息。这里最好能和业务开发人员一起定位，因为API的调用序列是乱序的，由业务决定。

如果ODBC的日志仍然不足以定位支撑，请登录到连接的目标CN所在的机器，通过以下方法进入CN日志文件目录：

source $BIGDATA_HOME/mppdb/.mppdbgs_profile
cd $GAUSSLOG/pg_log/cn_50xx #这里的cn_50xx表示CN编号，根据实际情况修改

找到对应时间点的日志，观察其中是否有错误信息。

我们与Oracle/mysql的ODBC有什么关系

ODBC是一套标准，每家数据库提供自己的驱动文件。就像大家都叫显卡，每个厂商也都提供自己的驱动，自己的驱动只能驱动自己的显卡；而显卡的接口标准是微软（ODBC也是微软）制定的，只是大家不接触，不知道有这样一套标准而已。

我们的驱动文件叫psqlodbcw.so/psqlodbcw.dll。

支持GBK么？

支持。

但是我们ODBC驱动默认使用utf-8编码。如果要调整，需要自行在会话开始时设置client_encoding。

但是请注意，请不要在宽字节模式下使用GBK，因为宽字节编码本身就是UNICODE的一部分（一般为UCS2），此时使用GBK可能导致数据无法显示，SQL查询结果不正确等问题。

如果出现此问题，请将VS中的解决方案字符集调整为“多字节”。

文章由博主@归云原创

想了解GuassDB(DWS)更多信息，欢迎微信搜索“GaussDB DWS”关注微信公众号，和您分享最新最全的PB级数仓黑科技，后台还可获取众多学习资料哦~

点击关注，第一时间了解华为云新鲜技术~