为啥 read.csv2 工作得很好，但 read.csv2.sql 显示错误/警告？

Posted 2023-03-16

技术标签:

【中文标题】为啥 read.csv2 工作得很好，但 read.csv2.sql 显示错误/警告？【英文标题】：Why does read.csv2 work just fine, yet read.csv2.sql shows an error/warning?为什么 read.csv2 工作得很好，但 read.csv2.sql 显示错误/警告？ 【发布时间】：2021-09-24 13:14:06 【问题描述】：

我正在尝试使用read.csv2.sql 在 R 中读取一个 csv 文件，因为我想使用来自 SQL 的 SELECT 查询来帮助我过滤我的数据，但在我什至可以访问我的 SELECT 查询之前，我发现只需使用read.csv2.sql 读取我的 csv 文件就会生成一条警告消息。

这是我的代码：

investment2 <- read.csv2.sql("investmentdata.csv")

这是警告信息：

Warning message:
In result_fetch(res@ptr, n = n) :
  Column 'Capital.Investment': mixed type, first seen values of type real, coercing other values of type string

但是，当我使用正常的read.csv2 函数时，没有错误。特别是，以下代码运行良好，没有警告消息：

investment <- read.csv2("investmentdata.csv")

接下来，我尝试通过将Capital.Investment 列强制转换为真实来解决此问题，如下所示：

investment3 <- read.csv2.sql("investmentdata.csv", "SELECT *, CAST(Capital.Investment AS real) FROM file")

但是，R 现在会生成以下错误：

Error: no such column: Capital.Investment

因此，我有两个问题。首先，当read.csv2 工作正常时，为什么使用read.csv2.sql 会生成警告消息？其次，当我尝试将其转换为真实时，为什么 R（或 SQL）无法识别我的 Capital.Investment 列？

也许还值得注意的是，我不能简单地忽略 read.csv2.sql 函数正在显示的这个警告，因为我发现由于这个警告，它已经自动在我的 @ 中投射了一些 NA 行987654337@ 列到0，这是我不能允许的-NA 行必须保持为NA。不过，我的 csv 文件的其他列似乎没有这个问题。

由于我是 R 的新手，任何帮助和解释都将不胜感激:)

编辑

我截断的 csv 文件的编码版本如下。特别是，问题列的名称确实是Capital.Investment。

id;targetC;year;comp_id;homeC;Industry.Activity;Capital.Investment;Estimated;Jobs.Created;Estimated.1;Project.Type;geographic distance;SIC;listed;sales;assets;cap_structure;rnd;profit;rndintensity;polcon;homeC_gdp;targetC_gdp;homeC_gdppc;targetC_gdppc
1302;AUS;2008;FR338966385;FRA;Design, Development & Testing;33.1;Yes;36;Yes;New;15.26414042;3669;Unlisted;4333088.972;4037211.732;0;NA;-1339221.733;NA;0.489032525;2.92347E+12;1.05456E+12;45413.06571;49628.11513
1311;AUS;2008;US*190521496652;USA;Research & Development;8.4;Yes;30;No;New;15.24712914;NA;Unlisted;NA;NA;NA;NA;NA;NA;0.489032525;1.47E+13;1.05456E+12;48401.42734;49628.11513
1313;AUS;2008;GB05817296;GBR;Business Services;9.7;Yes;10;Yes;New;15.31094496;7389;Unlisted;NA;87.64187374;NA;NA;NA;NA;0.489032525;2.87546E+12;1.05456E+12;46523.26545;49628.11513
1318;AUS;2008;US129687150L;USA;Business Services;1.3;Yes;225;Yes;New;15.24712914;7373;Unlisted;NA;NA;NA;NA;NA;NA;0.489032525;1.47E+13;1.05456E+12;48401.42734;49628.11513
1351;AUS;2008;GB*P0060071;GBR;Electricity;516;No;51;Yes;New;15.31094496;NA;Unlisted;NA;NA;NA;NA;NA;NA;0.489032525;2.87546E+12;1.05456E+12;46523.26545;49628.11513
9925;AUS;2008;GB00034121;GBR;Business Services;34.8;Yes;37;Yes;New;15.31094496;4412;Unlisted;NA;2079288.611;0.355157008;NA;94320.15469;NA;0.489032525;2.87546E+12;1.05456E+12;46523.26545;49628.11513
9932;AUS;2008;CA30060NC;CAN;Sales, Marketing & Support;3.2;Yes;11;Yes;New;14.88812529;1094;Listed;NA;NA;NA;NA;NA;NA;0.489032525;1.54913E+12;1.05456E+12;46596.33599;49628.11513
9935;AUS;2008;US940890210;USA;Manufacturing;771;Yes;266;Yes;New;15.24712914;2911;Listed;NA;NA;NA;NA;NA;NA;0.489032525;1.47E+13;1.05456E+12;48401.42734;49628.11513
9938;AUS;2008;US770059951;USA;Technical Support Centre;9.1;Yes;104;Yes;Co-Locati;15.24712914;3661;Listed;34922000;53340000;0.120134983;4598000;7333000;0.086201723;0.489032525;1.47E+13;1.05456E+12;48401.42734;49628.11513
9946;AUS;2008;US010562944;USA;Extraction;535.8;Yes;198;Yes;New;15.24712914;2911;Listed;NA;NA;NA;NA;NA;NA;0.489032525;1.47E+13;1.05456E+12;48401.42734;49628.11513
9955;AUS;2008;DE5030147191;DEU;Logistics, Distribution & Transportation;21.2;Yes;134;Yes;New;14.6718338;4311;Listed;93495971.01;346629334.8;0.036629492;0;2044745.934;0;0.489032525;3.75237E+12;1.05456E+12;45699.19832;49628.11513
9958;AUS;2008;US126012192L;USA;Business Services;9.7;Yes;10;Yes;New;15.24712914;8111;Unlisted;NA;NA;NA;NA;NA;NA;0.489032525;1.47E+13;1.05456E+12;48401.42734;49628.11513
9969;AUS;2008;US135409005;USA;Extraction;NA;No;538;Yes;New;15.24712914;2911;Listed;NA;NA;NA;NA;NA;NA;0.489032525;1.47E+13;1.05456E+12;48401.42734;49628.11513
9977;AUS;2008;JP000000728JPN;JPN;ICT & Internet Infrastructure;128.6;Yes;77;Yes;New;7.0333688;3571;Listed;53255396.85;38181450.16;0.190244908;2584585.523;480589.4308;0.067692176;0.489032525;5.03791E+12;1.05456E+12;39339.29757;49628.11513
9984;AUS;2008;US841547578;USA;Sales, Marketing & Support;13.6;Yes;23;Yes;New;15.24712914;2095;Listed;NA;NA;NA;NA;NA;NA;0.489032525;1.47E+13;1.05456E+12;48401.42734;49628.11513
9993;AUS;2008;US258715604L;USA;Customer Contact Centre;1.8;No;40;No;New;15.24712914;NA;Unlisted;NA;NA;NA;NA;NA;NA;0.489032525;1.47E+13;1.05456E+12;48401.42734;49628.11513

【问题讨论】：

我猜，因为我们看不到您的数据：在 SQL 中，Capital.Investment 可能被视为 schema="Capital", table="Investment" 或 table="Capital", column="Investment"（或其他），具体取决于上下文.如果将其替换为cast([Capital.Investment] ...) 或cast("Capital.Investment" ...)，是否有效？ @r2evans 否...两者都不起作用...使用[Capital.Investment] 只会生成与我的帖子中相同的警告消息，而使用"Capital.Investment" 会生成以下错误：Error: unexpected symbol in "investment2 <- read.csv2.sql("investmsntdata.csv", "SELECT *, CAST("Capital.Investment"。我也不确定你评论的第一部分是什么意思......我的数据来自一个以;为分隔符的csv文件，列名确实是Capital.Investment。 “意外符号”是因为您需要对内引号进行反斜杠转义，如 "select ... \"Capital.Investment\" ..." 或使用单引号作为外部字符串分隔符，如 'select ... "Capital.Investment" ...'。跨度> 我的答案适用于 my 版本的 CSV（或;-delimited，同样的东西）文件，也许您可以分享您的 csv文件在您的问题中？它不需要所有的列，足以证明错误，同时让我们看到实际的文件内容。（我的意思是我们可以使用的形式，就像在代码块中一样。我不是在转录。但是，数据的图像看起来与我的假数据没有什么不同，在概念上/结构。） 【参考方案1】：

此问题已在 chat 中解决，是以下两个问题之一：

请参阅下面的原始答案，这导致了Error；修复后，我们会看到... 有一个警告，通知一个列（恰好是同一列）看起来numeric，但在文件的内部某处有一个非数字单元格。

第一个在下面解决，第二个只是警告。

然而，因为 OP 要求通过 SQL 转换为数字，所以 NA 被转换为 0，这不好。我的建议是cast([Capital.Investment] as char) as [Capital.Investment] 并使用R 的as.numeric 转换为数字（保留NA-nature），或者直接转换为read.csv2(.) 文件并使用sqldf(.) 在表上使用其SQL 查询-喜欢数据。

前面：在列名周围添加方括号或引号。

基本原理：Capital.Investment 被视为以点分隔的表列或模式表或类似的东西，而不是您想要的。我通常相信在 SQL 中带有嵌入点的字段名称需要这种转义。如果您的数据有嵌入空格，请注意 R 不喜欢其字段名称中的空格，因此在读取数据时默认使用 make.names（将空格替换为点）。

设置：

将以下内容另存为"quux.csv"。（我已将其命名为 csv，但由于我将其更改为 ;-delimited，因此它的行为相同。）

quux;Capital.Investment
1;100
2;200

（或者你可以使用Capital Investment，是一样的。）

sqldf::read.csv2.sql("quux.csv", sql='select quux, cast(Capital.Investment as real) from file')
# Error: no such column: Capital.Investment
sqldf::read.csv2.sql("quux.csv", sql='select quux, cast([Capital.Investment] as real) as CI from file')
#   quux  CI
# 1    1 100
# 2    2 200
sqldf::read.csv2.sql("quux.csv", sql='select quux, cast("Capital.Investment" as real) as CI from file')
#   quux  CI
# 1    1 100
# 2    2 200

【讨论】：

非常感谢您的宝贵时间！

以上是关于为啥 read.csv2 工作得很好，但 read.csv2.sql 显示错误/警告？的主要内容，如果未能解决你的问题，请参考以下文章

为啥 toPandas() 会抛出错误，而 .show() 工作得很好？

因子到数值的转换

为啥我的 DJS 角色声明消息可以工作几个小时，但突然停止？

读取缺少逗号的 .csv 文件。碱基R

为啥这个 C 程序会崩溃？它编译得很好[重复]

为啥我的查询不会在我的代码中执行，而它在普通 sql 中执行得很好？