从 bcp 客户端接收到 colid 6 的无效列长度
Posted
技术标签:
【中文标题】从 bcp 客户端接收到 colid 6 的无效列长度【英文标题】:Received an invalid column length from the bcp client for colid 6 【发布时间】:2012-05-13 15:15:06 【问题描述】:我想将 csv 文件数据从 c# 代码批量上传到 sql server 2005 但我遇到以下错误 -
从 bcp 客户端收到的 colid 6 的列长度无效。
当批量复制写入数据库服务器时
【问题讨论】:
【参考方案1】:我知道这篇文章很旧,但我遇到了同样的问题,最后找到了一个解决方案来确定是哪一列导致了问题,并根据需要报告回来。我确定 SqlException 中返回的 colid
不是从零开始的,因此您需要从中减去 1 才能获得该值。之后,它用作 SqlBulkCopy 实例的 _sortedColumnMappings
ArrayList 的索引,而不是添加到 SqlBulkCopy 实例的列映射的索引。需要注意的一点是 SqlBulkCopy 将在收到第一个错误时停止,因此这可能不是唯一的问题,但至少有助于解决这个问题。
try
bulkCopy.WriteToServer(importTable);
sqlTran.Commit();
catch (SqlException ex)
if (ex.Message.Contains("Received an invalid column length from the bcp client for colid"))
string pattern = @"\d+";
Match match = Regex.Match(ex.Message.ToString(), pattern);
var index = Convert.ToInt32(match.Value) -1;
FieldInfo fi = typeof(SqlBulkCopy).GetField("_sortedColumnMappings", BindingFlags.NonPublic | BindingFlags.Instance);
var sortedColumns = fi.GetValue(bulkCopy);
var items = (Object[])sortedColumns.GetType().GetField("_items", BindingFlags.NonPublic | BindingFlags.Instance).GetValue(sortedColumns);
FieldInfo itemdata = items[index].GetType().GetField("_metadata", BindingFlags.NonPublic | BindingFlags.Instance);
var metadata = itemdata.GetValue(items[index]);
var column = metadata.GetType().GetField("column", BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Instance).GetValue(metadata);
var length = metadata.GetType().GetField("length", BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Instance).GetValue(metadata);
throw new DataFormatException(String.Format("Column: 0 contains data with a length greater than: 1", column, length));
throw;
【讨论】:
这个效果非常好,谢谢提交。 你知道是否也可以得到row nr吗? DataFormatException 是一个自定义异常,因此我可以将问题报告为无效的列长度。我还没有弄清楚如何获取行号。 很好的解决方案,唯一缺少的是在 catch sqlTran.RollBack(); 对大多数人来说可能是显而易见的,但 “SqlException 中返回的 colid 不是从零开始的” 帮助我解决了这个问题。【参考方案2】:excel 中的一个数据列(列 ID 6)有一个或多个单元格数据超过数据库中的 datacolumn 数据类型长度。
验证excel中的数据。还要验证 excel 中数据的格式是否符合数据库表架构。
为避免这种情况,请尝试超过数据库表中字符串数据类型的数据长度。
希望这会有所帮助。
【讨论】:
具体来说,如果您有任何 VARCHAR 小于 4 的列,请注意数据中的 NULL 被误解为 4char 字符串“NULL” @CrazyPyro 我的赞成票。由于您在上面的评论中提到的内容,我遇到了同样的错误。我将列的数据类型从 varchar(3) 更改为 varchar(5),错误消失了。该列确实具有 NULL 值。感谢您分享您的想法。【参考方案3】:我在使用 SQL BulkCopy 选项将字符串传递给数据库表时遇到了类似的问题。我传递的字符串是 3 个字符,而目标列的长度是 varchar(20)
。我尝试使用Trim()
函数在插入数据库之前修剪字符串,以检查问题是否是由于字符串中的任何空格(前导和尾随)造成的。修剪字符串后,它工作正常。
你可以试试text.Trim()
【讨论】:
太好了,非常感谢!这也是我的情况的确切原因 - 尾随空格,因此超出了列长度。 如果字符串可能为空,使用 text?.Trim()【参考方案4】:检查您正在执行批量插入/复制的表中列的大小。 varchar 或其他字符串列可能需要扩展,或者您插入的值需要修剪。列顺序也应与表中相同。
例如,将 varchar 列的大小从 30 增加到 50 =>
更改表 [dbo].[表名] ALTER COLUMN [ColumnName] Varchar(50)
【讨论】:
【参考方案5】:很棒的一段代码,感谢分享!
我最终使用反射来获取实际的 DataMemberName,以便在出现错误时返回给客户端(我在 WCF 服务中使用批量保存)。希望其他人会发现我的做法很有用。
static string GetDataMemberName(string colName, object t)
foreach(PropertyInfo propertyInfo in t.GetType().GetProperties())
if (propertyInfo.CanRead)
if (propertyInfo.Name == colName)
var attributes = propertyInfo.GetCustomAttributes(typeof(DataMemberAttribute), false).FirstOrDefault() as DataMemberAttribute;
if (attributes != null && !string.IsNullOrEmpty(attributes.Name))
return attributes.Name;
return colName;
return colName;
【讨论】:
如何实现?【参考方案6】:我收到了这个错误消息,它使用了更新的 ssis 版本(与 2015 企业版相比,我认为它是 ssis 2016)。我将在这里发表评论,因为这是您在谷歌上搜索此错误消息时出现的第一个参考。我认为当源字符大小大于目标字符大小时,它主要发生在字符列中。当我使用 ado.net 从 teradata 数据库输入 ms sql 时收到此消息。有趣的是,先前的 oledb 写入 ms sql 完美地处理了所有字符转换,没有编码覆盖。 colid 编号和相应的 Destination Input 列 # 您有时会从 colid 消息中获得,这些都是毫无价值的。当您从映射顶部倒数或类似的东西时,它不是列。如果我是微软,我会很尴尬地给出一条错误消息,看起来好像它指向问题列,但实际上并非如此。我通过有根据的猜测发现了问题,然后将映射的输入更改为“忽略”,然后重新运行并查看消息是否消失。在我的情况和我的环境中,我通过 substr( 将 Teradata 输入修复为输出列的 ms sql 声明的字符大小。检查并确保您的输入 substr 通过所有数据转换和映射传播。在我的如果没有,我不得不删除我所有的数据转换和映射并重新开始。再次有趣的是 OLEDB 刚刚处理了它,ADO.net 抛出了错误并且必须进行所有这些干预才能使其正常工作。一般来说,你当你的目标是 MS Sql 时应该使用 OLEDB。
【讨论】:
【参考方案7】:我只是偶然发现了这一点,并使用@b_stil 的 sn-p,我能够找出罪魁祸首。在进一步的调查中,我认为我需要像@Liji Chandran 建议的那样修剪列,但我使用的是 IExcelDataReader,我无法找到一种简单的方法来验证和修剪我的 160 列中的每一列。
然后我偶然发现了CSVReader 中的this class, (ValidatingDataReader) 类。
这个类的有趣之处在于它为您提供了源列和目标列的数据长度、罪魁祸首行,甚至是导致错误的列值。
我所做的只是修剪所有(nvarchar、varchar、char 和 nchar)列。
我刚刚将我的 GetValue
方法更改为:
object IDataRecord.GetValue(int i)
object columnValue = reader.GetValue(i);
if (i > -1 && i < lookup.Length)
DataRow columnDef = lookup[i];
if
(
(
(string)columnDef["DataTypeName"] == "varchar" ||
(string)columnDef["DataTypeName"] == "nvarchar" ||
(string)columnDef["DataTypeName"] == "char" ||
(string)columnDef["DataTypeName"] == "nchar"
) &&
(
columnValue != null &&
columnValue != DBNull.Value
)
)
string stringValue = columnValue.ToString().Trim();
columnValue = stringValue;
if (stringValue.Length > (int)columnDef["ColumnSize"])
string message =
"Column value \"" + stringValue.Replace("\"", "\\\"") + "\"" +
" with length " + stringValue.Length.ToString("###,##0") +
" from source column " + (this as IDataRecord).GetName(i) +
" in record " + currentRecord.ToString("###,##0") +
" does not fit in destination column " + columnDef["ColumnName"] +
" with length " + ((int)columnDef["ColumnSize"]).ToString("###,##0") +
" in table " + tableName +
" in database " + databaseName +
" on server " + serverName + ".";
if (ColumnException == null)
throw new Exception(message);
else
ColumnExceptionEventArgs args = new ColumnExceptionEventArgs();
args.DataTypeName = (string)columnDef["DataTypeName"];
args.DataType = Type.GetType((string)columnDef["DataType"]);
args.Value = columnValue;
args.SourceIndex = i;
args.SourceColumn = reader.GetName(i);
args.DestIndex = (int)columnDef["ColumnOrdinal"];
args.DestColumn = (string)columnDef["ColumnName"];
args.ColumnSize = (int)columnDef["ColumnSize"];
args.RecordIndex = currentRecord;
args.TableName = tableName;
args.DatabaseName = databaseName;
args.ServerName = serverName;
args.Message = message;
ColumnException(args);
columnValue = args.Value;
return columnValue;
希望这对某人有所帮助
【讨论】:
以上是关于从 bcp 客户端接收到 colid 6 的无效列长度的主要内容,如果未能解决你的问题,请参考以下文章
从客户端接收到第一个数据包后,C ++ UDP Socket无法从服务器发送回客户端
如何使 Syslog-ng 服务器在从客户端接收到的日志中显示设施、优先级?