从 bcp 客户端接收到 colid 6 的无效列长度

Posted 2023-04-12

【中文标题】从 bcp 客户端接收到 colid 6 的无效列长度

【英文标题】：Received an invalid column length from the bcp client for colid 6

【发布时间】：2012-05-13 15:15:06

【问题描述】：

我想将 csv 文件数据从 c# 代码批量上传到 sql server 2005 但我遇到以下错误 -

从 bcp 客户端收到的 colid 6 的列长度无效。

当批量复制写入数据库服务器时

【参考方案1】：

我知道这篇文章很旧，但我遇到了同样的问题，最后找到了一个解决方案来确定是哪一列导致了问题，并根据需要报告回来。我确定 SqlException 中返回的 colid 不是从零开始的，因此您需要从中减去 1 才能获得该值。之后，它用作 SqlBulkCopy 实例的 _sortedColumnMappings ArrayList 的索引，而不是添加到 SqlBulkCopy 实例的列映射的索引。需要注意的一点是 SqlBulkCopy 将在收到第一个错误时停止，因此这可能不是唯一的问题，但至少有助于解决这个问题。

try

    bulkCopy.WriteToServer(importTable);
    sqlTran.Commit();
    
catch (SqlException ex)

    if (ex.Message.Contains("Received an invalid column length from the bcp client for colid"))
    
        string pattern = @"\d+";
        Match match = Regex.Match(ex.Message.ToString(), pattern);
        var index = Convert.ToInt32(match.Value) -1;

        FieldInfo fi = typeof(SqlBulkCopy).GetField("_sortedColumnMappings", BindingFlags.NonPublic | BindingFlags.Instance);
        var sortedColumns = fi.GetValue(bulkCopy);
        var items = (Object[])sortedColumns.GetType().GetField("_items", BindingFlags.NonPublic | BindingFlags.Instance).GetValue(sortedColumns);

        FieldInfo itemdata = items[index].GetType().GetField("_metadata", BindingFlags.NonPublic | BindingFlags.Instance);
        var metadata = itemdata.GetValue(items[index]);

        var column = metadata.GetType().GetField("column", BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Instance).GetValue(metadata);
        var length = metadata.GetType().GetField("length", BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Instance).GetValue(metadata);
        throw new DataFormatException(String.Format("Column: 0 contains data with a length greater than: 1", column, length));
    

    throw;

【讨论】：

这个效果非常好，谢谢提交。

你知道是否也可以得到row nr吗？

DataFormatException 是一个自定义异常，因此我可以将问题报告为无效的列长度。我还没有弄清楚如何获取行号。

很好的解决方案，唯一缺少的是在 catch sqlTran.RollBack();

对大多数人来说可能是显而易见的，但 “SqlException 中返回的 colid 不是从零开始的” 帮助我解决了这个问题。

【参考方案2】：

excel 中的一个数据列（列 ID 6）有一个或多个单元格数据超过数据库中的 datacolumn 数据类型长度。

验证excel中的数据。还要验证 excel 中数据的格式是否符合数据库表架构。

为避免这种情况，请尝试超过数据库表中字符串数据类型的数据长度。

希望这会有所帮助。

【讨论】：

具体来说，如果您有任何 VARCHAR 小于 4 的列，请注意数据中的 NULL 被误解为 4char 字符串“NULL”

@CrazyPyro 我的赞成票。由于您在上面的评论中提到的内容，我遇到了同样的错误。我将列的数据类型从 varchar(3) 更改为 varchar(5)，错误消失了。该列确实具有 NULL 值。感谢您分享您的想法。

【参考方案3】：

我在使用 SQL BulkCopy 选项将字符串传递给数据库表时遇到了类似的问题。我传递的字符串是 3 个字符，而目标列的长度是 varchar(20)。我尝试使用Trim() 函数在插入数据库之前修剪字符串，以检查问题是否是由于字符串中的任何空格（前导和尾随）造成的。修剪字符串后，它工作正常。

你可以试试text.Trim()

【讨论】：

太好了，非常感谢！这也是我的情况的确切原因 - 尾随空格，因此超出了列长度。

如果字符串可能为空，使用 text?.Trim()

【参考方案4】：

检查您正在执行批量插入/复制的表中列的大小。 varchar 或其他字符串列可能需要扩展，或者您插入的值需要修剪。列顺序也应与表中相同。

例如，将 varchar 列的大小从 30 增加到 50 =>

更改表 [dbo].[表名] ALTER COLUMN [ColumnName] Varchar(50)

【参考方案5】：

很棒的一段代码，感谢分享！

我最终使用反射来获取实际的 DataMemberName，以便在出现错误时返回给客户端（我在 WCF 服务中使用批量保存）。希望其他人会发现我的做法很有用。

static string GetDataMemberName(string colName, object t) 
  foreach(PropertyInfo propertyInfo in t.GetType().GetProperties()) 
    if (propertyInfo.CanRead) 
      if (propertyInfo.Name == colName) 
        var attributes = propertyInfo.GetCustomAttributes(typeof(DataMemberAttribute), false).FirstOrDefault() as DataMemberAttribute;
        if (attributes != null && !string.IsNullOrEmpty(attributes.Name))
          return attributes.Name;
        return colName;
      
    
  
  return colName;

【讨论】：

如何实现？

【参考方案6】：

我收到了这个错误消息，它使用了更新的 ssis 版本（与 2015 企业版相比，我认为它是 ssis 2016）。我将在这里发表评论，因为这是您在谷歌上搜索此错误消息时出现的第一个参考。我认为当源字符大小大于目标字符大小时，它主要发生在字符列中。当我使用 ado.net 从 teradata 数据库输入 ms sql 时收到此消息。有趣的是，先前的 oledb 写入 ms sql 完美地处理了所有字符转换，没有编码覆盖。 colid 编号和相应的 Destination Input 列 # 您有时会从 colid 消息中获得，这些都是毫无价值的。当您从映射顶部倒数或类似的东西时，它不是列。如果我是微软，我会很尴尬地给出一条错误消息，看起来好像它指向问题列，但实际上并非如此。我通过有根据的猜测发现了问题，然后将映射的输入更改为“忽略”，然后重新运行并查看消息是否消失。在我的情况和我的环境中，我通过 substr( 将 Teradata 输入修复为输出列的 ms sql 声明的字符大小。检查并确保您的输入 substr 通过所有数据转换和映射传播。在我的如果没有，我不得不删除我所有的数据转换和映射并重新开始。再次有趣的是 OLEDB 刚刚处理了它，ADO.net 抛出了错误并且必须进行所有这些干预才能使其正常工作。一般来说，你当你的目标是 MS Sql 时应该使用 OLEDB。

【参考方案7】：

我只是偶然发现了这一点，并使用@b_stil 的 sn-p，我能够找出罪魁祸首。在进一步的调查中，我认为我需要像@Liji Chandran 建议的那样修剪列，但我使用的是 IExcelDataReader，我无法找到一种简单的方法来验证和修剪我的 160 列中的每一列。

然后我偶然发现了CSVReader 中的this class, (ValidatingDataReader) 类。

这个类的有趣之处在于它为您提供了源列和目标列的数据长度、罪魁祸首行，甚至是导致错误的列值。

我所做的只是修剪所有（nvarchar、varchar、char 和 nchar）列。

我刚刚将我的 GetValue 方法更改为：

 object IDataRecord.GetValue(int i)
    
        object columnValue = reader.GetValue(i);

        if (i > -1 && i < lookup.Length)
        
            DataRow columnDef = lookup[i];
            if
            (
                (
                    (string)columnDef["DataTypeName"] == "varchar" ||
                    (string)columnDef["DataTypeName"] == "nvarchar" ||
                    (string)columnDef["DataTypeName"] == "char" ||
                    (string)columnDef["DataTypeName"] == "nchar"
                ) &&
                (
                    columnValue != null &&
                    columnValue != DBNull.Value
                )
            )
            
                string stringValue = columnValue.ToString().Trim();

                columnValue = stringValue;


                if (stringValue.Length > (int)columnDef["ColumnSize"])
                
                    string message =
                        "Column value \"" + stringValue.Replace("\"", "\\\"") + "\"" +
                        " with length " + stringValue.Length.ToString("###,##0") +
                        " from source column " + (this as IDataRecord).GetName(i) +
                        " in record " + currentRecord.ToString("###,##0") +
                        " does not fit in destination column " + columnDef["ColumnName"] +
                        " with length " + ((int)columnDef["ColumnSize"]).ToString("###,##0") +
                        " in table " + tableName +
                        " in database " + databaseName +
                        " on server " + serverName + ".";

                    if (ColumnException == null)
                    
                        throw new Exception(message);
                    
                    else
                    
                        ColumnExceptionEventArgs args = new ColumnExceptionEventArgs();

                        args.DataTypeName = (string)columnDef["DataTypeName"];
                        args.DataType = Type.GetType((string)columnDef["DataType"]);
                        args.Value = columnValue;
                        args.SourceIndex = i;
                        args.SourceColumn = reader.GetName(i);
                        args.DestIndex = (int)columnDef["ColumnOrdinal"];
                        args.DestColumn = (string)columnDef["ColumnName"];
                        args.ColumnSize = (int)columnDef["ColumnSize"];
                        args.RecordIndex = currentRecord;
                        args.TableName = tableName;
                        args.DatabaseName = databaseName;
                        args.ServerName = serverName;
                        args.Message = message;

                        ColumnException(args);

                        columnValue = args.Value;
                    
                



            
        

        return columnValue;
    

希望这对某人有所帮助