从 bcp 客户端接收到 colid 6 的无效列长度

Posted

技术标签:

【中文标题】从 bcp 客户端接收到 colid 6 的无效列长度【英文标题】:Received an invalid column length from the bcp client for colid 6 【发布时间】:2012-05-13 15:15:06 【问题描述】:

我想将 csv 文件数据从 c# 代码批量上传到 sql server 2005 但我遇到以下错误 -

从 bcp 客户端收到的 colid 6 的列长度无效。

当批量复制写入数据库服务器时

【问题讨论】:

【参考方案1】:

我知道这篇文章很旧,但我遇到了同样的问题,最后找到了一个解决方案来确定是哪一列导致了问题,并根据需要报告回来。我确定 SqlException 中返回的 colid 不是从零开始的,因此您需要从中减去 1 才能获得该值。之后,它用作 SqlBulkCopy 实例的 _sortedColumnMappings ArrayList 的索引,而不是添加到 SqlBulkCopy 实例的列映射的索引。需要注意的一点是 SqlBulkCopy 将在收到第一个错误时停止,因此这可能不是唯一的问题,但至少有助于解决这个问题。

try

    bulkCopy.WriteToServer(importTable);
    sqlTran.Commit();
    
catch (SqlException ex)

    if (ex.Message.Contains("Received an invalid column length from the bcp client for colid"))
    
        string pattern = @"\d+";
        Match match = Regex.Match(ex.Message.ToString(), pattern);
        var index = Convert.ToInt32(match.Value) -1;

        FieldInfo fi = typeof(SqlBulkCopy).GetField("_sortedColumnMappings", BindingFlags.NonPublic | BindingFlags.Instance);
        var sortedColumns = fi.GetValue(bulkCopy);
        var items = (Object[])sortedColumns.GetType().GetField("_items", BindingFlags.NonPublic | BindingFlags.Instance).GetValue(sortedColumns);

        FieldInfo itemdata = items[index].GetType().GetField("_metadata", BindingFlags.NonPublic | BindingFlags.Instance);
        var metadata = itemdata.GetValue(items[index]);

        var column = metadata.GetType().GetField("column", BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Instance).GetValue(metadata);
        var length = metadata.GetType().GetField("length", BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Instance).GetValue(metadata);
        throw new DataFormatException(String.Format("Column: 0 contains data with a length greater than: 1", column, length));
    

    throw;

【讨论】:

这个效果非常好,谢谢提交。 你知道是否也可以得到row nr吗? DataFormatException 是一个自定义异常,因此我可以将问题报告为无效的列长度。我还没有弄清楚如何获取行号。 很好的解决方案,唯一缺少的是在 catch sqlTran.RollBack(); 对大多数人来说可能是显而易见的,但 “SqlException 中返回的 colid 不是从零开始的” 帮助我解决了这个问题。【参考方案2】:

excel 中的一个数据列(列 ID 6)有一个或多个单元格数据超过数据库中的 datacolumn 数据类型长度。

验证excel中的数据。还要验证 excel 中数据的格式是否符合数据库表架构。

为避免这种情况,请尝试超过数据库表中字符串数据类型的数据长度。

希望这会有所帮助。

【讨论】:

具体来说,如果您有任何 VARCHAR 小于 4 的列,请注意数据中的 NULL 被误解为 4char 字符串“NULL” @CrazyPyro 我的赞成票。由于您在上面的评论中提到的内容,我遇到了同样的错误。我将列的数据类型从 varchar(3) 更改为 varchar(5),错误消失了。该列确实具有 NULL 值。感谢您分享您的想法。【参考方案3】:

我在使用 SQL BulkCopy 选项将字符串传递给数据库表时遇到了类似的问题。我传递的字符串是 3 个字符,而目标列的长度是 varchar(20)。我尝试使用Trim() 函数在插入数据库之前修剪字符串,以检查问题是否是由于字符串中的任何空格(前导和尾随)造成的。修剪字符串后,它工作正常。

你可以试试text.Trim()

【讨论】:

太好了,非常感谢!这也是我的情况的确切原因 - 尾随空格,因此超出了列长度。 如果字符串可能为空,使用 text?.Trim()【参考方案4】:

检查您正在执行批量插入/复制的表中列的大小。 varchar 或其他字符串列可能需要扩展,或者您插入的值需要修剪。列顺序也应与表中相同。

例如,将 varchar 列的大小从 30 增加到 50 =>

更改表 [dbo].[表名] ALTER COLUMN [ColumnName] Varchar(50)

【讨论】:

【参考方案5】:

很棒的一段代码,感谢分享!

我最终使用反射来获取实际的 DataMemberName,以便在出现错误时返回给客户端(我在 WCF 服务中使用批量保存)。希望其他人会发现我的做法很有用。

static string GetDataMemberName(string colName, object t) 
  foreach(PropertyInfo propertyInfo in t.GetType().GetProperties()) 
    if (propertyInfo.CanRead) 
      if (propertyInfo.Name == colName) 
        var attributes = propertyInfo.GetCustomAttributes(typeof(DataMemberAttribute), false).FirstOrDefault() as DataMemberAttribute;
        if (attributes != null && !string.IsNullOrEmpty(attributes.Name))
          return attributes.Name;
        return colName;
      
    
  
  return colName;

【讨论】:

如何实现?【参考方案6】:

我收到了这个错误消息,它使用了更新的 ssis 版本(与 2015 企业版相比,我认为它是 ssis 2016)。我将在这里发表评论,因为这是您在谷歌上搜索此错误消息时出现的第一个参考。我认为当源字符大小大于目标字符大小时,它主要发生在字符列中。当我使用 ado.net 从 teradata 数据库输入 ms sql 时收到此消息。有趣的是,先前的 oledb 写入 ms sql 完美地处理了所有字符转换,没有编码覆盖。 colid 编号和相应的 Destination Input 列 # 您有时会从 colid 消息中获得,这些都是毫无价值的。当您从映射顶部倒数或类似的东西时,它不是列。如果我是微软,我会很尴尬地给出一条错误消息,看起来好像它指向问题列,但实际上并非如此。我通过有根据的猜测发现了问题,然后将映射的输入更改为“忽略”,然后重新运行并查看消息是否消失。在我的情况和我的环境中,我通过 substr( 将 Teradata 输入修复为输出列的 ms sql 声明的字符大小。检查并确保您的输入 substr 通过所有数据转换和映射传播。在我的如果没有,我不得不删除我所有的数据转换和映射并重新开始。再次有趣的是 OLEDB 刚刚处理了它,ADO.net 抛出了错误并且必须进行所有这些干预才能使其正常工作。一般来说,你当你的目标是 MS Sql 时应该使用 OLEDB。

【讨论】:

【参考方案7】:

我只是偶然发现了这一点,并使用@b_stil 的 sn-p,我能够找出罪魁祸首。在进一步的调查中,我认为我需要像@Liji Chandran 建议的那样修剪列,但我使用的是 IExcelDataReader,我无法找到一种简单的方法来验证和修剪我的 160 列中的每一列。

然后我偶然发现了CSVReader 中的this class, (ValidatingDataReader) 类。

这个类的有趣之处在于它为您提供了源列和目标列的数据长度、罪魁祸首行,甚至是导致错误的列值。

我所做的只是修剪所有(nvarchar、varchar、char 和 nchar)列。

我刚刚将我的 GetValue 方法更改为:

 object IDataRecord.GetValue(int i)
    
        object columnValue = reader.GetValue(i);

        if (i > -1 && i < lookup.Length)
        
            DataRow columnDef = lookup[i];
            if
            (
                (
                    (string)columnDef["DataTypeName"] == "varchar" ||
                    (string)columnDef["DataTypeName"] == "nvarchar" ||
                    (string)columnDef["DataTypeName"] == "char" ||
                    (string)columnDef["DataTypeName"] == "nchar"
                ) &&
                (
                    columnValue != null &&
                    columnValue != DBNull.Value
                )
            )
            
                string stringValue = columnValue.ToString().Trim();

                columnValue = stringValue;


                if (stringValue.Length > (int)columnDef["ColumnSize"])
                
                    string message =
                        "Column value \"" + stringValue.Replace("\"", "\\\"") + "\"" +
                        " with length " + stringValue.Length.ToString("###,##0") +
                        " from source column " + (this as IDataRecord).GetName(i) +
                        " in record " + currentRecord.ToString("###,##0") +
                        " does not fit in destination column " + columnDef["ColumnName"] +
                        " with length " + ((int)columnDef["ColumnSize"]).ToString("###,##0") +
                        " in table " + tableName +
                        " in database " + databaseName +
                        " on server " + serverName + ".";

                    if (ColumnException == null)
                    
                        throw new Exception(message);
                    
                    else
                    
                        ColumnExceptionEventArgs args = new ColumnExceptionEventArgs();

                        args.DataTypeName = (string)columnDef["DataTypeName"];
                        args.DataType = Type.GetType((string)columnDef["DataType"]);
                        args.Value = columnValue;
                        args.SourceIndex = i;
                        args.SourceColumn = reader.GetName(i);
                        args.DestIndex = (int)columnDef["ColumnOrdinal"];
                        args.DestColumn = (string)columnDef["ColumnName"];
                        args.ColumnSize = (int)columnDef["ColumnSize"];
                        args.RecordIndex = currentRecord;
                        args.TableName = tableName;
                        args.DatabaseName = databaseName;
                        args.ServerName = serverName;
                        args.Message = message;

                        ColumnException(args);

                        columnValue = args.Value;
                    
                



            
        

        return columnValue;
    

希望这对某人有所帮助

【讨论】:

以上是关于从 bcp 客户端接收到 colid 6 的无效列长度的主要内容,如果未能解决你的问题,请参考以下文章

从客户端接收到第一个数据包后,C ++ UDP Socket无法从服务器发送回客户端

TCP套接字服务器如何判断从客户端接收到的数据何时完成?

如何使 Syslog-ng 服务器在从客户端接收到的日志中显示设施、优先级?

插入标识列的 BCP 格式是啥

Postgres 在 SQL Server BCP 文件的最后一个预期列之后复制错误额外数据

安装 BCP 而不在客户端计算机上安装 SQL Server?