如何拆分字节数组

Posted

技术标签:

【中文标题】如何拆分字节数组【英文标题】:How to split a byte array 【发布时间】:2010-09-06 10:54:33 【问题描述】:

我在内存中有一个字节数组,从文件中读取。我想在某个点(索引)拆分字节数组,而不必只创建一个新的字节数组并一次复制每个字节,从而增加操作的内存占用量。我想要的是这样的:

byte[] largeBytes = [1,2,3,4,5,6,7,8,9];  
byte[] smallPortion;  
smallPortion = split(largeBytes, 3);  

smallPortion 等于 1,2,3,4largeBytes 等于 5,6,7,8,9

【问题讨论】:

【参考方案1】:

在带有 Linq 的 C# 中,您可以这样做:

smallPortion = largeBytes.Take(4).ToArray();
largeBytes = largeBytes.Skip(4).Take(5).ToArray();

;)

【讨论】:

OP 想知道如何做到这一点不必 [...] 创建一个新的字节数组并一次复制每个字节 但这正是您的 LINQ代码可以。两次。 ..这帮助我解决了ArraySegment<T>..没有解决的问题。 @Christian,为了避免使用额外的内存,只需删除两个“.ToArray()”调用。这将返回两个 IEnumerable,其代码行数要少得多。 @GerardoGrignoli 是的,但这会给你一个IEnumerable<byte>。虽然迭代该可枚举多次是完全安全(且快速)的,但有两个缺点:a)您仍然不能直接索引到数组的该部分。当然,Skip/Take 的 LINQ 实现利用了数组结构,但他们通过尝试将 IEnumerable 强制转换为 Collection 或 Array 来实现这一点。 b) 一旦您从 API 返回一个 IEnumerable,客户端就不再保证(由类型系统)该 enumerable 可以安全且高效地进行多次迭代。【参考方案2】:

仅供参考。 System.ArraySegment<T> 结构与上面代码中的ArrayView<T> 基本相同。如果您愿意,可以以同样的方式使用这种开箱即用的结构。

【讨论】:

有趣。可惜我在做那个项目的时候没有看到这个。无论如何感谢您的信息。【参考方案3】:

我会这样做:

using System;
using System.Collections;
using System.Collections.Generic;

class ArrayView<T> : IEnumerable<T>

    private readonly T[] array;
    private readonly int offset, count;

    public ArrayView(T[] array, int offset, int count)
    
        this.array = array;
        this.offset = offset;
        this.count = count;
    

    public int Length
    
        get  return count; 
    

    public T this[int index]
    
        get
        
            if (index < 0 || index >= this.count)
                throw new IndexOutOfRangeException();
            else
                return this.array[offset + index];
        
        set
        
            if (index < 0 || index >= this.count)
                throw new IndexOutOfRangeException();
            else
                this.array[offset + index] = value;
        
    

    public IEnumerator<T> GetEnumerator()
    
        for (int i = offset; i < offset + count; i++)
            yield return array[i];
    

    IEnumerator IEnumerable.GetEnumerator()
    
        IEnumerator<T> enumerator = this.GetEnumerator();
        while (enumerator.MoveNext())
        
            yield return enumerator.Current;
        
    


class Program

    static void Main(string[] args)
    
        byte[] arr =  1, 2, 3, 4, 5, 6, 7, 8, 9, 0 ;
        ArrayView<byte> p1 = new ArrayView<byte>(arr, 0, 5);
        ArrayView<byte> p2 = new ArrayView<byte>(arr, 5, 5);
        Console.WriteLine("First array:");
        foreach (byte b in p1)
        
            Console.Write(b);
        
        Console.Write("\n");
        Console.WriteLine("Second array:");
        foreach (byte b in p2)
        
            Console.Write(b);
        
        Console.ReadKey();
    

【讨论】:

【参考方案4】:

试试这个:

private IEnumerable<byte[]> ArraySplit(byte[] bArray, int intBufforLengt)
    
        int bArrayLenght = bArray.Length;
        byte[] bReturn = null;

        int i = 0;
        for (; bArrayLenght > (i + 1) * intBufforLengt; i++)
        
            bReturn = new byte[intBufforLengt];
            Array.Copy(bArray, i * intBufforLengt, bReturn, 0, intBufforLengt);
            yield return bReturn;
        

        int intBufforLeft = bArrayLenght - i * intBufforLengt;
        if (intBufforLeft > 0)
        
            bReturn = new byte[intBufforLeft];
            Array.Copy(bArray, i * intBufforLengt, bReturn, 0, intBufforLeft);
            yield return bReturn;
        
    

【讨论】:

我觉得应该是静态的【参考方案5】:

作为Eren said,您可以使用ArraySegment&lt;T&gt;。下面是一个扩展方法和使用示例:

public static class ArrayExtensionMethods

    public static ArraySegment<T> GetSegment<T>(this T[] arr, int offset, int? count = null)
    
        if (count == null)  count = arr.Length - offset; 
        return new ArraySegment<T>(arr, offset, count.Value);
    


void Main()

    byte[] arr =  1, 2, 3, 4, 5, 6, 7, 8, 9, 0 ;
    var p1 = arr.GetSegment(0, 5);
    var p2 = arr.GetSegment(5);
    Console.WriteLine("First array:");
    foreach (byte b in p1)
    
        Console.Write(b);
    
    Console.Write("\n");
    Console.WriteLine("Second array:");
    foreach (byte b in p2)
    
        Console.Write(b);
    

【讨论】:

【参考方案6】:

我不确定你的意思:

我想在某个点(索引)拆分字节数组,而不必只创建一个新的字节数组并一次复制每个字节,从而增加操作的内存占用量。

在大多数语言中,尤其是 C#,一旦分配了一个数组,就无法改变它的大小。听起来您正在寻找一种方法来更改数组的长度,而这是您无法做到的。您还想以某种方式回收数组第二部分的内存,以创建第二个数组,您也不能这样做。

总而言之:只需创建一个新数组即可。

【讨论】:

【参考方案7】:

你不能。您可能想要的是保留起点和项目数量;本质上,构建迭代器。如果这是 C++,您可以使用 std::vector&lt;int&gt; 并使用内置的。

在 C# 中,我会构建一个小型迭代器类,它包含起始索引、计数并实现 IEnumerable&lt;&gt;

【讨论】:

【参考方案8】:

我尝试了不同的算法:

Skip().Take() => 最糟糕的,到目前为止 Array.Copy ArraySegment 新的 Guid(int, int16, int16 ...)

最新的是最快的我现在使用这个扩展方法:

        public static Guid ToGuid(this byte[] byteArray, int offset)
        
            return new Guid(BitConverter.ToInt32(byteArray, offset), BitConverter.ToInt16(byteArray, offset + 4), BitConverter.ToInt16(byteArray, offset + 6), byteArray[offset + 8], byteArray[offset + 9], byteArray[offset + 10], byteArray[offset + 11], byteArray[offset + 12], byteArray[offset + 13], byteArray[offset + 14], byteArray[offset + 15]);
        

使用具有 10000000 个 guid 的字节数组:

Done (Skip().Take()) in 1,156ms (for only 100000 guids :))
Done (Array.Copy) in 1,219ms
Done (ToGuid extension) in 994ms
Done (ArraySegment) in 2,411ms

【讨论】:

以上是关于如何拆分字节数组的主要内容,如果未能解决你的问题,请参考以下文章

如何将int型数值赋值给char型数组

如何在golang中将字节附加到字节数组?不是字节数组到字节数组切片等[重复]

java字节数组如何判断实际元素个数。

在C++中,如何把字节数组转换成字符串

如何将字节数组的字符串转换为字节数组

VB如何读取一个图片,保存到字节数组中