我有一台带有128 GB RAM的64位PC,我正在使用C#和.NET 4.5.
我有以下代码:
double[,] m1 = new double[65535, 65535];
long l1 = m1.LongLength;
double[,] m2 = new double[65536, 65536]; // Array dimensions exceeded supported range
long l2 = m2.LongLength;
我知道< gcAllowVeryLargeObjects enabled =“true”/>我把它设置为真.
为什么多维数组不能超过4294967295个元素?
我看到以下答案https://stackoverflow.com/a/2338797/7556646.
我检查了gcAllowVeryLargeObjects的文档,我看到了以下注释.
The maximum number of elements in array is 07002 (4294967295).
我不明白为什么有这个限制?有解决方法吗?是否计划在即将推出的.net版本中删除此限制?
我需要在存储器中的元素,因为我想计算例如使用英特尔MKL的对称特征值分解.
[DllImport("custom_mkl", CallingConvention = CallingConvention.Cdecl, ExactSpelling = true, SetLastError = false)]
internal static extern lapack_int LAPACKE_dsyevd(
int matrix_layout, char jobz, char uplo, lapack_int n, [In, Out] double[,] a, lapack_int lda, [In, Out] double[] w);
最佳答案 免责声明:这个结果比预期更长
为什么CLR不支持大型数组
CLR不支持托管堆上的大型数组有多种原因.
其中一些是技术性的,其中一些可能是“范式的”.
这个blog post涉及到为什么存在限制的一些原因.基本上,由于内存碎片,决定限制(大写O)对象的最大大小.实现处理较大对象的成本与这样一个事实进行权衡,即在大多数情况下,由于程序员的设计谬误,需要这样大的对象和那些需要大量对象的用例.
因为,对于CLR,一切都是对象,这个限制也适用于数组.为了强制实施此限制,数组索引器采用带符号整数设计.
但是一旦你确定,你的程序设计要求你有这么大的阵列,你将需要一个解决方法.
上面提到的博客文章还表明,您可以实现大型数组而无需进入非托管区域.
但正如Evk在评论中指出的那样,你想通过PInvoke将数组作为一个整体传递给外部函数.这意味着您将需要非托管堆上的数组,或者它必须在调用期间进行封送处理.整个事情的编组是一个坏主意,这个数组很大.
解决方法
因此,由于托管堆是不可能的,因此您需要在非托管堆上分配空间并将该空间用于您的阵列.
假设您需要8 GB的空间:
long size = (1L << 33);
IntPtr basePointer = System.Runtime.InteropServices.Marshal.AllocHGlobal((IntPtr)size);
大!现在,您在虚拟内存中有一个区域,您可以在其中存储最多8 GB的数据.
如何将其转换为数组?
那么C#有两种方法
“不安全”的方法
这将让你使用指针.指针可以转换为数组. (在香草C中它们通常是同一个)
如果您对如何通过指针实现2D阵列有一个好主意,那么这将是您的最佳选择.
这是pointer
“元帅”方法
您不需要不安全的上下文,而是必须将您的数据从托管堆“编组”到非托管堆.你仍然需要理解指针算术.
您要使用的两个主要功能是PtrToStructure和反向StructureToPtr.使用一个您将获得非托管堆上指定位置的值类型(例如双精度)的副本.使用另一个,您将在非托管堆上放置值类型的副本.
从某种意义上说,这两种方法都是“不安全的”.你需要知道你的pointers
常见陷阱包括但不限于:
>忘记严格检查边界
>混合我的元素的大小
>弄清楚对齐方式
>混合你想要的2D阵列
>忘记使用2D数组进行填充
>忘记释放记忆
>忘记释放内存并使用它无论如何
您可能希望将2D阵列设计转换为一维阵列设计
在任何情况下,您都希望将其全部包含在具有相应检查和destsructors的类中.
灵感的基本例子
接下来是基于非托管堆的“类似”数组的泛型类.
特色包括:
>它有一个接受64位整数的索引访问器.
>它限制了T可以成为值类型的类型.
>它有一定的检查和一次性.
如果你注意到,我没有进行任何类型检查,所以如果Marshal.SizeOf无法返回正确的数字,我们就会落入上面提到的一个坑中.
您必须自己实现的功能包括:
> 2D Accessor和2D Array算法(取决于其他库所期望的,通常它类似于p = x * size y
>用于PInvoke目的的暴露指针(或内部调用)
因此,只使用它作为灵感,如果有的话.
using static System.Runtime.InteropServices.Marshal;
public class LongArray<T> : IDisposable where T : struct {
private IntPtr _head;
private Int64 _capacity;
private UInt64 _bytes;
private Int32 _elementSize;
public LongArray(long capacity) {
if(_capacity < 0) throw new ArgumentException("The capacity can not be negative");
_elementSize = SizeOf(default(T));
_capacity = capacity;
_bytes = (ulong)capacity * (ulong)_elementSize;
_head = AllocHGlobal((IntPtr)_bytes);
}
public T this[long index] {
get {
IntPtr p = _getAddress(index);
T val = (T)System.Runtime.InteropServices.Marshal.PtrToStructure(p, typeof(T));
return val;
}
set {
IntPtr p = _getAddress(index);
StructureToPtr<T>(value, p, true);
}
}
protected bool disposed = false;
public void Dispose() {
if(!disposed) {
FreeHGlobal((IntPtr)_head);
disposed = true;
}
}
protected IntPtr _getAddress(long index) {
if(disposed) throw new ObjectDisposedException("Can't access the array once it has been disposed!");
if(index < 0) throw new IndexOutOfRangeException("Negative indices are not allowed");
if(!(index < _capacity)) throw new IndexOutOfRangeException("Index is out of bounds of this array");
return (IntPtr)((ulong)_head + (ulong)index * (ulong)(_elementSize));
}
}