python – scipy.sparse.linalg.spsolve Linux系统上大型稀疏矩阵的令人惊讶的行为

2019年7月27日 437次阅读

我正在计算线性系统Ax = b的解决方案,其中A为大(通常为200,000行和相关密集矩阵的列)稀疏矩阵,b为约100列的稀疏矩阵.

当我在Windows系统上运行我的代码(Python 2.7,scipy 0.14.0)时,执行以下命令

from scipy.sparse.linalg import spsolve
...
Temp = spsolve(A.tocsc(),b.tocsc())

运行平稳,需要大约7 GB的内存.

在Linux系统上使用完全相同的矩阵运行完全相同的代码(相同的CPU,相同数量的RAM内存：64 GB,Linux Mint 17.3,python 2.7,scipy 0.13.3)需要超过20 GB的ram内存并且它会崩溃以下错误消息：

< function umfpack_di_numeric at …> UMFPACK_ERROR_out_of_memory失败(参见1)

因为这个错误依赖于os,我排除了关于矩阵A和b的任何问题(与一些提到的解决方案in this post相反),我试图找到一个特定于Linux的修复…但我不知道在哪里开始…有没有人会知道发生了什么？为什么这样的问题会特定于Linux系统？

请在下面找到完整的错误消息：

Tkinter回调中的异常
 Traceback(最近一次调用最后一次)：
  在__call__中输入文件“/usr/lib/python2.7/lib-tk/Tkinter.py”,第1489行
    return self.func(* args)
  在mmvConstruction中输入“…”,第1533行
    …
  在modes_cb中输入“…”,第1555行
    Temp = spsolve(k [inter] [：,inter] .tocsc(),k [inter] [：,exter] .tocsc())
  spsolve中的文件“/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py”,第151行
    Afactsolve =分解(A)
  文件“/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py”,第352行,在分解中
    umf.numeric(A)
  文件“/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/umfpack/umfpack.py”,第450行,数字
    umfStatus [状态]))
RuntimeError：< function umfpack_di_numeric at …> UMFPACK_ERROR_out_of_memory失败

《python – scipy.sparse.linalg.spsolve Linux系统上大型稀疏矩阵的令人惊讶的行为》

更新：仍然试图找到解决方案……似乎Linux Mint上最新版本的BLAS已经很老了：1.8.2.在Windows上,我使用BLAS 1.9.1.使用此处提供的test_numpy.py文件时：https://gist.github.com/osdf/3842524#file-test_numpy-py我注意到Linux和Windows之间存在非常显着的差异：Linux：版本1.8.2,maxint 9223372036854775807,点：0.76 s – Windows：版本1.9.1,maxint 2147483647,点：0,037 s .我正在调查Linux上的OPENBLAS是否可以解决这个问题……

更新2：我意识到问题可能与硬件有关.实际上,较旧的PC在同一个Linux Mint发行版(Rosa 17.3)上具有完全相同的库,可以提供更令人满意的结果.第一次更新中提到的基准测试在这台旧PC上提供：Linux：版本1.8.2,maxint 9223372036854775807,点：0,054 s.

最佳答案 好吧,经过彻底的调查,我现在确信我遇到的问题与Linux Mint(Rosa 17.3)可能没有针对最新处理器进行优化这一事实有关.

我在帖子更新中提到的比较强调了软件安装是正确的.然后我在我的电脑上安装了Fedora 23,顺序安装：

> libblas
> python
> python-scipy

然后我用完全相同的矩阵运行完全相同的代码,并且没有任何问题：RAM消耗限制在大约7 GB,类似于在Windows系统上观察到的.

点赞