我有一个大型数据集(185GB),我计划在其上执行一些机器学习算法.数据位于具有受限计算能力的本地计算机上.我可以访问远程集群,在那里我可以执行计算量很大的算法.它有1TB的内存,速度非常快.但由于某些原因,我在远程服务器上只有2GB(！)的磁盘存储空间.

我可以通过SSH连接到集群,有没有办法在python上我可以通过SSH将数据库加载到RAM？

关于如何解决这个问题的任何一般提示非常感谢.

最佳答案 您可能希望使用 paramiko,以便可以在Python中使用SSH连接.然后,您可以运行输出数据的命令并从流中读取它.这比复制文件更好,因为它不会涉及将数据复制到磁盘.如果数据在文件中,那么您可以使用paramiko来捕获文件并从流中读取数据.