python使用subprocess模块运行其他程序并获取输出及结果

先说说背景。

这几天项目中遇到一个签名的算法,没有相应的python库,自己去实现又比较费时间。

中间的过程是这样的。

经过查找发现这个开源项目本身支持一个JavaScript的SDK,里面已经实现了必须的功能。大概试了一下写了几个简单的js脚本,就实现了所需要的基本功能。既然js脚本很容易就实现了需要的功能,为了方便(其实是因为我懒,懒得去自己用python再实现内容转换和签名的算法了)就决定使用python调用已经写好的js脚本,获取脚本的输出来做为结果,在解析整理下就可以了。

思路有了,下面就是如何用python的实现程序的调用和获取结果了。

看了下有些人使用os模块提供的函数,类似os.system, os.spawn族的函数(其实就是Linux下相应的C的API)。但是觉得太底层了,而且有些还只能在特定的平台上使用。就没有使用这种方法。转而找到了subprocess库(终于进入正题了)。

去官方的文档看了下描述,发现就是用来代替os.system,os.spawn族之类的

This module intends to replace several older modules and functions:

os.system

os.spawn*

我的需求很容易就满足了,使用subproces的run方法获取输出和返回值。

然后,又好奇了两个问题:

第一,如何实时的获取程序的输出。当程序会运行相当长一段时间,或者有很大量的输出的时候

第二,如何改变程序的运行环境

首先说第一个问题。我现在官方文档上找了下。发现似乎可以使用Popen类来实现。文档里面说到的跟输出相关的有两个,一个是Popen.communicate方法,一个是Popen的stdout属性。两者的描述很容易再官文上找到就不贴了。大概说一下就是官方推荐使用communicate方法来跟运行的子进程进行交互。

我就试了一下communicate方法,包括timeout参数。

发现下面的几点:

1.communicate在不设置timeout的时候,会一直block,直到子进程运行完。

2.communicate再设置了timeout参数,并且捕获了TimeoutExpired事件之后,获取的out是空的,并且子程序还在继续运行没有收到影响

总结一下就是,使用communicate你必须等到程序运行完之后才能够一次性获取全部的输出。运行过程中,程序的输出是暂存在内存里面的。所以在communicate的描述后面特别说明了,如果输出较大的时候,不要使用这个函数。

之后,就看了stdout,stdin之类的属性,也发现一个警告说可能引起死锁之类的。然后Google了一下。发现还是很多人在用stdout这个属性的。当然用法就是把它当作一个打开的文件对象。使用readline方法不断获取程序的输出,但是在每个readline的调用中,依然是block的。

总结一下,关于第一个问题。如果子进程的运行时间有限,输出的内容也比较少的情况下,使用communicate方法比较合适。还有一种情况就是要限制子进程的运行时间,这个时候可以用communicate的timeout参数,并在timeout时间的处理中kill掉子进程。如果程序运行时间长,需要实时的获取输出,或者输出比较多的情况下,就使用stdout这样的属性,不断调用readline获取输出就好。

然后关于第二个问题。其实使用Popen类就可以完美解决,Popen类的cwd参数用来设定子进程的工作目录,还有env参数用来设定子进程运行的环境变量。基本上就可以满足我们的使用中的大部分场景了。

今天就先好奇这些吧,后面有时间遇到再继续挖。

    原文作者:芝士double
    原文地址: https://blog.csdn.net/xiewenlong1202/article/details/83217815
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞