为什么Python和Cython中这两个代码之间存在巨大的性能差异？

2019年8月4日 338次阅读

我在
Python中遇到了性能问题,我的一位朋友建议我使用Cython

搜索更多后,我发现这个代码来自
here

Python：

def test(value):
    for i in xrange(value):
        z = i**2
        if(i==1000000):
            print i
        if z < i:
                print "yes"
test(10000001)

用Cython：

def test(long long value):
    cdef long long i
    cdef long long z
    for i in xrange(value):
        z = i**2
        if(i==1000000):
            print i
        if z < i:
            print "yes"

test(10000001)

在我执行两个代码之后,令人惊讶的是我通过Cython实现了100倍的加速

为什么只是通过添加变量声明来实现这种加速？
另外我应该提到波纹管代码性能与Cython中的Python相同.

用Cython：

def test(long long value):
    for i in xrange(value):
        z = i**2
        if(i==1000000):
            print i
        if z < i:
            print "yes"

test(10000001)

最佳答案 Python是一种语言. CPython是一个字节码编译器和Python的解释器.

它需要一些代码：

for i in xrange(value):
    z = i**2
    if(i==1000000):
        print i
    if z < i:
        print "yes"

并给你“字节码”：

>将迭代器加载到for循环中并将其内容循环到i中
>加载i,加载2,运行二进制功率,存储z
>加载i,加载1000000,比较
>加载i,打印
>加载z,加载i,比较
>加载’是’,打印
>完成

在全：

  1           0 SETUP_LOOP              70 (to 73)
              3 LOAD_NAME                0 (xrange)
              6 LOAD_NAME                1 (value)
              9 CALL_FUNCTION            1
             12 GET_ITER            
        >>   13 FOR_ITER                56 (to 72)
             16 STORE_NAME               2 (i)

  2          19 LOAD_NAME                2 (i)
             22 LOAD_CONST               0 (2)
             25 BINARY_POWER        
             26 STORE_NAME               3 (z)

  3          29 LOAD_NAME                2 (i)
             32 LOAD_CONST               1 (1000000)
             35 COMPARE_OP               2 (==)
             38 POP_JUMP_IF_FALSE       49

  4          41 LOAD_NAME                2 (i)
             44 PRINT_ITEM          
             45 PRINT_NEWLINE       
             46 JUMP_FORWARD             0 (to 49)

  5     >>   49 LOAD_NAME                3 (z)
             52 LOAD_NAME                2 (i)
             55 COMPARE_OP               0 (<)
             58 POP_JUMP_IF_FALSE       13

  6          61 LOAD_CONST               2 ('yes')
             64 PRINT_ITEM          
             65 PRINT_NEWLINE       
             66 JUMP_ABSOLUTE           13
             69 JUMP_ABSOLUTE           13

        >>   72 POP_BLOCK           
        >>   73 LOAD_CONST               3 (None)
             76 RETURN_VALUE

值得注意的是,在Python中,整数是int或long类的实例.这意味着不仅有数字,还有指针和另一条信息,至少说明它是什么类.这会产生很多开销.

但值得注意的是xrange如何运作.

xrange创建了一个可以由for迭代的类实例(LOAD_NAME(xrange),CALL_FUNCTION). for(基本上)将委托给迭代器的__iter__上的函数调用.每个循环都有一个函数调用.

此外,每次要获取或设置变量z或i时,都必须查看本地字典.这真的很慢.

在Cython中运行纯Python代码：

当你在Cython中运行它(问题中的第三个例子)时,它会编译为C.但是所有这些C的作用都是告诉CPython虚拟机要做什么.

仅CPython：一个人从书中读书,并且实际执行其功能.
与Cython的CPython：一个人向那些忠实履行其职能的人发出指示.

它可能会快一点,但缓慢的部分仍然是CPython正在慢慢完成工作.

使用cythonized代码：

那么当你长时间cdef会发生什么呢？

> Cython知道xrange正在做很长的事情：

>它知道循环是有效的(所以它不必检查你给它一个列表或某些)
>它知道循环不会溢出(因为它确实是未定义的！)
>因此可以将其转换为C循环(for(int index = 0; index< copy_of_value; index){i = index; …}) >这避免了int和long类,它们有很多间接开销和类型检查
>这可以避免字典查找.事情永远都是你把它们放在堆栈上的地方
>例如i ** 2更简单,因为例程可以内联(它总是一个数字,粗鲁)并直接在整数上工作并忽略溢出

因此,结果最终主要由C运行,并且只进入CPython进行一些清理和打印调用.

合理？

点赞