两个Cython函数；为什么一个工作，而另一个给出NameError？

Question

我正在尝试使用Cython来加速我的Python脚本的某些部分。一个关键部分将函数应用于Pandas数据框架；由于这已经完成了很多次，我想用Cython编写这些函数以加快计算速度。函数如下，并且在同一个Jupyter笔记本单元格中：

%%cython
cimport numpy as np
import numpy as np

cdef double breadth_c_type(np.ndarray[np.float64_t, ndim=1] arr):
    """ Calculates range between the maximum and minimum values of a given list. """
    return (max(arr) - min(arr))

cdef double evenness_c_type(np.ndarray[np.float64_t, ndim=1] arr):
    """ Calculates the sample variance of differences between values in a sorted list. """
    cdef np.ndarray[double] sorted_arr
    cdef list desc_diff
    cdef double m
    cdef double var_res
    sorted_arr = sorted(arr)
    desc_diff = []
    for x in range(len(arr)-1):
        desc_diff.append(sorted_arr[x+1]-sorted_arr[x])
    # following used to avoid usage of numpy
    m = sum(desc_diff) / len(desc_diff)
    var_res = sum((xi - m)**2 for xi in desc_diff) / len(desc_diff)
    return var_res

笔记本单元按编写的方式成功运行，因此我认为两个函数都编译成功。但是，此代码按预期运行：

%timeit rand_df.apply(breadth_c_type, raw=True)

鉴于本规范：

%timeit rand_df.apply(evenness_c_type, raw=True)

不运行，并返回"NameError： name'evenness_c_type'未定义"。我在没有%timeit装饰器的情况下得到相同的结果，并且在使用'cpdef'或'def'代替'cdef'时函数不会编译。由于我尝试为两个函数遵循相同的语法，我不知道是什么导致了evenness_c_type的错误。

多亏了@DavidW，我才解决了evenness\u c\u type（）函数的问题。它的编译和运行都很好，虽然没有普通Cython版本快。

cdef double evenness_c_type(np.ndarray[np.float64_t, ndim=1] arr):
    """ Calculates the population variance of differences between values in a sorted list. """
    cdef np.ndarray [double] desc_diff=np.empty(len(arr)-1, dtype = np.float64)
    arr.sort()
    for x in range(len(arr)-1):
        desc_diff[x]=(arr[x+1]-arr[x])
    return np.var(desc_diff)

Answer 1

原则上，两者都不应与timeit一起使用timeit接受Python对象，而cdef函数不是Python对象。但是，在某些情况下，Cython将自动创建从cdef函数的转换-

它不使用cpdef编译的原因是因为生成器表达式（“cpdef函数中的闭包尚不受支持”）

var_res = sum((xi - m)**2 for xi in desc_diff) / len(desc_diff)

我收到这样的错误消息，尽管有编译器崩溃，所以它们不是最清楚的。

用列表理解代替它，一切都会好起来的（尽管它看起来并没有很好地优化）

var_res = sum([(xi - m)**2 for xi in desc_diff]) / len(desc_diff)

我怀疑没有为cdef函数生成自动转换的原因是这个生成器表达式。

它没有编译为def函数的原因是您指定了返回类型。

考虑您是否真的需要将其设为cdef/cpdef。大多数时候没有什么好处。