楔子
我们知道python的执行效率不是很高,而且由于GIL的原因,导致python不能充分利用多核CPU。一般的解决方式是使用多进程,但是多进程开销比较大,而且进程之间的通信也会比较麻烦。因此在解决效率问题上,我们会把那些比较耗时的模块使用C或者C++编写,然后编译成动态链接库,Windows上面是dll,linux上面则是so,编译好之后,交给python去调用。而且通过扩展模块的方式还可以解决python的GIL的问题,因此如果想要利用多核,我们仍然可以通过扩展模块的方式。
python如何调用扩展模块
python调用扩展模块的一种比较简单的方式就是使用ctypes这个库,这个库是python官方提供的,任何一个版本的python都可以使用,我们通过ctypes可以很轻松地调用扩展模块。
演示
#include <stdio.h> void test() { printf("hello world\n"); }
我们定义了一个很简单的函数,下面我们就可以将其编译成扩展模块了。在Windows是dll,linux上是so,编译的命令是一样的。我这里以Windows 为例,记得在Windows上要安装MinGW,或者安装VsCode,我这里使用的是MinGW,因为VsCode太大了。
gcc -o dll文件或者so文件 -shared c或者c++源文件
我这里的C源文件叫做1.c,我们编译成mmp.dll吧,所以命令就可以这么写:gcc -o mmp.dll -shared 1.c
下面就可以使用python去调用了。
import ctypes # 使用ctypes很简单,直接import进来,然后使用ctypes.CDLL这个类来加载动态模块 # 如果在Windows上还可以使用ctypes.WinDLL。 # 因为看ctypes源码的话,会发现WinDLL也是一个类并且继承自CDLL # 所以在linux上使用ctypes.CDLL, # 而在Windows上既可以使用WinDLL、也可以使用CDLL加载动态模块 lib = ctypes.CDLL("./mmp.dll") # 加载之后就得到了扩展模块 # 我们可以直接通过.的方式去调用里面的函数了,会发现成功打印 lib.test() # hello world # 但是为了确定是否存在这个函数,我们一般会使用反射去获取 # 因为如果函数不存在通过.的方式调用会抛异常的 func = getattr(lib, "test", None) if func: print(func) # <_FuncPtr object at 0x0000029F75F315F0> func() # hello world # 不存在test_xx这个函数,所以得到的结果为None func1 = getattr(lib, "test_xx", None) print(func1) # None
所以使用ctypes去调用扩展模块非常方便
1.通过ctypes.CDLL("dll或者so的路径"),如果是Windows还可以使用ctypes.WinDLL("dll路径")。另外这两种加载方式分别等价于:ctypes.CDLL("dll或者so的路径") == ctypes.cdll.LoadLibrary("dll或者so的路径"),ctypes.WinDLL("dll路径") == ctypes.windll.LoadLibrary("dll路径")。但是注意的是:linux上只能使用ctypes.CDLL和ctypes.cdll.LoadLibrary,而Windows上ctypes.CDLL、ctypes.cdll.LoadLibrary、ctypes.WinDLL、ctypes.windll.LoadLibrary都可以使用。但是一般我们都使用ctypes.CDLL即可,另外注意的是:dll或者so文件的路径最好是绝对路径,即便不是也要表明层级,比如我们这里的py文件和dll文件是在同一个目录下,但是我们加载的时候不可以写mmp.dll,这样会报错找不到,要写成./mmp.dll。
2.加载动态模块之后会返回一个对象,我们上面起名为lib,这个lib就是得到的扩展模块了。
3.然后可以直接通过lib调用里面的函数,但是一般我们会使用反射的方式来获取,因为不知道函数到底存不存在,如果不存在直接调用会抛出异常,如果存在这个函数我们才会执行。
以上就是本次介绍的全部相关知识点,如果大家有任何补充的地方可以联系小牛知识库小编。
本文向大家介绍Python使用ctypes调用C/C++的方法,包括了Python使用ctypes调用C/C++的方法的使用技巧和注意事项,需要的朋友参考一下 python使用ctypes调用C/C++ 1. ctpes介绍 ctypes is a foreign function library for Python. It provides C compatible data types, a
本文向大家介绍Django使用Profile扩展User模块方式,包括了Django使用Profile扩展User模块方式的使用技巧和注意事项,需要的朋友参考一下 首先创建Profile应用 python manage.py startapp profiles profiles/models.py profiles/admin.py settings.py 添加 AUTH_PROFILE_MODU
本文向大家介绍Python csv模块使用方法代码实例,包括了Python csv模块使用方法代码实例的使用技巧和注意事项,需要的朋友参考一下 这篇文章主要介绍了Python csv模块使用方法代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持呐喊教程。
本文向大家介绍Python中optionParser模块的使用方法实例教程,包括了Python中optionParser模块的使用方法实例教程的使用技巧和注意事项,需要的朋友参考一下 本文以实例形式较为详尽的讲述了Python中optionParser模块的使用方法,对于深入学习Python有很好的借鉴价值。分享给大家供大家参考之用。具体分析如下: 一般来说,Python中有两个内建的模块用于处理
本文向大家介绍C#调用Python模块的方法,包括了C#调用Python模块的方法的使用技巧和注意事项,需要的朋友参考一下 当下,C#与Python都是比较热门的计算机编程语言,他们各有优缺点,如果能让他们互相配合工作,那是多么美好的事情,今天我来讲解一下如何利用C#来调用Python。 如果让C#支持调用Python模块,我们首先需要安装一些扩展,这里推荐使用IronPython库。 第
本文向大家介绍python使用multiprocessing模块实现带回调函数的异步调用方法,包括了python使用multiprocessing模块实现带回调函数的异步调用方法的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了python使用multiprocessing模块实现带回调函数的异步调用方法。分享给大家供大家参考。具体分析如下: multipressing模块是python 2