第6章 OpenCL主机端内存模型 - 6.3 共享虚拟内存

OpenCL 2.0的一个重要的修订就是支持共享虚拟内存(SVM)。共享虚拟内存属于全局内存，其相当于在主机内存区域上做的扩展，其允许上下文对象上的所有设备能和主机共享这块内存。SVM能将结构体指针作为参数传入内核，这相较之前的标准方便许多。例如，在未使用SVM之前，在主机端创建的链表结构无法传递到内核中，只能一个节点一个节点的传入。那么，2.0之后如何将链表实例通过传参的形式传入内核呢？将内存块拆分成小块的方式不适合OpenCL的内存模型，将其整块传入内核才是真正合理的方式。SVM将打破原先内存模型的限制。

OpenCL 2.0中定义了三种SVM类型：

1. 粗粒度数组SVM
2. 细粒度数组SVM
3. 系统细粒度SVM

读者可以通过表6.1来了解，我们将要讨论的各种SVM。

粗粒度数组SVM可以与OpenCL内存对象进行虚拟地址共享。粗粒度SVM内存与非SVM内存的不同点在于，主机和设备可以共用虚拟内存指针。粗粒度SVM内存需要在主机端进行映射和反映射，这样才能保证最后一次更新的数据对设备可见。为了完成这个功能，主机端线程需要调用clEnqueueMapBuffer()将指定的内存区域阻塞的进行映射。当映射完成后，内核就可以对该内存进行使用。当clEnqueueMapBuffer()返回时，内核对该内存的任何操作，对于主机都是可见的。

我们使用clCreateBuffer()创建非SVM内存，同样SVM也有其创建API——clSVMAlloc()，其声明如下：

void *
clSVMAlloc(
  cl_context context,
  cl_svm_mem_flags flags,
  size_t size,
  unsigned int alignmet)

与非SVM内存对象一样，SVM也可以通过标志指定为：只读，只写和可读写。alignment表示内存对象需要在该系统上以最少多少字节对齐。如果传入0，则因为这使用默认的对齐字节，那么将会是OpenCL运行时支持的最大数据类型的大小。与clCreateBuffer()返回cl_mem不同，clSVMAlloc()返回的是一个void型指针。就像C函数malloc()一样，clSVMAlloc()也会返回一个非空的指针来表示内存分配成功，否则分配失败。

释放SVM内存需要使用clSVMFree()函数，其只需要传入对应的上下文对象和SVM指针即可。

void
clSVMFree(
  cl_context context,
  void *svm_pointer)

clSVMFree()函数的调用会瞬间结束，而不需要等待什么命令结束。将SVM内存使用clSVMFree()函数释放之后在进行访问，程序会出现段错误，这就和普通的C程序没有任何区别了。为了保证在一些列命令使用完SVM之后，再对SVM进行释放，OpenCL也提供了一种入队释放的方式：clEnqueueSVMFree()。

与粗粒度数组SVM不同，细粒度数组SVM支持的是字节级别的数据共享。当设备支持SVM原子操作时，细粒度数组SVM内存对象可以同时在主机端和设备端，对同一块内存空间进行读与写。细粒度数组SVM也可被同一或不同设备，在同一时间对相同的区域进行并发访问。SVM原子操作可以为内存提供同步点，从而能保证OpenCL内存模型的一致性。如果设备不支持SVM原子操作，主机端和设备端依旧可以对相同的区域进行并发的访问和修改，但这样的操作就会造成一些数据的覆盖。

将CL_MEM_SVM_FINE_GRAIN_BUFFER标志传入clSVMAlloc()，就能创建细粒度数组SVM对象。若要使用SVM原子操作，则需要将CL_MEM_SVM_ATOMICS一并传入flags中。注意，CL_MEM_SVM_FINE_GRAIN_BUFFER只能和CL_MEM_SVM_ATOMICS共同传入flags，否则即为非法。

细粒度系统SVM是对细粒度数组SVM的扩展，其将SVM的范围扩展到主机端的整个内存区域中——开辟OpenCL内存或主机端内存只需要使用malloc()就可以。如果设备支持细粒度系统SVM，那么对于OpenCL程序来说，内存对象的概念就不需要了，并且内存传入内核将是一件很简单的事情(如同CUDA内核函数的调用一样)。

查看设备支持哪种SVM，可以将CL_DEVICE_SVM_CAPABILITIES标识传入clGetDeviceInfo()中进行查询。OpenCL标准规定，如果支持2.0及以上标准，则至少要支持粗粒度数组SVM。