当前位置: 首页 > 知识库问答 >
问题:

具有映射内存、统一虚拟寻址和统一内存的GPU内存超额订阅

史景铄
2023-03-14

我正在考虑在GPU上处理数据的可能性,这对于GPU内存来说太大了,我有几个问题。

在CUDA 6.0中,UM不允许超额订阅GPU内存(并且通常不允许分配比GPU拥有的内存更多的内存,即使在主内存中也是如此),但是在CUDA 8.0中,这是可能的(https://devblogs.nvidia.com/parallelforall/beyond-gpu-memory-limits-unified-memory-pascal/)。我说对了吗?

共有1个答案

令狐运珧
2023-03-14

是的,使用映射(即固定的,“零拷贝”)方法,数据保留在主机内存中,并按需传输到GPU,但永远不会驻留在GPU内存中(除非GPU代码将其存储在那里)。如果您多次访问它,则可能需要从主机多次传输它。

UVA(Unified Virtual Addressing,参见此处)与UM(Unified Memory,参见此处)或托管内存(==UM)不是一回事,因此我将把这种情况称为UM,而不是UVA。

在pre-pascal设备上使用UM,UM“托管”分配将在CPU和GPU之间自动移动,但受某些限制,但您不能超额订阅GPU内存。所有普通GPU分配加上UM分配的最大数量不能超过GPU物理内存。

使用UM加上CUDA8.0或更高版本,再加上Pascal或更新的GPU,您可以使用UM(“托管”)分配超额订阅GPU内存。然后,这些分配在名义上被限制为系统内存的大小(减去系统内存上的任何其他需求)。在这种情况下,CUDA运行时使用请求分页方法自动在主机和设备内存之间来回移动数据。

UVA在CUDA中不是一种实际的数据管理技术。它是一种底层技术,可以实现某些功能,比如映射内存的某些方面,并且通常可以实现UM功能。

 类似资料:
  • 本文向大家介绍操作系统中虚拟内存和缓存内存之间的区别,包括了操作系统中虚拟内存和缓存内存之间的区别的使用技巧和注意事项,需要的朋友参考一下 在这篇文章中,我们将了解操作系统中虚拟内存和缓存内存之间的区别- 高速缓存存储器 它有助于提高CPU的访问速度。 它是提高访问速度的存储单元。 CPU和其他相关硬件有助于管理缓存。 尺寸很小。 它用于存储最近使用的数据。 虚拟内存 它增加了主存储器的容量。 这

  • 7.1. 物理内存的管理──vm_page_t 物理内存通过结构体vm_page_t以页为基础进行管理。 物理内存的页由它们各自对应的结构体vm_page_t所代表, 这些结构体存放在若干个页管理队列中的一个里面。 一页可以处于在线(wired)、活动(active),去活(inactive)、缓存(cache)、 自由(free)状态。除了在线状态,页一般被放置在一个双向链表队列里, 代表了它所

  • 我们都知道,直接从内存读写数据要比从硬盘读写数据快得多,因此更希望所有数据的读取和写入都在内存中完成,然而内存是有限的,这样就引出了物理内存与虚拟内存的概念。 物理内存就是系统硬件提供的内存大小,是真正的内存。相对于物理内存,在 Linux 下还有一个虚拟内存的概念,虚拟内存是为了满足物理内存的不足而提出的策略,它是利用磁盘空间虚拟出的一块逻辑内存。用作虚拟内存的磁盘空间被称为 交换空间(又称  

  • 主要内容:虚拟内存如何工作?,按需分页,虚拟内存管理系统的快照虚拟内存是一种存储方案,为用户提供了一个拥有非常大的主内存的幻觉。 这是通过将辅助存储器的一部分作为主存储器来完成的。 在这种方案中,用户可以加载比可用主存更大的进程,因为存在内存可用于加载进程的错觉。 操作系统不是在主内存中加载一个大进程,而是在主内存中加载多个进程的不同部分。 通过这样做,多程序的程度将会增加,因此CPU利用率也会增加。 虚拟内存如何工作? 在现代语言中,虚拟内存近来变得非常普

  • 在与 GDT 相关的章节中,我们知道分段物理内存地址使用的是段选择和计算偏移(Linux在X86上的虚拟内存管理) 在本章中,我们将实现内存的分页功能,其原理是将分段的线性地址转换成物理地址(分页表存储了虚拟(线性)地址到物理地址间的映射)。 为什么我们需要分页管理内存? 内存分页将允许我们的内核: 为避免歧义,保留部分原文 use the hard-drive as a memory and n

  • 本文向大家介绍虚拟内存和缓存内存之间的区别,包括了虚拟内存和缓存内存之间的区别的使用技巧和注意事项,需要的朋友参考一下 在计算机环境中,内存是至关重要的部分,因为它是唯一负责系统性能和系统存储容量的部分。众所周知,内存负责任何应用程序的加载和执行,还用于存储其数据,以后可被其使用,因此在加载或安装应用程序之前了解系统的内存配置非常重要。 现在,在本主题中基本上将要讨论的是两种类型的存储器,即虚拟存