当前位置: 首页 > 知识库问答 >
问题:

pd.read_csv中的low_memory和memory_map标志有什么作用

沈单弓
2023-03-14

pandas.read_csv的函数签名提供了以下选项:

read_csv(filepath_or_buffer, low_memory=True, memory_map=False, iterator=False, chunksize=None, ...)

我找不到<code>low_memory标志的任何文档。我不知道这些功能是否已经实现,如果是,它们是如何工作的。

具体来说,

  1. memory_map:如果实现,它是否使用np。memmap,如果是,它会将单个列存储为memmap或行
  2. low_memory:它是否指定了类似缓存的东西来存储在内存
  3. 我们可以将现有的<code>数据帧

附言:相关模块的版本

pandas==0.14.0
scipy==0.14.0
numpy==1.8.1

共有1个答案

晋涛
2023-03-14

我将尝试总结对这个问题的评论,并将我自己的研究添加到一个全面的答案中。

>

  • low_memory选项有点被剥夺了,因为它实际上不再做任何事情(来源)。

    < code>memory_map似乎没有使用numpy内存映射,据我从源代码中了解,它似乎是如何解析传入数据流的一个选项,而不是与您接收的数据帧如何工作有关的东西。

  •  类似资料:
    • 我一直在将s写入,而不关注flags字段,这是方法签名中的一个参数,它工作得很好,但我遇到了一个无法再忽略它们的实现: 这是我编写的一个到实用程序/从到/从实用程序,我想知道在编写它们时,是否应该将标志按原样传递给Key和Value,或者应该为Key传递0,而为Value传递。 我在文档中读到了什么是标志的定义: PARCELABLE_WRITE_RETURN_VALUE 在API级别1中添加 与

    • 问题内容: 我正在跟踪在使用时使用该标志的示例,但无法通过帮助系统弄清楚该标志在做什么。 问题答案: 告诉您安装命名模块,以便全局访问它。 但是重要的是要了解它通常仅用于提供命令行实用程序的软件包,以便它们的可执行组件在系统中可用。 如果您有多个程序使用同一软件包,则每个程序都应在本地安装该软件包。如果您确实想通过全局安装来共享已安装的软件包,则还必须使用。 请参阅此处有关全局安装软件包主题的文档

    • 问题内容: HotSpot JVM标志有什么作用,什么时候应该使用它?在64位Java实例上使用它时(相对于未使用它),我会看到什么样的性能和内存使用差异? 问题答案: 默认情况下,去年的大多数HotSpot JVM均已启用它。此选项允许引用在64位JVM中为32位,并访问接近32 GB的堆。(可以使用32位以上的指针)(您也可以拥有几乎无限的堆外内存)。这样可以节省大量内存,并有可能提高性能。

    • 本文向大家介绍说说HTML中的标签有什么作用?相关面试题,主要包含被问及说说HTML中的标签有什么作用?时的应答技巧和注意事项,需要的朋友参考一下 供浏览器识别这是一个HTML文档 标识了HTML文档的头尾 是HTML文件的根元素 H5之后可以通过设置html的manifest属性来实现离线缓存 可以通过设置lang属性来设置页面的语言,常用的有zh和en

    • 这听起来很基本,但我在很多论坛上都能看到 ####################################################################################################################### 加号和减号之间有什么区别,或者只是在标志前没有符号? 这些标志是做什么的?

    • 本文向大家介绍noscript标签有什么作用?相关面试题,主要包含被问及noscript标签有什么作用?时的应答技巧和注意事项,需要的朋友参考一下 如果浏览器不支持js,noscript会帮助我们显示一些信息 https://stackoverflow.com/questions/2170484/shouldnt-we-use-noscript-element