当前位置: 首页 > 软件库 > 大数据 > 数据处理 >

Koalas

Apache Spark Pandas API
授权协议 Apache
开发语言 Python
所属分类 大数据、 数据处理
软件类型 开源软件
地区 不详
投 递 者 李睿
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

通过扩充Apache Spark的Python DataFrame API以与Pandas兼容,Koalas项目在与大数据交互时提高了数据科学家的工作效率。

Pandas是Python中事实上的标准(单节点)数据帧实现,而Spark是大数据处理的事实标准。有了这个包,数据科学家可以:

1)如果已经熟悉Pandas,那么使用Spark可以立即提高效率,没有学习曲线。

2)单个代码库就可以用于Pandas(测试,较小的数据集)和Spark(分布式数据集)。

  • 1.pandas介绍 Python 数据科学在过去几年中爆炸式增长, pandas 已成为生态系统的关键。当数据科学家得到一个数据集时,他们会使用 pandas 进行探索。它是数据处理和分析的终极工具。 pandas 不能很好地在大数据中规模应用,因为它专为单个机器可以处理的小型数据集而设计。许多数据科学家将 pandas 用于职业培训、偏好性项目和小型数据任务。 2.Koalas介绍 Apach