Apache Spark - Overview(Spark 概览)

Apache Spark 概览

Apache Spark是一个快速、通用的集群运算系统. 它提供了高等级的API( Scala, Java,  Python )使并行运算Job易于编写, 同时为通用图计算提供了一个优化的引擎. 同时提供了一系列的高级工具集包括 Shark (Hive on Spark), MLlib (用于机器学习), GraphX (用于图处理), and Spark Streaming.

下载

Spark在Apache Spark网站的 downloads page 有下. 这个文档用于 Spark 版本0.9.0-incubating.

Spark 在Windows 和UNIX-like 系统(例如. Linux, Mac OS)下均可运行. 确保 java 在你的 PATH下, 或者 JAVA_HOME 环境变量指向java安装路径.

构建

Spark 内部绑定了Simple Build Tool. 为了编译源码, 到顶级Spark目录运行：

sbt/sbt assembly

就Scala API而言, Spark 0.9.0-incubating 依赖于Scala 2.10. 如果你使用Scala编写程序, 你需要使用兼容的Scala版本 (例如. 2.10.X) – 新的主要版本是不行的. 可以从 scala-lang.org 获得Scala的正确版本.

运行样例和Shell脚本

Spark 自带n多样例程序于 examples 文件夹下. 想要运行样例, 在顶级Spark目录下使用 ./bin/run-example <class> <params>  ( bin/run-example 脚本设置了路径和入口). 例如, 使用 ./bin/run-example org.apache.spark.examples.SparkPi local. 每个样例在没有设置参数时都会打印出使用帮助.

注意：某些带 <master> 参数的样例说明连接的是cluster URL. 可以是 URL for a distributed cluster, 或者 local 在本地单线程运行, 或者local[N] 在本地多线程运行. 你可以使用 local开始测试.

最后, 你可以交互使用Spark，通过Scala shell的改良版 (./bin/spark-shell) 或者Python 解释器 (./bin/pyspark). 这是学习框架的好方法.

建设集群

Spark的 cluster mode overview 介绍了集群的核心概念. Spark可以独立运行, 也支持一些已有的 cluster managers. 现在提供了如下部署选项:

• Amazon EC2: EC2 scripts 让你5分钟开始一个集群
• Standalone Deploy Mode: 最简单,在私有集群上部署
• Apache Mesos
• Hadoop YARN

关于Hadoop版本的小贴士

Spark 使用 Hadoop-client 库以便于同 HDFS 和其他基于 Hadoop的存储系统. 由于HDFS 协议随Hadoop的版本有所不同, 你必须根据使用的集群版本构建对应的 Spark. Spark 默认连接到 Hadoop 1.0.4.你可以在编译时设置 SPARK_HADOOP_VERSION 变量以适应自有版本:

SPARK_HADOOP_VERSION=2.2.0 sbt/sbt assembly

更进一步, 如果搭建 Spark on YARN, 设置 SPARK_YARN 为 true:

SPARK_HADOOP_VERSION=2.0.5-alpha SPARK_YARN=true sbt/sbt assembly

注意：在Windows下, 只能在单独行设置环境变量, 例如, 设置 SPARK_HADOOP_VERSION=1.2.1.

Spark (0.8.1) Hadoop 2.2.x (或者更新) 用户可以在本地构建和发布. 参见 Launching Spark on YARN. 由于Hadoop的API并没有向后兼容，所以这是很有必要的.

下一步

编程指引:

• Quick Start: Spark API的快速介绍; 从这里开始吧!
• Spark Programming Guide: Spark概念和细节（使用 Scala API描述）
  • Java Programming Guide: 使用Java编写Spark程序
  • Python Programming Guide: 使用Python编写Spark程序
• Spark Streaming: Spark处理数据流的API
• MLlib (Machine Learning): Spark的内置机器学习库
• Bagel (Pregel on Spark): 简单的图处理模型
• GraphX (Graphs on Spark): Spark的新型图处理API

API文档:

• Spark for Java/Scala (Scaladoc)
• Spark for Python (Epydoc)
• Spark Streaming for Java/Scala (Scaladoc)
• MLlib (Machine Learning) for Java/Scala (Scaladoc)
• Bagel (Pregel on Spark) for Scala (Scaladoc)
• GraphX (Graphs on Spark) for Scala (Scaladoc)

部署指引:

• Cluster Overview: 运行集群的基本概念和组件
• Amazon EC2: 让你5分钟开始一个EC2集群
• Standalone Deploy Mode: 不使用第三方cluster manager，开始一个独立集群
• Mesos: 使用 Apache Mesos 部署私有集群
• YARN: 基于Hadoop NextGen (YARN)部署Spark

其它文档:

• Configuration: 通过配置自定义Spark
• Tuning Guide: 优化性能和内存使用的最佳实践
• Hardware Provisioning: 集群的推荐硬件
• Job Scheduling: 在application中或跨application调度资源
• Building Spark with Maven: 使用Maven构建Spark
• Contributing to Spark

扩展资源:

• Spark Homepage
• Shark: Apache Hive 基于Spark
• Mailing Lists: 问关于Spark的问题
• AMP Camps: 一系列的训练营.来自UC Berkeley.精选了Spark, Shark, Mesos等各方面的话题和经验. Videos,slides 和 exercises .免费.
• Code Examples: Spark  examples subfolder 
• Paper Describing Spark
• Paper Describing Spark Streaming

社区

想获得关于Spark的帮助或者想跟上Spark开发,请注册 user mailing list.

如果你在 San Francisco Bay 地区, 可以定期参加 Spark meetup ,这是与开发者们和使用者们会面的好机会.

最后, 如果你想对Spark贡献代码, 请阅读how to contribute.