.NET for Apache® Spark™ 项目可以让 .NET 开发者轻松的使用 Apache Spark™ 。
.NET for Apache Spark 提供高性能的 .NET API 以便轻松的在 C# 和 F# 程序中使用 Apache Spark 。你可以访问最受欢迎的 Dataframe 和 SparkSQL ,可以处理结构化数据和 Spark Structured Streaming 流数据。
.NET for Apache Spark 兼容 .NET 标准,支持 Windows, Linux 和 macOS ,使用 .NET Core,或者是 Windows 下使用 .NET Framework。同时也可以运行在主流的云平台上,包括:Azure HDInsight Spark, Amazon EMR Spark, AWS & Azure Databricks.
sudo rpm -Uvh https://packages.microsoft.com/config/rhel/7/packages-microsoft-prod.rpm sudo yum update sudo yum install dotnet-sdk-2.2 dotnet 解压 .NET for Apache Spark包然后配置环境变量 export DOTNET_WORKER_
本文编译自一篇msdn magazine的文章,原文标题和链接为: Test Run - Introduction to Spark for .NET Developers https://msdn.microsoft.com/magazine/mt595756 本文介绍了在windows环境中运行和配置Apache Spark™,并使用scala进行几个示例的运行,可以通过本文了解 Apache
Detailed Guide: Setup Apache Spark Development Environment on Windows 10 Setting up a Spark Development Environment with Scala