如何在SparkSQL中加入大数据框架？（最佳实践、稳定性、性能）
我得到的错误与在Spark SQL中加入大数据帧时丢失洗牌的输出位置相同。建议设置MEMORY\u和磁盘和/或spark。洗牌memoryFraction 0。然而，spark。洗牌Spark中不推荐使用memoryFraction
因此，我的问题是：
- 在Spark SQL中连接大型数据帧的最佳实践是什么
更具体的问题包括：
- 如何调整执行器和spark的数量。sql。洗牌分区以实现更好的稳定性/性能
- 如何在并行级别（执行器/内核的数量）和分区数量之间找到适当的平衡？我发现增加执行器的数量并不总是解决方案，因为它可能会因为网络流量而产生I/O读取超时异常
- 是否有任何其他相关参数需要为此目的进行调整
- 我的理解是，对于连接操作，存储为ORC或拼花的连接数据比文本或Avro提供更好的性能。拼花地板和兽人之间有显著差异吗
- 在连接操作的稳定性/性能方面，SQLContext与HiveContext相比是否有优势
- 当联接中涉及的数据帧以前是registerTempTable（）或saveAsTable（）时，性能/稳定性是否有差异
到目前为止，我用这是答案，这一章作为起点。还有一些与此主题相关的stackoverflow页面。然而，我还没有找到这个热门问题的全面答案。
提前谢谢。
共有1个答案
这是很多问题。请允许我一个接一个地回答：
在生产环境中，执行者的数量在很大程度上是可变的。这取决于可用资源。在执行洗牌时，分区的数量很重要。假设您的数据现在是倾斜的，您可以通过增加分区的数量来降低每个任务的负载。理想情况下，一项任务应该有几个负数。如果任务花费的时间太长，则您的容器可能会被抢占，并且工作会丢失。如果任务只需要几毫秒，那么启动任务的开销将占主导地位。
并行程度和调整执行器大小，我想参考Cloudera的优秀指南：https://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/
ORC和Parque仅对静态数据进行编码。在进行实际连接时，数据是Spark的内存格式。自从Netflix和Facebook采用Parque并投入大量精力以来，Parque变得越来越流行。Parque允许您更有效地存储数据，并具有Spark使用的一些优化（谓词下推）。
您应该使用SQLContext而不是HiveContext，因为HiveContext已弃用。SQLContext更通用，并且不仅适用于Hive。
执行ynsterTempTable时，数据存储在SparkSession中。这不会影响连接的执行。它存储的只是执行操作时调用的执行计划（例如saveAsTable）。当html" target="_blank">执行saveAsTable时，数据会存储在分布式文件系统上。
希望这有帮助。我还建议观看我们在Spark峰会上关于加入的演讲：https://www.youtube.com/watch?v=6zg7NTw-kTQ。这可能会为您提供一些见解。
干杯，福克
-
Overview This article discusses performance and reliability best practices for Express applications deployed to production. This topic clearly falls into the “devops” world, spanning both traditional
-
性能与体验是前端的核心竞争力，是最直观反应页面是否好用、易用的标准。用户花在页面上的时间不应该是在等待页面加载和响应，而是使用和顺畅浏览的时间，因此如何提升页面性能和体验，让页面更快的可交互、浏览滚动更顺畅，是需要你持续的研究、优化、推进的。在 Rax 不断应用发展以及成熟的过程中，沉淀总结了一系列的性能体验的措施和最佳实践，通过这些，可以帮助你大幅提高页面的各项性能。 加载性能 统计口径 加载性
-
我有一个如下的用例: 一个 微服务负责与其他几个固定 API（例如 ArgoCD REST API、STANDARD CORPORATE DRIVEN API）进行通信，以使整个系统处于所需状态。 整个请求需要事务化，这意味着要么所有API请求都需要成功，要么在出现任何错误时回滚。 如果API返回错误，情况对我来说很清楚。“只需恢复之前所做的一切”，但如果我的Quarkus应用程序崩溃会发生什么？
-
问题内容： 我正在使用Hibernate 3编写Web应用程序。 所以，过了一会儿，我注意到有些东西很慢。因此，我测试了Hibernate Profiler，发现Hibernate将无理地进行许多数据库调用以简化操作。原因当然是我加载了一个对象（该对象有几个“父母”），而这些“父母”还有其他“父母”。因此，即使我只需要基本对象，从根本上来说，hibernate都会加载它们。好的，所以我研究了延迟加
-
问题内容： 我的用户数据库中有一些我希望进行加密的数据。要求时，大多数数据将需要解密，但是也有一些密码可以保持加密（过去我们会使用 pwdcompare， 但我相信现在已经过时了）。 我已经按照这里的步骤进行操作，所以现在我已经成功地加密了我的数据。 我不了解的是在运行时打开主密钥以加密/解密数据的正确方法。如果我想使用存储过程来检索加密的数据，该如何打开主密钥？我是否使用存储的proc参数传递主
-
问题内容： 我正在建立一个通过各种CSV提要更新大量数据的系统。通常，我只会遍历提要中的每一行，进行选择查询以检查该项目是否已经存在，并根据是否存在来插入/更新该项目。 我觉得这种方法扩展性不强，可能会在较大的提要上重击服务器。我的解决方案是像往常一样遍历所有项目，但将它们存储在内存中。然后，对于每100个左右的项目，对这100个项目进行选择，并获取数据库中匹配的现有项目的列表。然后将插入/更新语