共有1个答案
1）1000GB的输入将被分割成块/块/分区，每个块通常为128MB。
2）通常只有当数据的计算（或带宽）昂贵，集群有足够的内存（包括开销）时，才应该进行缓存。您无法用140GB的总内存缓存整个1000GB输入，但您可以为联接或1000GB输入的聚合缓存其他数据集。
有关#1的更多背景信息，请参阅以下问答：
在Spark中阶段是如何拆分为任务的？
如何在Apache Spark中拆分输入文件
Apache Spark调度器如何将文件拆分为任务？
-
问题内容： 在我的代码中，用户可以上传一个excel文档，希望其中包含电话联系人列表。作为开发人员，我应阅读excel文件，将其转换为dataTable并将其插入数据库。问题是某些客户拥有大量的联系人，例如说5000个和更多的联系人，而当我尝试将这种数据量插入数据库时，它崩溃了，并给了我一个超时异常。避免这种异常的最佳方法是什么？它们的任何代码都可以减少insert语句的时间，从而使用户不必等
-
问题内容： 我正在向stdin写入大量数据。 我如何确保它不会阻塞？ 我读了一个大字符串并将其写入后，似乎无法解决。 我有大量的文件集，这些文件将被顺序写入stdin（> 1k个文件） 所以发生的事情是我正在运行一个循环 它以某种方式挂在文件号上。400.该文件是带有长字符串的大文件。 我确实怀疑这是一个阻碍性问题。 仅当我从0迭代到1000时才会发生这种情况。但是，如果我要从文件400开始，则不
-
问题内容： 我有一个Java应用程序，它需要显示大量数据（大约一百万个数据点）。数据并不需要全部同时显示，而仅在用户请求时才显示。该应用程序是桌面应用程序，未与应用程序服务器一起运行或未与任何集中式数据库连接。 我的想法是在计算机上运行数据库并在其中加载数据。在大多数时候，数据库都是只读的，因此我应该能够建立索引以帮助优化查询。如果我在本地系统上运行，则不确定是否应该尝试实现一些缓存（我不确定查询
-
我正在尝试实现简单的登录系统。我有一个JSP，其中用户输入用户名和密码，然后servlet读取这些参数。您将从servlet代码中了解： 如果我输入了有效的用户名和密码，这会起作用，但如果我没有输入，则会出现下一个异常： 处理这种情况的正确方法是什么？我想输入错误的用户名和密码参数以显示适当的消息（在“loginMessage”变量中转发）。 [添加]这是UserDAOBean中的代码： 实体用户
-
如何使用例如
-
因此，我需要能够从数据库中返回大量数据以进行图形化。目前，我正在通过ajax使用GET，并通过php简单地生成必要的html。这对于少量数据很有效，但是每当我请求超过大约一年的数据时，我就会出现错误414。有人有更好的方法的建议吗，或者知道如何更改限制？谢谢。