Spark SQL如何使用联接操作执行SQL查询？
要在spark sql中运行sql语句以联接PostgreSQL中的两个表，请执行以下操作：
val df = spark.read.jdbc(url, 'select * from table_1 join table_2 on a where x', connproperties);
数据库引擎会执行联接操作并发回联接结果吗？或者数据库会将表_1和表_2的所有记录发送给spark job和spark job进行连接吗？是否有一些文档来解释此操作？谢谢
共有1个答案
PostgreSQL数据库将仅从单个查询返回单个结果集。如果您要使用有效的SQL，那么这可能是连接的结果。或者什么都没有，以防没有与您的条件匹配的记录。
-
我正在运行一个简单的sparkSQL查询，它在2个数据集上进行匹配每个数据集大约500GB。所以整个数据大约是1TB。 作业工作良好，直到数据加载（分配了10K任务）。在行分配了200个任务。失败的地方！我知道我不是在缓存一个巨大的数据，它只是一个数字，为什么它会在这里失败。 以下是错误详细信息：
-
主要内容：SELECT,WHERE,GroupBy,LIMIT我们知道，使用 SQL 语句能够完成对 table 的增删改查操作，Pandas 同样也可以实现 SQL 语句的基本功能。本节主要讲解 Pandas 如何执行 SQL 操作。 首先加载一个某连锁咖啡厅地址分布的数据集，通过该数据集对本节内容进行讲解。 输出结果如下： SELECT 在 SQL 中，SELECT 查询语句使用 把要查询的每个字段分开，当然您也可以使用 来选择所有的字段。如下所示： 对
-
问题内容： 我有两个通过1：1关系连接的实体，例如： 我想创建一个Doctrine查询，在其中我可以根据中某个列的值检索数据。像这样的东西（当然不起作用）： 任何帮助将非常感激 ：） 问题答案： 左连接在这里也没有意义（因为where子句将使它像内部连接一样工作）
-
我有现有的学生，临时演员 如何在JPA Hibernate上加入这些表？我当前的代码是 学生实体类 附加实体类: 和地址实体类 这是我的存储库类 但是当我在学生实体中使用OneToOne时，我得到了异常“org.hibernate.LazyInitializationException：未能懒惰地初始化角色集合：com.jpa.belajarjpa.enitities.Student.extras
-
问题内容： 我是SSH和JSch的新手。当我从客户端连接到服务器时，我想做两个任务： 上传文件（使用） 执行命令，例如创建目录，以及搜索MySQL数据库 目前，我正在使用两个单独的Shell登录名来执行每个任务（实际上我还没有开始对MySQL查询进行编程）。 对于上传，相关代码为 而对于我的命令 我应该在第一个频道之后断开会话，然后再打开第二个频道吗？还是完全关闭会话并打开一个新会话？如我所说，我
-
本文向大家介绍Java使用Jdbc连接Oracle执行简单查询操作示例，包括了Java使用Jdbc连接Oracle执行简单查询操作示例的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了Java使用Jdbc连接Oracle执行简单查询操作。分享给大家供大家参考，具体如下： Java Jdbc 连接 Oracle 执行简单查询示例： 也可以使用防止SQL注入PreparedStatement方法