用动态列插入配置单元
column1 column2 column3 column4 column5 column6 column7
column1 column2 column9 column10 column11 column12 column13
File3可以是
column1 column2 column3 column10 column11
如何将配置单元表修改为我将与文件一起接收的列。
共有1个答案
这将非常混乱，但是如果没有任何显式的分隔符，您所能做的最好的工作就是定义一个RegexSerDe并捕获每一个可能的列。
缺少的列基本上是一个可选的捕获组()？
您的另一个选择是让Spark根据标头行（如果有标头行）推断模式和缺少的列
-
嗨，我是Hive的新手，我想把当前的时间戳和一行数据一起插入到我的表中。 我得到的错误是： 如果有人能帮忙，那就太好了，非常感谢frostie
-
我试图做一些性能优化的数据存储。这个想法是使用蜂巢的巴克特/集群来桶可用的设备（基于列id）。我目前的方法是从外部表插入数据到表中的拼花文件。结果它应用了巴克特。 我想通过直接从PySpark 2.1将数据摄取到该表中来摆脱中间的这一步。使用SparkSQL执行相同的语句会导致不同的结果。添加cluster by子句 仍然会导致不同的输出文件。 这就引出了两个问题：1）从spark向集群蜂箱表中插
-
我目前正在寻找一种动态组装config-keys（回退处理）的方法，然后在我们的microprofile-config.properties文件中查找这些。这样的文件可能如下所示： 因此，当存在客户和子客户时，使用on 我得到这个问题的原因是我想使用注释，所以没有ConfigProvider.getConfig（）。这意味着我必须在自定义的中组装动态配置键。 我知道ConfigSources是在服
-
我有一个文件名、FilePath和FileSize的列表，我想使用spark SQL将这些细节插入到我的配置单元表中。 是否有任何方法可以再次将此查询拆分为3个不同的insert hive语句。
-
cmf_set_dynamic_config($data) 功能 设置动态配置 参数 $data: array 要设置的数据，格式["cmf_default_theme"=>'simpleboot3'] 返回 boolean
-
非常感谢任何帮助。