如何使用配置单元从文件中删除 ^A 和 \N

Question

我从一个临时表中获取数据。我从临时表中选择所有列数据并插入到一个基表中。插入到基表文件后，如下所示。

val1^aval2^aval3^a\n^aval4^a\n:但是我需要这样的数据。

val1 val2 val3   val4  

^A必须从文件中删除，\N应该用空格替换。我想在蜂巢里实现这一点，任何帮助都值得感谢。

Answer 1

对于\nN

replace(column_name, "\\\N", " ")

对于^A

replace(column_name, "\\^A", "")

Answer 2

您可以为此使用regexp_replace。例如，要替换您的^A：

regexp_replace(<your column>,'\\^A',' ')

Answer 3

hive的输出使用字段分隔符写入，默认情况下hive使用CTRL-A分隔符，即（^A）。因此，您在这里看到的输出文件之间有^A字符。

默认情况下，NULL值写入数据文件中，因为查询数据时，数据文件中的N和N被解释为NULL。

因此，如果您不希望\N出现在输出数据文件中，可以使用hive中的COALESCE函数为这些数据类型设置默认值。COALESCE函数如果不为空则返回值，如果为空则返回指定的默认值。

方法1：创建一个带有字段分隔符“\t”即选项卡的基表。覆盖创建表语句中的属性“serialization.null.format”=“以设置空字符串的默认值而不是\N。

CREATE TABLE base_table (
column_1 BIGINT,
column_2 STRING
) ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '\t' 
LINES TERMINATED BY '\n' 
STORED AS TEXTFILE
LOCATION '/tmp/base_table'
TBLPROPERTIES('serialization.null.format'='');

然后使用下面的查询将数据插入到表中:

INSERT OVERWRITE TABLE base_table
SELECT COALESCE(column_1, 0L), COALESCE(column_2,"")
FROM my_table
[ some WHERE clause here]

您将看到的输出文件将以制表符分隔，并且\N值将设置为字段类型默认值。

方法2：

第一种方法将是首选方法。在此方法中，使用基表上的插入覆盖目录并将输出写入所需的目录：

INSERT OVERWRITE LOCAL DIRECTORY '/home/user/my_table_output/'
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY  '\t' ESCAPED BY '"' LINES TERMINATED BY '\n' 
STORED AS TEXTFILE
SELECT COALESCE(column_1, 0L), COALESCE(column_2,"") 
FROM base_table;

在输出目录中，您将看到预期格式的输出。

方法3：

从您的解释来看，您似乎正在尝试读取此输出文件，我假设您正在通过map减少代码读取它。

您可以使用分隔符“\u0001”（编码时与转义字符一起使用，即“\u0001”）来拆分输入字符串。

在处理每一行/字段时，您可以检查“\N”字符串的出现并将其替换为任何默认值。