使用awk或其他方法替换文件中的整个字段值

Question

我有一个从postgresql表导出多个字段，包括布尔值（由postgresql导出为t和f字符），我需要将其导入到另一个数据库（monetdb），该数据库不理解t/f为bool值。

（编辑删除空格以反映真实的文件方面，避免愤怒的评论-以前有空格显示）

id|val_str|bool_1|bool2|bool_3|bool4|
1|help|t|t|f|t|
2|test|f|t|f|f|
...

由于我不能替换所有出现的t/f，我需要在我的模式中集成字段分隔符。我尝试使用awk将t字段替换为TRUE，将f字段替换为FALSE：

awk -F'|' '{gsub(/\|t\|/, "|TRUE|"); gsub(/\|f\|/, "|FALSE|"); print;}' 

这部分起作用，因为具有相同值的连续字段（|t | t |）将只替换第一个匹配项（| TRUE | t |——第二个匹配项实际上是t |）。

id|val_str|bool_1|bool2|bool_3|bool4|
1|help|TRUE|t|FALSE|TRUE|
2|test|FALSE|TRUE|FALSE|f|
...

表有~450列，所以我不能真正指定要替换的列列表，也不能在postgres中“转换”布尔列（我可以但是...）。

我可以运行两次gsub（），但我正在寻找更优雅的方法来匹配所有字段的整个字段内容。

gsub（/^t$/，...）也没有帮助，因为我们大部分时间都在一行中间。

Answer 1

如果perl是好的，你可以使用lookaround：

$ cat ip.txt 
id |  val_str  | bool_1 | bool2  | bool_3 | bool4  | 
1  |    help   |   t    |   t    |   f    |   t    |
2  |    test   |   f    |   t    |   f    |   f    | 

$ perl -pe 's/\|\K\h*t\h*(?=\|)/  TRUE  /g; s/\|\K\h*f\h*(?=\|)/  FALSE /g' ip.txt 
id |  val_str  | bool_1 | bool2  | bool_3 | bool4  | 
1  |    help   |  TRUE  |  TRUE  |  FALSE |  TRUE  |
2  |    test   |  FALSE |  TRUE  |  FALSE |  FALSE | 

• \\\\K正查找以匹配\\code>


也可以将循环与sed一起使用。在GNU sed 4.2上测试。2，语法可能因其他实现而有所不同

$ sed ':a s/| *t *|/|  TRUE  |/;ta; :b s/| *f *|/|  FALSE |/;tb' ip.txt 
id |  val_str  | bool_1 | bool2  | bool_3 | bool4  | 
1  |    help   |  TRUE  |  TRUE  |  FALSE |  TRUE  |
2  |    test   |  FALSE |  TRUE  |  FALSE |  FALSE | 

• ：一个标签


输入中没有空格

perl -pe 's/\|\Kt(?=\|)/TRUE/g; s/\|\Kf(?=\|)/FALSE/g' ip.txt 
sed ':a s/|t|/|TRUE|/;ta; :b s/|f|/|FALSE|/;tb' ip.txt 
awk 'BEGIN{FS=OFS="|"} {for(i=1;i<=NF;i++){if($i=="t"){$i="TRUE"} if($i=="f"){$i="FALSE"}} print}' ip.txt

Answer 2

假设（根据您的评论）您的输入文件实际上看起来不像您发布的示例，而是像这样：

$ cat file
id|val_str|bool_1|bool2|bool_3|bool4|
1|help|t|t|f|t|
2|test|f|t|f|f|

那么你所需要的就是：

$ awk '{while(gsub(/\|t\|/,"|TRUE|")); while(gsub(/\|f\|/,"|FALSE|"));}1' file
id|val_str|bool_1|bool2|bool_3|bool4|
1|help|TRUE|TRUE|FALSE|TRUE|
2|test|FALSE|TRUE|FALSE|FALSE|

N个替换字符串的一般解决方案为：

$ awk 'BEGIN{m["f"]="FALSE"; m["t"]="TRUE"} {for (k in m) while(gsub("\\|"k"\\|","|"m[k]"|"));} 1' file
id|val_str|bool_1|bool2|bool_3|bool4|
1|help|TRUE|TRUE|FALSE|TRUE|
2|test|FALSE|TRUE|FALSE|FALSE|

Answer 3

表有~450列，所以我不能真正指定要替换的列列表，也不能在postgres中“转换”布尔列（我可以但是...）。

你可以让Postgres为你做这项工作。生成SELECT列表的基本查询：

SELECT string_agg(CASE WHEN atttypid = 'bool'::regtype
                       THEN quote_ident(attname) || '::text'
                       ELSE quote_ident(attname) END, ', ' ORDER BY attnum)
FROM   pg_attribute
WHERE  attrelid = 'mytable'::regclass  -- provide table name here
AND    attnum > 0
AND    NOT attisdropped;

生成以下格式的字符串：

col1, "CoL 2", bool1::text, "Bool 2"::text

所有标识符都被正确转义。列按默认顺序排列。复制并执行它。使用COPY导出到文件。（或psql中的\copy）性能与导出普通表大致相同。如果不需要大写，请省略upper（）。

为什么对文本进行简单的强制转换就足够了？

• 返回布尔值为真或假选择（PostgreSQL/pgAdmin）

关于regclass和转义标识符正确：

• 表名作为PostgreSQL函数参数

如果您需要一个完整的语句，大写为TRUE/FALSE/NULL，标准SQL转换符号（没有冒号::），仍然是原始列名也许还有一个模式限定的表名：

SELECT 'SELECT '
     || string_agg(CASE WHEN atttypid = 'bool'::regtype
                        THEN format('upper(cast(%1$I AS text)) AS %1$I', attname)
                        ELSE quote_ident(attname) END, ', ' ORDER BY attnum)
     || ' FROM myschema.mytable;'           -- provide table name twice now
FROM   pg_attribute
WHERE  attrelid = 'myschema.mytable'::regclass
AND    attnum > 0
AND    NOT attisdropped;

生成表单的完整语句：

SELECT col1, "CoL 2", upper(cast(bool1 AS text) AS bool1, upper(cast("Bool 2" AS text)) AS "Bool 2" FROM myschema.mytable;