Postgres 9.4：使用转换步骤复制？

Question

我有一些非常大的CSV文件，我正在使用Postgres9.4。我正在使用Postgres的COPY命令将它们高效地导入到我的数据库中。这很管用：

    cursor = conn.cursor()
    copy_str = "COPY mytable(presentation_code,quantity,"
    copy_str += "processing_date,price_per_unit) FROM STDIN "
    copy_str += "WITH DELIMITER AS ','"
    file_obj = open(filename)
    cursor.copy_expert(copy_str, file_obj)
    try:
        conn.commit()
    except Exception as err:
        print 'EXCEPTION:', err

问题是，在数据文件适合复制之前，我必须对它们运行一些转换步骤。这些包括重新排序字段、将字符串转换为浮动、转换日期以便它们适合于Postgres，以及计算一些值（尽管我可以跳过最后一步）：

for row in reader:
    presentation_code = row[0].strip()
    quantity = int(row[1])
    period = row[9]
    processing_date = period[:4] + '-' + period[4:] + '-01'
    if row[4]:
        price_per_unit = actual_cost / float(row[4])
    else:
        price_per_unit = 0
    output = [presentation_code, quantity, processing_date, price_per_unit]
    writer.writerow(output)

是否有任何Postgres工具可以让我在一个命令中完成这两个步骤（转换，然后复制）？还是这只是必要的一步？

Answer 1

您必须将转换编写为一个程序，将每一行从标准输入转换为标准输出，然后将其用作copy命令本身的筛选器。详见copy的手册页（查看“程序”部分）:http://www.costgresql.org/docs/9.4/statig/sql-copy.html。请注意，该程序将以“postgres”用户的身份运行（如果您想从客户端应用程序运行它，可以使用psql的\copy命令，http://www.postgresql.org/docs/9.4/statig/app-psql.html)。