从CSV中创建具有正确列类型的SQL表

Question

1. 读取CSV文件。
2. 基于记录子集（10-100行？），迭代地检查每行的每列，以自动确定CSV中数据的正确列类型。因此，如果第1行A列的值为12345(int)，但第2行A列的值为ABC(varchar)，系统将根据在前两次传递中找到的数据的组合自动确定它应该是varchar(5)格式。只要用户认为有必要确定列的可能类型和大小，这个过程就可以进行多少次。
3. 按照CSV的列检查定义构建CREATE TABLE查询。
4. 执行create table查询。
5. 将数据加载到新表中。

SQL、PostgreSQL和Python中是否已经存在类似的工具，或者应该使用另一个应用程序来完成此操作（类似于pgAdmin3)？

Answer 1

看来你需要预先了解结构。只要读第一行就知道你有多少列。

CSV不携带任何类型信息，因此必须从数据的上下文中推导出来。

改进之前稍微错误的答案，您可以创建一个包含x个文本列的临时表，用数据填充它，然后处理这些数据。

BEGIN;
CREATE TEMPORARY TABLE foo(a TEXT, b TEXT, c TEXT, ...) ON COMMIT DROP;
COPY foo FROM 'file.csv' WITH CSV;
<do the work>
END;