导入CSV到Postgreql

Question

我正在开发一个基于Django的web应用程序。

我将把一个csv导入postgresql数据库，该数据库有100000多行，并将其用作Django应用程序的数据库。在这里，我面临两个问题。字段名包括以下特殊字符：

%oil, %gas, up/down, CAPEX/Cash-flow, D&C Cape,...

首先，如何定义Postgresql数据库的字段名以导入csv？

导入后，我将通过django模型获取数据。那么如何定义包含特殊字符的Django模型变量名呢？

当然，如果我更改包含特殊字符的csv的列名也是可能的，但我不想更改它。我想导入原始csv而不做任何更改。

有没有解决这个问题的办法？

Answer 1

您的示例中没有特殊字符。从python或数据库的角度来看，至少没有任何问题。

首先，避免使用可疑的字段名，尤其是在金融领域<代码>%oil可以表示石油份额、石油利润率或其他。使用有意义的名称定义模型，如

class FinancialPeformanceData(models.Model):

     oil_share = models.DecimalField(max_digits=5, decimal_places=2)
     gas_share = models.DecimalField(max_digits=5, decimal_places=2)
     growth = models.DecimalField(max_digits=10, decimal_places=2)
     capex_to_cf = models.DecimalField(max_digits=7, decimal_places=2)
     ... etc.

然后按照@Hambone的建议，使用copy从CSV导入数据。CSV文件中不需要标题。

def import_csv(request):

    file = './path/to/file'
    with open(file, 'rb') as csvfile:
          with closing(connections['database_name_from_settings'].cursor()) as cursor:
                cursor.copy_from(
                    file=csvfile,
                    table='yourapp_financialperformancedata', #<-- table name from db
                    sep='|',  #<-- delimiter
                    columns=(
                        'oil_share',
                        'gas_share',
                        'growth',
                        'capex_to_cf',
                        ... etc.
                    ),
            )

    return HttpResponse('Done!')