使用python读取csv文件快速插入数据库的实例
如下所示：
# -*- coding:utf-8 -*-
# auth:ckf
# date:20170703
import pandas as pd
import cStringIO
import warnings
from sqlalchemy import create_engine
import sys
reload(sys)
sys.setdefaultencoding('utf8')
warnings.filterwarnings('ignore')
engine = create_engine(
'postgresql+psycopg2://'数据库连接)
filename = sys.argv[1]
tablename = sys.argv[2]
print '=== csvname is',filename ,'tablename is',tablename,'==='
print 'read', filename, '...'
df = pd.read_csv(filename, sep=';')
print 'read', filename, 'done!'
print 'lets insert ...'
output = cStringIO.StringIO()
# ignore the index
df.to_csv(output, sep='\t',index = False, header = False)
output.getvalue()
# jump to start of stream
output.seek(0)
connection = engine.raw_connection()
cursor = connection.cursor()
# null value become ''
cursor.copy_from(output,tablename,null='')
connection.commit()
cursor.close()
print 'done!'
这个脚本可以直接运行，将csv文件放在同级目录即可。
csv第一列需要有列名，如果csv里没有列名，需要在代码中添加列名。
代码运行示例：python insert.py csvname tablename
以上这篇使用python读取csv文件快速插入数据库的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持小牛知识库。
-
问题内容： 我正在尝试使用Python（仅法语和/或西班牙语字符）读取带有重音字符的CSV文件。基于csvreader的Python 2.5文档（http://docs.python.org/library/csv.html），由于csvreader仅支持ASCII，因此我想出了以下代码来读取CSV文件。 以下是我尝试阅读的CSV文件的摘录： 即使我尝试将编码/解码为UTF-8，我仍然收到以下异常
-
我如何完成这个任务？
-
我正在尝试读取Mac上pig shell上的csv文件。我所做的只是文件到变量中，然后变量。我是这样做的： 我使用的数据是从这里提供的github下载的 此文件在我的Mac上的本地安装的hdfs中可用。当我执行时，我得到一个错误： org.apache.pig.impl.logicallayer.FrontendException：错误1066：无法打开别名影片的迭代器 在org.apache.p
-
问题内容： 我有一个CSV文件，我想使用Python将此文件批量导入到sqlite3数据库中。该命令是“ .import .....”。但似乎不能这样工作。谁能给我一个在sqlite3中做事的例子吗？我正在使用Windows，以防万一。谢谢 问题答案：
-
问题内容： 嗨，我正在尝试使用python将csv文件写入SQL Server数据库中的表中。传递参数时遇到错误，但是手动进行操作时不会遇到任何错误。这是我正在执行的代码。 错误：pyodbc.DataError ：（“ 22001”，“ [22001] [Microsoft] [ODBC SQL Server驱动程序] [SQL Server]字符串或二进制数据将被截断。（8152）（SQLEx
-
问题内容： 我正在从包含以下数据的CSV文件（xyz.CSV）中读取数据： 当我使用循环对其进行迭代时，我可以按以下代码逐行打印数据，并且仅打印column1数据。 通过上面的代码，我只能得到第一列。 如果我尝试打印line [1]或line [2]，则会出现以下错误。 请建议打印列2或列3的数据。 问题答案： 这是我获得第二列和第三列的方法： 结果如下：