如何编写python程序将csv数据文件导入关系数据库而不插入重复项

Question

import csv
from cs50 import SQL

open ("shows.db", "w").close()

db = SQL("sqlite:///shows.db")

db.execute("CREATE TABLE shows        (id      INTEGER,      title    TEXT,       PRIMARY KEY(id) )")
db.execute("CREATE TABLE genres       (id      INTEGER,      genre    TEXT,       PRIMARY KEY(id) )")
db.execute("CREATE TABLE shows_genres (show_id INTEGER,      genre_id INTEGER,    FOREIGN KEY(show_id) REFERENCES shows(id),   FOREIGN KEY(genre_id) REFERENCES genres(id) )")

with open("Favorite TV Shows - Form Responses 1.csv", "r") as file:
    reader = csv.DictReader(file)
    for row in reader:
        titles = row["title"].strip().upper()
        show_id = db.execute("INSERT INTO shows (title) VALUES (?)", titles)
        for genre in row["genres"].split(", "):
            genre_id = db.execute("INSERT OR IGNORE INTO genres (genre) VALUES (?)", genre)
        db.execute("INSERT INTO shows_genres (show_id, genre_id) VALUES(?, ?)", show_id, genre_id)

Answer 1

您可以在适当的列上使用UNIQUE约束创建表（UNIQUE约束教程）。这样可以防止插入重复项。

请注意，当您试图插入副本时，它将返回一个错误。您只需要捕获此错误，这样它就不会使程序崩溃。
在本例中，如果需要ID，则可以使用WHERE子句查询表以获取现有的行。

另外，重要的是要注意，如果在编辑数据库时有其他操作，运行查询然后插入并不能保证唯一性。另一个线程/进程可能会在查询和插入之间插入有问题的值。