Pandas read_csv将字符串转换为日期时间并保存到数据库Python

Question

我目前正在阅读一个关于熊猫的csv文件。我希望将包含类似datetime的字符串的列转换为DateTime对象。我对我的数据库有一些限制，规定该列应该是这种类型。

我的csv文件中的一个示例行是：

2015-11-28 00:10:00, 99, 21

当我遇到以下情况时，我最初遇到了这个问题。

    # import CSV file
    df = pd.read_csv(filename, error_bad_lines=False, warn_bad_lines=False)

    # TODO  Save data into db
    # ADD time, banana, apple
    for i in df.index:
        m = AggregatedMeasurement(
            time=df.loc[i, 'Time UTC'],
            banana=df.loc[i, 'BANANA'],
            apple=df.loc[i, 'APPLE']
        )
        db.session.add(m)  # add to db
    db.session.commit()  # perform them all

我收到了以下错误。

StatementError: (builtins.TypeError) SQLite DateTime type only accepts Python datetime and date objects as input

我开始在这里搜索，发现可以指示date_parser并开始组合。这是我迄今为止在这个建议的帮助下所尝试的。熊猫可以自动识别日期吗？

    dateparse = lambda x: pd.datetime.strptime(x, '%Y-%m-%d %H:%M:%S')

    # import CSV file
    df = pd.read_csv(filename, error_bad_lines=False, warn_bad_lines=False, parse_dates=['datetime'],
                     date_parser=dateparse)

现在我得到了以下错误：

ValueError: 'datetime' is not in list

我实施错了吗？提前感谢！

更新1

在以下更改之后

dateparse = lambda x: pd.datetime.strptime(x, '%Y-%m-%d %H:%M:%S')

# import CSV file
    df = pd.read_csv(filename, error_bad_lines=False,
                      warn_bad_lines=False,
                      parse_dates=['Time UTC'],
                      date_parser=dateparse)

我得到了一个TypeError：'NoneType'对象是不可订阅的在这个特定的部分date_parser=dateparse）

更新2 后来，我尝试了下一个建议。

    df = pd.read_csv(filename, error_bad_lines=False,
                     warn_bad_lines=False)

    # Changing datatype
    df['Time UTC'] = pd.to_datetime(df['Time UTC'])

我认为这:)我得到了另一个错误，但这对应于另一个数据库限制关系/外币，我还没有设置。

Answer 1

可能是一个简单的错误。我认为你应该这样做：

df = pd.read_csv(filename, 
                 error_bad_lines=False, 
                 warn_bad_lines=False, 
                 parse_dates=['Time UTC'],
                 date_parser=dateparse)

事实上，您应该parse_dates参考“时间UTC”，这是感兴趣的列，而不是“日期时间”。

否则，您可能更容易让＜code＞pd。to_datetime（）使用以下方法处理任务：

df = pd.read_csv(filename, error_bad_lines=False,
                     warn_bad_lines=False)

# Changing datatype
df['Time UTC'] = pd.to_datetime(df['Time UTC'])