pandas to_datetime解析错误的年份

Question

我遇到的事情几乎可以肯定是我自己的一个愚蠢的错误，但是我似乎无法弄清楚发生了什么。

本质上，我有一系列日期"%d-%b-%y"，例如格式的字符串26-Sep-05。当我将其转换为日期时间时，年份有时是正确的，但有时并非如此。

例如：

dates = ['26-Sep-05', '26-Sep-05', '15-Jun-70', '5-Dec-94', '9-Jan-61', '8-Feb-55']

pd.to_datetime(dates, format="%d-%b-%y")
DatetimeIndex(['2005-09-26', '2005-09-26', '1970-06-15', '1994-12-05',
               '2061-01-09', '2055-02-08'],
              dtype='datetime64[ns]', freq=None)

最后两个条目错误，这些年份返回的年份分别为2061和2055。但这对于15-Jun-70入门来说效果很好。这里发生了什么？

Answer 1

这似乎是Python库datetime的行为，我做了一个测试，以了解临界点在68-69之间：

datetime.datetime.strptime('31-Dec-68', '%d-%b-%y').date()
>>> datetime.date(2068, 12, 31)

datetime.datetime.strptime('1-Jan-69', '%d-%b-%y').date()
>>> datetime.date(1969, 1, 1)

两位数年份歧义

因此，％y年低于69的任何事物似乎都可以归因于2000年，而69以后的年份等于1900

该%y两位数只能去00到99这将是不明确的，如果我们开始穿越百年。

如果没有重叠，则可以手动处理它并注释世纪（消除歧义）

我建议您手动处理数据并指定世纪，例如，您可以确定数据中年份介于17到68之间的任何内容都归因于1917年-1968年（而不是2017年-2068年）。

如果您有重叠，则无法处理年份不足的信息，除非您有一些有序的数据和参考

如果您有重叠，例如，您同时拥有2016年和1916年的数据，并且都记录为“
16”，则这是模棱两可的，并且没有足够的信息来对此进行解析，除非按日期对数据进行排序，在这种情况下，您可以使用启发式方法在解析时切换世纪。