熊猫：ValueError：无法将float NaN转换为整数

Question

我收到 ValueError：无法将float NaN转换为整数 ，原因如下：

df = pandas.read_csv('zoom11.csv')
df[['x']] = df[['x']].astype(int)

• “ x”显然是csv文件中的一列，但我无法在文件中发现任何 浮点NaN ，也无法理解其含义。
• 当我将列读为String时，它的值就像-1,0,1，… 2000，对我来说，它们看起来都非常漂亮。
• 当我将列读为float时，可​​以加载它。然后它显示值为-1.0,0.0等，仍然没有任何NaN-s
• 我尝试使用 error_bad_lines = False 和read_csv中的dtype参数无效。它只是取消加载，但有相同的例外。
• 文件不小（10+ M行），因此当我提取一个小的标题部分时，无法手动检查它，那么就没有错误，但是在完整文件中会发生。因此它在文件中，但是无法检测到什么。
• 从逻辑上讲，csv不应缺少值，但是即使有一些垃圾，我也可以跳过这些行。或者至少可以识别它们，但是我看不到扫描文件和报告转换错误的方法。

更新：使用注释/答案中的提示，我可以使用以下方法清理数据：

# x contained NaN
df = df[~df['x'].isnull()]

# Y contained some other garbage, so null check was not enough
df = df[df['y'].str.isnumeric()]

# final conversion now worked
df[['x']] = df[['x']].astype(int)
df[['y']] = df[['y']].astype(int)

Answer 1

为了标识NaN值，请使用boolean indexing：

print(df[df['x'].isnull()])

然后，要删除所有非数值，请使用to_numeric参数errors='coerce'-将非数值替换为NaNs：

df['x'] = pd.to_numeric(df['x'], errors='coerce')

为了删除列中带有NaNs的所有行，请x使用dropna：

df = df.dropna(subset=['x'])

最后将值转换为ints：

df['x'] = df['x'].astype(int)