检查熊猫中的重复数据[重复]

Question

我有以下代码：

import pandas as pd
import datetime
import pandas as pd
from pandas_datareader import data as web
import matplotlib.pyplot as plt
from alpha_vantage.foreignexchange import ForeignExchange
import os
from os import path
from alpha_vantage.timeseries import TimeSeries 
import matplotlib.pyplot as plt 
import sys



while True:
    if path.exists('stockdata.csv') == True:
        data1 = pd.read_csv('stockdata.csv')
        ts = TimeSeries(key='1ORS1XLM1YK1GK9Y', output_format='pandas')
        data, meta_data = ts.get_intraday(symbol = 'spy', interval='1min', outputsize='full')
        data = data.rename(columns={'1. open':'Open','2. high': 'High','3. low': 'Low', '4. close':'Close', '5. volume': 'Volume'})
        data1 = data1.append(data)
        data1.to_csv('stockdata.csv', sep= ' ')
        break
    else:
        data1 = pd.DataFrame(columns=['Open','High','Low', 'Close','Volume'])
        data1.to_csv('stockdata.csv', sep= ' ')

我要做的是检查文件stockdata.csv是否在当前目录中。如果找不到，则创建该文件。

如果找到该文件，则在data中下载spy ticker数据，并将该数据附加到data1中，并将其保存在csv文件中。

问题

• 我如何摆脱未命名：0列，为什么会出现该列？

Answer 1

对于有关添加的未命名列的第一个问题：请尝试根据同一主题上此问题的公认答案传递index=False或index\u col=0。这将强制pandas读取第一列作为索引，因此它不会添加额外的列。

Answer 2

所以你基本上有两个问题，我将逐一解决：

如果要删除列Unnamed:0，则必须转到data1。删除（['Unnamed:0']，axis=1），这将从表中删除该列。

现在，如果要删除重复行，可以使用data.drop_duplicates（），这将删除重复行并保持第一行的完整性。之后，您只需pandas.concat（data1，data）。

您基本上需要的是在pandas文档中查找方法，这里提到的所有内容都是粗体和清晰的。希望这有帮助。