分析来自多个数据库的数据。熊猫中的txt文件

Question

我有1000个文本文件。每个都有日期（我做了索引）和股票价格（列0）。我已经创建了代码来查找单个文件的价格的移动平均线，以及价格和移动平均线之间的滚动差异。我想为每个文件创建这样的代码。我必须在组中上传它们，因为它需要太多的内存来一次性上传它们。

我想我必须使用for循环来遍历文件并找到每个文件的度量。但我该怎么做呢？我如何将所有文件上传到一个组中，然后将它们分组到一个变量中，然后创建一个循环来查找每个文件的移动平均值和价格差异？

编辑：我正在使用numpy、pandas和matplotlib。我还希望能够找到与移动平均线差异最大的股票。

任何帮助都将不胜感激

Answer 1

这1000个文件有多大？如果它们是一对夫妇MB，只是猜测，将所有文件合并到一个文件中，你可以用它做任何你想做的事情。

import pandas as pd
import csv
import glob
import os

#os.chdir("C:\\Users\\Excel\\Desktop\\test\\")
results = pd.DataFrame([])
filelist = glob.glob("C:\\your_path\\*.csv")
#dfList=[]
for filename in filelist:
    print(filename)  
    namedf = pd.read_csv(filename, skiprows=0, index_col=0)
    results = results.append(namedf)

results.to_csv('C:\\your_path\\CombinedFile.csv')

Answer 2

如果您希望只迭代给定文件夹中的所有输入文件，您可能希望尝试os。listdir（）获取文件名列表，然后可以按顺序处理。如果您的文件分布在文件夹的各个层上，您可以使用os。walk（）遍历目录。您可以在此处找到有关这些方法的信息：https://docs.python.org/3/library/os.html