当前位置: 首页 > 知识库问答 >
问题:

如何将多个csv文件整理成一个csv文件,每次删除标题?

戎俊
2023-03-14

我已经用python从网上下载了大约100个csv文件。每个文件都是一年中的一个月,所以我实际上是在下载时间序列数据。

现在我想把所有这些csv文件按时间顺序放在一个csv文件中,我不知道如何一个接一个地做这个?

此外,我应该注意到,除了第一次,我希望在每次放入新的csv文件时删除标题。

这将解释为什么当你看到我的数据时:

谢谢你的帮助,谢谢

共有1个答案

方季同
2023-03-14

按时间对CSV文件进行排序(大概可以使用字母数字排序的文件名),然后将所有文件连接在一起。这在bash中可能比在python中更容易实现,但这里有一个python解决方案(未经测试):

from glob import glob
# Fetch a sorted list of all .csv files
files = sorted(glob('*.csv'))

# Open output file for writing
with open('cat.csv', 'w') as fi_out:
    # iterate over all csv files
    for i, fname_in in enumerate(files):
        # open each csv file
        with open(fname_in, 'r') as fi_in:
            # iterate through all files in the csv file
            for i_line, line in enumerate(fi_in):
                # Write all lines of the first file (i == 0)
                # For all other files write all lines except the first one (i_line > 0)
                if i_line > 0 or i == 0:
                    fi_out.write(line)
 类似资料:
  • /tmp/data/myfile1.csv,/tmp/data/myfile2.csv,/tmp/data.myfile3.csv,/tmp/datamyfile4.csv 我希望将这些文件读入Spark DataFrame或RDD,并且希望每个文件都是DataFrame的一个解析。我怎么能这么做?

  • 如何在JMeter中将一个csv文件循环到另一个csv文件,其中第一个csv文件包含所有登录数据,另一个csv文件包含交易数据。我应该运行1个出纳员应该处理30笔交易的地方。

  • 嘿,伙计们,我有一个程序,它读取csv文件,随机生成数据并将其转储到另一个csv文件中...现在我有一个csv文件,其中有100列,其中30列属于其他一些数据,但在最后生成时,我想通过附加一些对csv文件通用的公共列将这些数据分割成两个不同的csv文件。这是csv示例数据: 在这种情况下,两个文件都有一个共同点,因此输出数据应该如下所示: 为了得到一个带有所有条件的csv文件,我写了一个代码,这是

  • 问题内容: 我尝试在Java中删除csv文件中的列。 例如,我有这个csv文件 我想要下一个操作后:(删除csvFile,2)将是: 我发现只有调用行而不是列的操作。 问题答案: 删除CSV文件中一列的唯一方法是删除整个文件(即文件的每一行)的标题和该列的信息。即使您使用第三方库,它也会在内部进行。

  • 我有一个商业案例,使用Spring batch将多个csv文件(每个文件大约1000个,包含1000条记录)合并成单个csv。 请帮助我提供方法和性能方面的指导和解决方案。 到目前为止,我已经尝试了两种方法, 方法1。 Tasklet chunk与multiResourceItemReader一起从目录中读取文件,FlatFileItemWriter作为项目编写器。 这里的问题是,它的处理速度非常