当前位置: 首页 > 面试题库 >

如何按一段时间将DataFrame分组?

施念
2023-03-14
问题内容

我从日志文件中获取了一些数据,想按分钟对条目进行分组:

 def gen(date, count=10):
     while count > 0:
         yield date, "event{}".format(randint(1,9)), "source{}".format(randint(1,3))
         count -= 1
         date += DateOffset(seconds=randint(40))

 df = DataFrame.from_records(list(gen(datetime(2012,1,1,12, 30))), index='Time', columns=['Time', 'Event', 'Source'])

df:

 Event  Source
 2012-01-01 12:30:00     event3  source1
 2012-01-01 12:30:12     event2  source2
 2012-01-01 12:30:12     event2  source2
 2012-01-01 12:30:29     event6  source1
 2012-01-01 12:30:38     event1  source1
 2012-01-01 12:31:05     event4  source2
 2012-01-01 12:31:38     event4  source1
 2012-01-01 12:31:44     event5  source1
 2012-01-01 12:31:48     event5  source2
 2012-01-01 12:32:23     event6  source1

我尝试了以下选项:

  1. df.resample('Min') 级别太高,想要汇总。
  2. df.groupby(date_range(datetime(2012,1,1,12, 30), freq='Min', periods=4)) 失败失败。
  3. df.groupby(TimeGrouper(freq='Min'))工作正常,并返回一个DataFrameGroupBy对象进行进一步处理,例如:
    grouped = df.groupby(TimeGrouper(freq='Min'))
    

    grouped.Source.value_counts()
    2012-01-01 12:30:00 source1 1
    2012-01-01 12:31:00 source2 2
    source1 2
    2012-01-01 12:32:00 source2 2
    source1 2
    2012-01-01 12:33:00 source1 1

但是TimeGrouper该类未记录。

在一段时间内进行分组的正确方法是什么?如何按分钟和“源”列对数据进行分组,例如groupby([TimeGrouper(freq='Min'), df.Source])


问题答案:

您可以对与DataFrame长度相同的任何数组/系列进行分组-甚至是实际上不是DataFrame列的计算因子。因此,按分钟分组可以:

df.groupby(df.index.map(lambda t: t.minute))

如果您想按分钟或其他方式分组,只需将以上内容与要使用的列混合:

df.groupby([df.index.map(lambda t: t.minute), 'Source'])

就我个人而言,如果我想经常对它们进行分组,我发现仅将列添加到DataFrame来存储其中一些计算出的内容(例如,“
Minute”列)很有用,因为这使分组代码的详细程度降低了。

或者您可以尝试这样的事情:

df.groupby([df['Source'],pd.TimeGrouper(freq='Min')])


 类似资料:
  • 问题内容: 我有一个用例,其中: 数据的格式为:Col1,Col2,Col3和时间戳。 现在,我只想获取行数与时间戳箱的数量。 也就是说,对于每半小时的存储桶(甚至没有对应行的存储桶),我需要计算有多少行。 时间戳记分布在一年内,因此我无法将其划分为24个存储桶。 我必须每隔30分钟将它们装箱。 问题答案: 通过

  • 问题内容: 我有一个包含会话事件时间戳的表。我想根据时间戳查询两个会话之间至少有10分钟的事件间隔时,我有多少会话。我可以使用MySql查询来计算会话数吗? 谢谢 问题答案: 在您的桌子上只有很少的信息,这对您来说只是一个基本的想法,但是您可以执行以下操作: 获取所有时间戳,并将它们与所有其他较大的时间戳合并,然后使用MIN将其缩小到下一个最大的时间戳。然后从中选择差异小于600秒的计数(假设使用

  • 问题内容: 我正在使用2个步骤的应用程序。 扫描日志并将其中的数据持久保存在数据库中。 从数据库读取数据并可视化数据。 第一步或多或少已经完成。我尝试通过第二步来解释背景和要求。 数据库中的每一行都包含一些信息,例如logdate,logfilename,LogType,logMessage等。因此,我想例如编写SQL来总结每天的给定LogType。 这是列: 我想如果我想显示Type = TDB

  • 问题内容: 我有一个可能每天运行几次的应用程序。每次运行都会生成写入表的数据,以报告发生的事件。主报告表如下所示: 我可以说有两次运行,但是我想要一种能够查询日期范围(运行过程的次数)的方法。我想查询一个查询,该查询导致进程开始的时间和组中的文件数。这种查询可以让我了解我想要的东西,因为我可以看到什么日期和时间以及运行了多少文件,但不完全是我想要的。例如,它不能适应从8:58到9:04的运行。例如

  • 问题内容: 我需要将表分组为15分钟间隔。我可以这样做: 但是要在图表中显示返回的数据,我还需要插入没有任何数据且当前未出现在我的select语句中的间隔。我该如何插入这些? 问题答案: 用15分钟的增量创建一个带有所有可能时间戳的表,然后从该表向上面的查询进行LEFT JOIN。 如果您知道图表始终涵盖24小时,则只需创建一个数字为0-95的表格,然后为每个条目将其添加到图表的开始时间。

  • 我正在创建一个应用程序,当按下按钮时,它会在“for循环”中生成一些啁啾声,我想在循环过程中阻止按钮,并在循环结束时重新播放。 我尝试了此操作,但应用程序崩溃: 我在日志中发现了以下错误: 06-19 11:15:00.852:E/AndroidRuntime(29419):致命异常:Thread-5516 06-19 11:15:00.852:E/AndroidRuntime(29419):an