当前位置: 首页 > 知识库问答 >
问题:

pandas合并操作是否可以使用tqdm?[副本]

濮阳驰
2023-03-14

我可以找到tqdm进度条用于group by和其他pandas操作的示例。但找不到任何有关合并或加入的信息。

有可能在熊猫上使用tqdm进行合并吗?

共有1个答案

林俊英
2023-03-14

tqdm支持pandas及其内部的各种操作。要合并两个大型数据流并显示进度,您可以这样做:

import pandas as pd
from tqdm import tqdm

df1 = pd.DataFrame({'lkey': 1000*['a', 'b', 'c', 'd'],'lvalue': np.random.randint(0,int(1e8),4000)})
df2 = pd.DataFrame({'rkey': 1000*['a', 'b', 'c', 'd'],'rvalue': np.random.randint(0, int(1e8),4000)})

#this is how you activate the pandas features in tqdm
tqdm.pandas()
#call the progress_apply feature with a dummy lambda 
df1.merge(df2, left_on='lkey', right_on='rkey').progress_apply(lambda x: x)

更多细节可在此线程中获得:pandas操作过程中的进度指示器(python)

 类似资料:
  • 主要内容:使用how参数合并Pandas 提供的 merge() 函数能够进行高效的合并操作,这与 SQL 关系型数据库的 MERGE 用法非常相似。从字面意思上不难理解,merge 翻译为“合并”,指的是将两个 DataFrame 数据表按照指定的规则进行连接,最后拼接成一个新的 DataFrame 数据表。  merge() 函数的法格式如下: pd.merge(left, right, how='inner', on=

  • 我有几份产品数据表。每个文件都是一个单独的文件。我想做的是使用iText根据Web表单的答案生成一组摘要/建议的操作,然后将所有相关的数据表附加到这些操作中。这样,我只需要在浏览器中打开一个新选项卡来打印所有信息,而不是为摘要打开一个选项卡,为所需的每个数据表打开一个选项卡。 那么,使用iText可以做到这一点吗?

  • 问题内容: 我有两个要基于列合并的DataFrame。但是,由于其他拼写方式,空格数量不同,不存在变音符,只要它们彼此相似,我希望能够合并。 任何相似性算法都可以使用(soundex,Levenshtein,difflib)。 假设一个DataFrame具有以下数据: 然后我想得到结果DataFrame 问题答案: 类似建议,你可以申请的到df2的指标,然后应用: 如果这些是列,则可以按照相同的方

  • 问题内容: 我正在尝试使用Jenkinsfile创建Jenkins工作流。我要做的就是监视’develop’分支中的更改。发生更改时,我希望它进行git标签并合并到master。我正在使用GitSCM步骤,但它似乎唯一支持的就是git clone。我不想掏出钱来做标记/合并,但我看不到解决办法。有人知道这是否可能吗?我在我的Git服务器上使用BitBucket(本地)。 问题答案: 目前尚不可能,

  • 这不是一个浏览器。 我打算为我的机器人做一个“黑名单”数组,这将阻止用户运行命令。然而,我似乎只能在实际的bot文件上这样做,因为我还没有找到一种方法来做一个外部方法。 这就是我正在使用的:

  • 我正在编写一个带有事务回滚的简单json数据库。我需要向一个文件追加一行文本,然后根据追加是否成功,将成功或失败记录到另一个文件。如果需要,第二个文件用于回滚。因此,在继续之前,我需要确定写操作是否成功。 我使用stream.write追加我的文本行,其中包括一个回调,应该验证写操作的成功或失败。 然后我在下面的URL上的NodeJS文档中读到了这个不幸的消息https://nodejs.org/