如何从大型xlsx文件中加载pandas数据帧的进度条？

Question

来自https://pypi.org/project/tqdm/:

import pandas as pd
import numpy as np
from tqdm import tqdm

df = pd.DataFrame(np.random.randint(0, 100, (100000, 6)))
tqdm.pandas(desc="my bar!")p`
df.progress_apply(lambda x: x**2)

我获取了这段代码并对其进行了编辑，以便从load_excel创建数据帧，而不是使用随机数：

import pandas as pd
from tqdm import tqdm
import numpy as np

filename="huge_file.xlsx"
df = pd.DataFrame(pd.read_excel(filename))
tqdm.pandas()
df.progress_apply(lambda x: x**2)

这给了我一个错误，所以我将df.progress_apply改为:

df.progress_apply(lambda x: x)

这是最终代码：

import pandas as pd
from tqdm import tqdm
import numpy as np

filename="huge_file.xlsx"
df = pd.DataFrame(pd.read_excel(filename))
tqdm.pandas()
df.progress_apply(lambda x: x)

这会产生一个进度条，但它实际上并不显示任何进度，而是加载进度条，当操作完成时，它会跳到100%，从而达到目的。

我的问题是：如何让这个进度条工作？
progress_apply中的函数实际上是做什么的？
有更好的方法吗？也许是tqdm的替代品？

任何帮助都非常感谢。

Answer 1

免责声明：这仅适用于xlrd引擎，未经全面测试！

它是如何工作的？我们对< code > xlrd . xlsx . x12 sheet . own _ process _ stream 方法进行猴子修补，该方法负责从类似文件的流中加载工作表。我们提供自己的流，其中包含我们的进度条。每个工作表都有自己的进度条。

当我们需要进度条时，我们使用< code > load _ with _ progress bar()上下文管理器，然后执行< code>pd.read_excel('

import xlrd
from tqdm import tqdm
from io import RawIOBase
from contextlib import contextmanager


class progress_reader(RawIOBase):
    def __init__(self, zf, bar):
        self.bar = bar
        self.zf = zf

    def readinto(self, b):
        n = self.zf.readinto(b)
        self.bar.update(n=n)
        return n


@contextmanager
def load_with_progressbar():

    def my_get_sheet(self, zf, *other, **kwargs):
        with tqdm(total=zf._orig_file_size) as bar:
            sheet = _tmp(self, progress_reader(zf, bar), **kwargs)
        return sheet

    _tmp = xlrd.xlsx.X12Sheet.own_process_stream

    try:
        xlrd.xlsx.X12Sheet.own_process_stream = my_get_sheet
        yield
    finally:
        xlrd.xlsx.X12Sheet.own_process_stream = _tmp


import pandas as pd

with load_with_progressbar():
    df = pd.read_excel('sample2.xlsx')

print(df)

进度条截图:

Answer 2

这可能对有类似问题的人有所帮助。在这里你可以得到帮助

例如：

for i in tqdm(range(0,3), ncols = 100, desc ="Loading data.."): 
    df=pd.read_excel("some_file.xlsx",header=None)
    LC_data=pd.read_excel("some_file.xlsx",'Sheet1', header=None)
    FC_data=pd.read_excel("some_file.xlsx",'Shee2', header=None)    
print("------Loading is completed ------")

Answer 3

将不起作用。pd.read_excel块，直到文件被读取，并且在执行期间无法从该函数获取有关其进度的信息。

它适用于读取操作，您可以按块进行读取，比如

chunks = []
for chunk in pd.read_csv(..., chunksize=1000):
    update_progressbar()
    chunks.append(chunk)

但据我所知，tqdm还需要提前获得块的数量，因此对于propper进度报告，您需要先阅读完整的文件。