如何在Python中一次一个字典地将数据转储到json文件中？

Question

目前，我的网络爬虫正在收集所有数据，并将它们全部放入字典中，例如：

def save_data_to_json(data, json_file_name):
    print 'Saving data into json file...'
    with open(json_file_name, 'a') as outfile:
        json.dump(data, outfile, sort_keys = True, indent = 4, ensure_ascii = False)

def gather_data(page_url, soup, all_data):
    #return if this page doesn't contain data
    if (soup.find('h4') == None) or (soup.find('span') == None):
        return
    company_name = soup.h4.span.text
    table_body = soup.tbody
    table_rows = table_body.find_all('tr')
    company_data = {}

    for tr in table_rows:
        td = tr.find_all('td')
        row = [str(i.text) for i in td]
        if len(row) != 2:
            continue
        company_data[row[0]] = row[1]
        all_data[str(company_name)] = company_data
    #I want to save data here, but saving now instead of later messed up json formatting
    #save_data_to_json(all_data, json_file_name)

在这样做的时候，我必须从每个链接读取所有的数据，并将它们转储到这个数据字典中。是否有一种方法可以将每个页面的每个数据集写入一个json格式的文件（一次一个字典集），以节省内存？由于多出的花括号，尝试将json格式弄得一团糟。我只想一起输出一个json文件。

Answer 1

首先，如果您希望节省一些内存，而不是使用bulks，那么限制每个bulk包含的实体数量，当它达到这个限制时，将其保存到Json（我将展示示例）。

接下来，您可以将多个字典保存到单个Json中，只需为每个字典转到不同的行。

def gather_data(page_url, soup, all_data, file_path):
    #return if this page doesn't contain data
    max_per_bulk_ = 10000
    if (soup.find('h4') == None) or (soup.find('span') == None):
        return
    company_name = soup.h4.span.text
    table_body = soup.tbody
    table_rows = table_body.find_all('tr')
    company_data = {}
    f = open(file_path, 'a')
    bulk_ = []
    for tr in table_rows:
        td = tr.find_all('td')
        row = [str(i.text) for i in td]
        if len(row) != 2:
            continue
        company_data[row[0]] = row[1]
        all_data[str(company_name)] = company_data
        if len(bulk_) > max_per_bulk_:
            with open(file_path, 'a') as f:
                for entity in bulk_:
                    j = json.dump(entity)
                    f.write(j)
                    f.write('\n')
                bulk_ = []

    if bulk_:
        with open(file_path, 'a') as f:
            for entity in bulk_:
                j = json.dump(entity)
                f.write(j)
                f.write('\n')

Answer 2

我同意Barmar的观点，当您将JSON内容放入文件时，您必须做出不同的安排。比如传递一些特殊的文本识别，您可以从中找到JSON的结尾

Answer 3

考虑使用jsonlines，它是json的一个变体，更适合于“流式”读或写。基本上，每一行都应该是一个有效的json文档。

基本的python json库通常就足够了（您读取一行文本，然后解析这一行），或者您可以使用helper库，例如：https://jsonlines.readthedocs.io/en/latest/