从Reddit上的线程中检索所有评论

Question

我是API的新手，正在使用JSON，希望在这里得到一些帮助。

我知道我想要完成的所有事情都可以使用PRAW库来完成，但我试图在没有PRAW的情况下弄清楚。

我有一个for循环，它从一个特定的子编辑中提取文章标题，将所有的文章标题输入到一个pandas数据帧中，在达到限制后，将< code >‘after 参数更改为最后一个文章id，以便在下一批中重复。

一切都很完美，但是当我对特定线程尝试相同的技术并收集注释时，“after”参数无法获取下一批。

我假设“之后”与子reddits帖子的工作方式不同。我在JSON中看到“更多”，其中包含ID列表。我需要以某种方式使用它吗？当我查看线程的 JSON 时，“after”表示“无”，即使使用更新的参数也是如此。

关于我需要在这里改变什么的任何想法？这可能很简单。

用于获取限制为 5 的子reddit帖子的工作代码：

params = {"t":"day","limit":5}
for i in range(2):
    response = requests.get('https://oauth.reddit.com/r/stocks/new',
                            headers=headers, params = params)
    response = response.json()
    for post in response['data']['children']:
        name = post['data']['name']
        print('name',name)
    params['after'] = name
    print(params)

给出输出：

name t3_lifixn
name t3_lifg68
name t3_lif6u2
name t3_lif5o2
name t3_lif3cm
{'t': 'day', 'limit': 5, 'after': 't3_lif3cm'}
name t3_lif26d
name t3_lievhr
name t3_liev9i
name t3_liepud
name t3_lie41e
{'t': 'day', 'limit': 5, 'after': 't3_lie41e'}

限制为10的Reddit线程的代码

params = {"limit":10}
for i in range(2):
    response = requests.get('https://oauth.reddit.com/r/wallstreetbets/comments/lgrc39/',
                            params = params,headers=headers)
    response = response.json()
    for post in response[1]['data']['children']:
        name = post['data']['name']
        print(name)
    params['after'] = name
    print(params)

给出输出：

t1_gmt20i4
t1_gmzo4xw
t1_gmzjofk
t1_gmzjkcy
t1_gmtotfl
{'limit': 10, 'after': 't1_gmtotfl'}
t1_gmt20i4
t1_gmzo4xw
t1_gmzjofk
t1_gmzjkcy
t1_gmtotfl
{'limit': 10, 'after': 't1_gmtotfl'}

尽管限制设置为10，但它在继续循环之前只提供了5个id。此外，它并没有更新'under'参数，而是重新启动了。

Answer 1

我最终想出了怎么做。阅读Reddit API的文档时，如果您在线程中想要获取更多注释，则必须从JSON的more部分编译id's列表。它是一个嵌套树，如下所示：

{'kind': 'more', 'data': {'count': 161, 'name': 't1_gmuram8', 'id': 'gmuram8', 'parent_id': 't1_gmt20i4', 'depth': 1, 'children': ['gmuram8', 'gmt6mf6', 'gmubxmr', 'gmt63gl', 'gmutw5j', 'gmtpitn', 'gmtoec3', 'gmtnel0', 'gmt4p79', 'gmupqhx', 'gmv70rm', 'gmtu2sj', 'gmt2vc7', 'gmtmjai', 'gmtje0b', 'gmtkzzj', 'gmt93n5', 'gmtvsqa', 'gmumhat', 'gmuj73q', 'gmtor7c', 'gmuqcwv', 'gmt3lxe', 'gmt4l78', 'gmum9cm', 'gmt857f', 'gmtjrz3', 'gmu0qcl', 'gmt9t9i', 'gmt8jc7', 'gmurron', 'gmt3ysv', 'gmt6neb', 'gmt4v3x', 'gmtoi6t']}}

当使用get请求时，您将使用以下url和格式

请求（https://oauth.reddit.com/api/morechildren/.json?api_type=json