Python：计算用户在推文中使用的图像和视频数量

Question

我抓取了Twitterhtml" target="_blank">数据，但没有使用Tweepy，我想为每个用户获取推文中使用的图像/视频数量。到目前为止，我拥有的是：推文URL：“https://twitter.com/user_screen_name/status/tweet_id，我还有user_id和推文（文本链接媒体）。

我想做的是检查推文是否包含视频，如果是，计算它，图像也是如此。我注意到推文中使用的链接以“…/t.co.开头。”所以它们基本上是重定向链接。此外，推文中显示的图像/视频基本上是重定向链接中包含的那些（这就是我所理解的）

我尝试了此代码进行图像计数，但没有得到任何结果：

import urllib
from bs4 import BeautifulSoup
from urllib.request import urlopen   
def get_image_count(url):              
    soup = bs4.BeautifulSoup(urlopen((url))
    images = soup.findAll('img')
    file_types= '//img[contains(@src, ".jpg") or contains(@src, ".jpeg") or contains(@src, ".png")]'
    # loop through all img elements found and store the urls with matching extensions
    urls = list(x for x in images if x['src'].split('.')[-1] in file_types)
    print(urls)
    return len(urls)

当我使用此链接运行此代码时='https://twitter.com/fritzlabs/status/1369661296162054145'这是我得到的输出：

[<img alt="Twitter" height="38" src="https://abs.twimg.com/errors/logo46x38.png" srcset="https://abs.twimg.com/errors/logo46x38.png 1x, https://abs.twimg.com/errors/[e-mail] 2x" width="46"/>]

1

请问这里有任何帮助吗？我尝试了其他代码，但得到了相同的输出。谢谢

Answer 1

发生这种情况是因为请求返回的超文本标记语言不是推文，而是一个警告，说Javascript被禁用了。这不是你的脚本的错误，当你在浏览器中发出请求时也会发生，不管是否启用了javascript。

当向示例tweet发出浏览器请求时，会返回禁用的javascript HTML，然后javascript会运行并加载到实际的tweet中。

要查看这一过程，请打开Chrome或Firefox，按F12并转到网络选项卡。访问您的页面。第一个请求与您在python中发出的请求相同，即tweet < code > 1369661296162054145 。如果您查看请求响应的预览，您会看到javascript警告。

在网络选项卡的下方，您会看到对< code > 1369661296162054145 . JSON 的请求。这是返回实际tweet的请求，也是您需要复制的请求。