使用Python在Google中搜索

Question

我想使用python脚本在Google中搜索文本，然后返回每个结果的名称，描述和URL。我目前正在使用此代码：

from google import search

ip=raw_input("What would you like to search for? ")

for url in search(ip, stop=20):
     print(url)

这仅返回URL。如何返回每个URL的名称和描述？

Answer 1

并不是我一直在寻找的东西，但是我发现自己现在是一个不错的解决方案（如果我可以做得更好的话，我可以对其进行编辑）。我像在Google中一样搜索（仅返回URL）和Beautiful
Soup软件包结合在一起来解析HTML页面：

from google import search
import urllib
from bs4 import BeautifulSoup

def google_scrape(url):
    thepage = urllib.urlopen(url)
    soup = BeautifulSoup(thepage, "html.parser")
    return soup.title.text

i = 1
query = 'search this'
for url in search(query, stop=10):
    a = google_scrape(url)
    print str(i) + ". " + a
    print url
    print " "
    i += 1

这给了我页面标题和链接的列表。

另一个很棒的解决方案：

from google import search
import requests

for url in search(ip, stop=10):
            r = requests.get(url)
            title = everything_between(r.text, '<title>', '</title>')