尝试使用Selenium刮取数据>

Question

我试图使用Selenium从代码中获得jpg。我已经设法找到了链接点击获得我的jpg所在的位置。（真倒霉！我刚接触硒）。所有的窗户都随着它的点击而打开。与刮刮乐相比，它真的很慢，所以如果有人能告诉我一个更快的方法，那就太好了。

我试图搜索的网站是www.rosegal.com。我正在刮的类别是大尺寸的背心。这第一页有60个产品在它。如果单击这些产品，它会将您带到一个产品页面，在该页面上您可以选择所需的尺寸、颜色和数量。

    from selenium import webdriver

    chrome_path = r"C:/Users/daver/Downloads/chromedriver_win32 
    (4)/chromedriver.exe"

    driver = webdriver.Chrome(chrome_path)

   driver.get("https://www.rosegal.com/plus-size-tank-tops-482/")

   driver.find_element_by_xpath("""//* 
   [@id="js_proList"]/ul[1]/li[1]/div/div/p""").click()

   #This is what I tried this to get my jpg:   

  image1_element = driver.find_element_by_xpath("""//* 
  [@id="goods_thumb_content"]/ul/li[1]/img""")

  print("image1_element")
  print(image1_element)

  image1_element = driver.find_element_by_xpath("""//* 
  [@id="goods_thumb_content"]/ul/li[2]/img""")

  print("image2_element")
  print(image2_element)

  image1_element = driver.find_element_by_xpath("""//* 
  [@id="goods_thumb_content"]/ul/li[3]/img""")

  print("image3_element")
  print(image3_element)





   **This is the code the jpg is embedded:**

<div id="js_zoom_img" style="position: relative; overflow: hidden;">  
    <img data-zoomimg="https://gloimg.rglcdn.com/rosegal/pdm-product- 
    pic/Clothing/2019/06/18/source-img/20190618173639_71567.jpg" 

也试图回到页面上的60个产品，这样我就可以刮掉其他产品。

Answer 1

下面的代码将帮助您单击每种颜色并打印与之关联的所有图像。

#To click on each color
Colors = driver.find_elements_by_xpath("//p[@class='attr-choose clearfix goods_property_color']//a")

for color in Colors:
    print("Clicking on color: ",color.get_attribute('data-value'))
    color.click()
    time.sleep(2)
    #now collect all the image urls for the color
    images = driver.find_elements_by_xpath("//div[@id='goods_thumb_content']//li")
    print("Total images",len(images))
    for image in images:
        print(image.get_attribute('data-bigimg'))