登录
当前位置： 首页 > 知识库问答 >
问题：

Scrapy提取错误的IMG SRC

羊舌勇
2023-03-14

我正在尝试使用Scrapy获取ID为hero_photo的页面上图像的URL。target元素具有以下HTML代码

“灰线照片”style=“位置：relative；left:-50px；top:0px；”id=“hero_photo”class=“flexibleimage”src=“https://media-cdn.tripadvisor.com/media/photo-s/04/71/70/7c/gray-line-tours-montreal.jpg”width=“352”height=“260”

在Chrome浏览器中运行

$('#HERO_PHOTO').attr('src')

正确抓取URL

"https://media-cdn.tripadvisor.com/media/photo-s/04/71/70/7c/gray-line-tours-montreal.jpg"

问题：但是在Scrapy中使用以下CSS选择器,

response.css('#HERO_PHOTO::attr(src)').extract_first()

而且

response.css('#HERO_PHOTO').xpath('@src').extract_first()

而且

response.css('#HERO_PHOTO[src]').extract_first()

给了我们

https://static.tacdn.com/img2/x.gif

使用.extract()也返回了同样不正确的URL。

为什么Scrapy会抓取不同的SRC值？

共有1个答案

乔凯康
2023-03-14

图像链接位于页面中，但不直接作为标记。确实是用一些JavaScript代码处理的。HTML中有一个JavaScript片段，包含您想要的图像链接（稍微重新格式化）：

...
}(window,ta));
</script>
<script type="text/javascript">
var lazyImgs = [{
    "data": "//maps.google.com/maps/api/staticmap?&channel=ta.desktop&zoom=15&size=340x225&client=gme-tripadvisorinc&sensor=falselanguageParam&center=45.503395,-73.573174&maptype=roadmap&&markers=icon:http%3A%2F%2Fc1.tacdn.com%2Fimg2%2Fmaps%2Ficons%2Fpin_v2_CurrentCenter.png|45.503395,-73.57317&signature=FqI7Z1egbpsVrlEE0yjw9HmsMJ8=",
    "scroll": false,
    "tagType": "img",
    "id": "lazyload_1098682971_0",
    "priority": 500,
    "logerror": false
}, {
    "data": "//ad.atdmt.com/i/img;p=11007200799198;cache=?ord=1475487471489",
    "scroll": false,
    "tagType": "img",
    "id": "lazyload_1098682971_1",
    "priority": 1000,
    "logerror": false
}, {
    "data": "//ad.doubleclick.net/ad/N4764.TripAdvisor/B7050081;sz=1x1?ord=1475487471489",
    "scroll": false,
    "tagType": "img",
    "id": "lazyload_1098682971_2",
    "priority": 1000,
    "logerror": false
}, {
    "data": "https://static.tacdn.com/img2/maps/icons/spinner24.gif",
    "scroll": false,
    "tagType": "img",
    "id": "lazyload_1098682971_3",
    "priority": 100,
    "logerror": false
}, {
    "data": "https://media-cdn.tripadvisor.com/media/photo-s/04/71/70/7c/gray-line-tours-montreal.jpg",
    "scroll": false,
    "tagType": "img",
    "id": "HERO_PHOTO",
    "priority": 100,
    "logerror": false
}, {
    "data": "https://media-cdn.tripadvisor.com/media/photo-s/0c/f5/19/98/montreal-night-tour.jpg",
    "scroll": false,
    "tagType": "img",
    "id": "THUMB_PHOTO1",
    "priority": 100,
    "logerror": false
}, {
    "data": "https://media-cdn.tripadvisor.com/media/photo-s/0c/f5/19/8f/montreal-night-tour.jpg",
    "scroll": false,
    "tagType": "img",
    "id": "THUMB_PHOTO2",
    "priority": 100,
    "logerror": false
}, {
    "data": "https://static.tacdn.com/img2/generic/site/no_user_photo-v1.gif",
    "scroll": false,
    "tagType": "img",
    "id": "lazyload_1098682971_4",
    "priority": 100,
    "logerror": false
}...

解析的一种方法是使用js2xml:

from pprint import pprint
# get all `<script>`s content 
for js in response.xpath('.//script[@type="text/javascript"]/text()').extract():
    try:
        jstree = js2xml.parse(js)

        # look for assignment of `var lazyImgs`
        for imgs in jstree.xpath('//var[@name="lazyImgs"]/*'):

            # use js2xml.make_dict() -- poor name I know
            # to build a useful Python object
            data = js2xml.make_dict(imgs)

            pprint(data)

            break

    except Exception as e:
        pass

这就是你得到的：

[{'data': '//maps.google.com/maps/api/staticmap?&channel=ta.desktop&zoom=15&size=340x225&client=gme-tripadvisorinc&sensor=falselanguageParam&center=45.503395,-73.573174&maptype=roadmap&&markers=icon:http%3A%2F%2Fc1.tacdn.com%2Fimg2%2Fmaps%2Ficons%2Fpin_v2_CurrentCenter.png|45.503395,-73.57317&signature=FqI7Z1egbpsVrlEE0yjw9HmsMJ8=',
  'id': 'lazyload_-1977833463_0',
  'logerror': False,
  'priority': 500,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/maps/icons/spinner24.gif',
  'id': 'lazyload_-1977833463_1',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-s/04/71/70/7c/gray-line-tours-montreal.jpg',
  'id': 'HERO_PHOTO',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-s/0c/f5/19/98/montreal-night-tour.jpg',
  'id': 'THUMB_PHOTO1',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-s/0c/f5/19/8f/montreal-night-tour.jpg',
  'id': 'THUMB_PHOTO2',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/generic/site/no_user_photo-v1.gif',
  'id': 'lazyload_-1977833463_2',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/08/38/19/cb/gayle-h.jpg',
  'id': 'lazyload_-1977833463_3',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/lvl_01.png',
  'id': 'lazyload_-1977833463_4',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/rev_02.png',
  'id': 'lazyload_-1977833463_5',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/Appreciated.png',
  'id': 'lazyload_-1977833463_6',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/gray_flag.png',
  'id': 'lazyload_-1977833463_7',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/01/b1/32/93/holidays1958.jpg',
  'id': 'lazyload_-1977833463_8',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/lvl_04.png',
  'id': 'lazyload_-1977833463_9',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/rev_04.png',
  'id': 'lazyload_-1977833463_10',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/FunLover.png',
  'id': 'lazyload_-1977833463_11',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/Appreciated.png',
  'id': 'lazyload_-1977833463_12',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/gray_flag.png',
  'id': 'lazyload_-1977833463_13',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-o/06/4d/bc/f6/disneybus.jpg',
  'id': 'lazyload_-1977833463_14',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/lvl_06.png',
  'id': 'lazyload_-1977833463_15',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/rev_06.png',
  'id': 'lazyload_-1977833463_16',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/FunLover.png',
  'id': 'lazyload_-1977833463_17',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/Appreciated.png',
  'id': 'lazyload_-1977833463_18',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/gray_flag.png',
  'id': 'lazyload_-1977833463_19',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/01/2e/70/a7/avatar078.jpg',
  'id': 'lazyload_-1977833463_20',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/rev_01.png',
  'id': 'lazyload_-1977833463_21',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/Appreciated.png',
  'id': 'lazyload_-1977833463_22',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/gray_flag.png',
  'id': 'lazyload_-1977833463_23',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/01/2e/70/9f/avatar070.jpg',
  'id': 'lazyload_-1977833463_24',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/lvl_02.png',
  'id': 'lazyload_-1977833463_25',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/rev_03.png',
  'id': 'lazyload_-1977833463_26',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/Appreciated.png',
  'id': 'lazyload_-1977833463_27',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/gray_flag.png',
  'id': 'lazyload_-1977833463_28',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/03/9f/a6/94/facebook-avatar.jpg',
  'id': 'lazyload_-1977833463_29',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/lvl_04.png',
  'id': 'lazyload_-1977833463_30',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/rev_05.png',
  'id': 'lazyload_-1977833463_31',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/FunLover.png',
  'id': 'lazyload_-1977833463_32',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/Appreciated.png',
  'id': 'lazyload_-1977833463_33',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/gray_flag.png',
  'id': 'lazyload_-1977833463_34',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/06/f3/32/86/complsv.jpg',
  'id': 'lazyload_-1977833463_35',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/lvl_04.png',
  'id': 'lazyload_-1977833463_36',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/rev_05.png',
  'id': 'lazyload_-1977833463_37',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/FunLover.png',
  'id': 'lazyload_-1977833463_38',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/Appreciated.png',
  'id': 'lazyload_-1977833463_39',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/gray_flag.png',
  'id': 'lazyload_-1977833463_40',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/05/f2/4d/68/christine-n.jpg',
  'id': 'lazyload_-1977833463_41',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/lvl_03.png',
  'id': 'lazyload_-1977833463_42',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/rev_04.png',
  'id': 'lazyload_-1977833463_43',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/FunLover.png',
  'id': 'lazyload_-1977833463_44',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/Appreciated.png',
  'id': 'lazyload_-1977833463_45',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/gray_flag.png',
  'id': 'lazyload_-1977833463_46',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/01/2e/70/80/avatar001.jpg',
  'id': 'lazyload_-1977833463_47',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/lvl_03.png',
  'id': 'lazyload_-1977833463_48',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/rev_04.png',
  'id': 'lazyload_-1977833463_49',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/FunLover.png',
  'id': 'lazyload_-1977833463_50',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/Appreciated.png',
  'id': 'lazyload_-1977833463_51',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/gray_flag.png',
  'id': 'lazyload_-1977833463_52',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/0a/45/46/e2/tracey-g.jpg',
  'id': 'lazyload_-1977833463_53',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/lvl_06.png',
  'id': 'lazyload_-1977833463_54',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/rev_06.png',
  'id': 'lazyload_-1977833463_55',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/FunLover.png',
  'id': 'lazyload_-1977833463_56',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/badges/20px/Appreciated.png',
  'id': 'lazyload_-1977833463_57',
  'logerror': False,
  'priority': 100,
  'scroll': False,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/gray_flag.png',
  'id': 'lazyload_-1977833463_58',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-f/02/6d/40/b2/montreal-amphi-bus-tour.jpg',
  'id': 'lazyload_-1977833463_59',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/01/39/2d/43/old-montreal-walking.jpg',
  'id': 'lazyload_-1977833463_60',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/06/df/96/c7/excursions-montreal-private.jpg',
  'id': 'lazyload_-1977833463_61',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/02/ad/57/0a/filename-p1010076-jpg.jpg',
  'id': 'lazyload_-1977833463_62',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-o/04/b5/6a/8d/ali-l.jpg',
  'id': 'lazyload_-1977833463_63',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/01/2e/70/87/avatar008.jpg',
  'id': 'lazyload_-1977833463_64',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-o/06/8a/c5/7d/leonard-d.jpg',
  'id': 'lazyload_-1977833463_65',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-o/05/6d/32/ca/rpm13111.jpg',
  'id': 'lazyload_-1977833463_66',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/01/2e/70/87/avatar008.jpg',
  'id': 'lazyload_-1977833463_67',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/neighborhood/icon_hood_white.png',
  'id': 'lazyload_-1977833463_68',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/oyster/500/08/5b/34/b0/sherbrooke-street-west-shopping--.jpg',
  'id': 'lazyload_-1977833463_69',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/maps/icons/icon_mapControl_expand_idle_30x30.png',
  'id': 'lazyload_-1977833463_70',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/maps/icons/icon_mapControl_expand_hover_30x30.png',
  'id': 'lazyload_-1977833463_71',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/01/a1/f2/6b/marche-atwater.jpg',
  'id': 'lazyload_-1977833463_72',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/01/41/78/a3/mcgill-university-lower.jpg',
  'id': 'lazyload_-1977833463_73',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/04/06/16/08/musee-grevin.jpg',
  'id': 'lazyload_-1977833463_74',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/03/4a/9a/85/laurie-raphael.jpg',
  'id': 'lazyload_-1977833463_75',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/09/45/53/16/cafe-humble-lion.jpg',
  'id': 'lazyload_-1977833463_76',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://media-cdn.tripadvisor.com/media/photo-l/03/2f/37/03/essence.jpg',
  'id': 'lazyload_-1977833463_77',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/branding/logo_with_tagline.png',
  'id': 'LOGOTAGLINE',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'},
 {'data': 'https://static.tacdn.com/img2/icons/bell.png',
  'id': 'lazyload_-1977833463_78',
  'logerror': False,
  'priority': 100,
  'scroll': True,
  'tagType': 'img'}]
 类似资料：
  • 正在提取文本xpath scrapy

    大家好，我想使用scrapy中的xpath从html块中提取所有文本 假设我们有这样一个块： 我想将文本摘录为[“blahblah”,“blahblah”,“blihblih”]。我希望xpath在div节点中递归查找文本。我听说过try:，但它不提取嵌套元素。 干杯！SEB

  • Scrapy爬虫提取URL，但错过了一半回调

    我在尝试刮取此URL时遇到了一个奇怪的问题： 为了执行爬行，我设计了这个： 我从命令行启动spider，我可以看到URL通常被删除，但是，对于其中一些URL，回调不起作用（大约一半的URL通常被删除）。 由于此页面上有150多个链接，这可能解释了爬虫程序缺少回调（太多作业）的原因。你们中的一些人对此有什么想法吗？ 这是日志： 2015-12-25 09:02:55[scrapy]信息：存储在中的c

  • Scrapy-使用xPathSelector提取嵌套的“img src”

    我对使用Scrapy或python进行这方面的工作比较陌生。我想从几个不同的链接中提取，但我在使用HTMLXPathSelector表达式（语法）时遇到了问题。我已经查看了大量的文档以获得适当的语法，但还没有找到解决方案。 下面是一个链接示例，我试图从中提取“img src”： 我正试图从中提取img src url的页面 我想我已经弄清楚了x.select语句的语法，但由于我对这种语法/方法是新

  • 错误代码1安装Scrapy

    我正在尝试为Python安装Scrapy模块。我正在使用命令： 但我得到了以下错误： 我对此做了一些研究，并在这里和这里尝试了几种不同的解决方案，但没有效果。

  • 使用“\d”从具有Scrapy for Python 2的DIV中提取数据时出现XPath错误

    我试图用scrapy for Python2从DIV中提取数据。我现在意识到不能在提取的div XPath中使用像\d这样的regex命令。我怎么才能解决这个问题呢？对于\d{,2},我想告诉python“嘿,这里应该有一个数值介于1-100之间的数字”,谢谢 URL中的html代码片段如下： item[“date”]=span class=“date”>1月12日/span> item[“pri

  • org.hibernate.exception.sqlgrammarexception错误：无法提取ResultSet

    org.hibernate.exception.sqlgrammarexception：无法提取ResultSet 以及此控制台错误： 错误：您的SQL语法有错误；查看与您的MariaDB服务器版本相对应的手册，了解第1行“leave leave2_where leave2_.leave_employee=staff0_.staff_code and project1_.proj”附近使用的正确语

相关问答

使用“\d”从具有Scrapy for Python 2的DIV中提取数据时出现XPath错误org.hibernate.exception.sqlgrammarexception错误：无法提取ResultSetPython scrapy selenium scraper docker构建错误（错误代码100）用python和scrapy从web中提取文本位置提取错误Ios[重复]

相关文章

“无法获取提供商com.google.firebase.provider.FirebaseInitProvider”错误路径AndroidTreeSet提供错误的输出-Java8Viewpager中的Google Map实施，错误无法获取提供商使用Scrapy抓取JSON响应scrapy实践之翻页爬取的实现

相关阅读

[实例]Scrapy框架应用PyTorch Convents特征提取Tableau提取过滤器Java提取子字符串WebSocket处理错误

相关工具

ScrapyScrapy-PythonUITextField 焦点提示获取网页的所有图片自动文字提示列表

相关文档

Scrapy 中文文档常见 HTTP / FTP / WebSocket 错误代码大全Java 提高篇Python 取证中文教程人工智能会取代人类吗？
快捷导航： 新手教程 算法原理 架构设计 Java进阶 数据库进阶 大厂专栏 面试经验 编程笔记 编程问答 所有专题 文档资料 工具软件 电子书籍 小牛导航
在线工具： 房贷计算器 个税计算器 Linux命令查询 Json格式化 正则表达式 颜色转换 AES加解密 SHA1加密 MD5加密 毒鸡汤 字数统计 随机密码生成 进制转换 Base64编解码 励志句子
Copyright © 2019-2024 小牛知识库@xnip.cn. All Rights Reserved.