我正在尝试使用scrapy从网页上抓取产品信息。我的待抓取网页如下所示：


，从有10个产品的product_list页面开始
单击“下一步”按钮将加载下一个10个产品（网址不不能在两个页面之间切换）
我使用LinkExtractor跟踪每个产品链接进入产品页面，并获取我需要的所有信息

我试图复制next-button-ajax -打电话，但不能上班，所以我尝试硒。我可以在单独的脚本中运行selenium的webdriver，但我不知道如何与scrapy集成。硒部分应该放在哪里我的蜘蛛网中？

我的蜘蛛非常标准，如下所示：

class ProductSpider(CrawlSpider):
    name = "product_spider"
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/shanghai']
    rules = [
        Rule(SgmlLinkExtractor(restrict_xpaths='//div[@id="productList"]//dl[@class="t2"]//dt'), callback='parse_product'),
        ]

    def parse_product(self, response):
        self.log("parsing product %s" %response.url, level=INFO)
        hxs = HtmlXPathSelector(response)
        # actual data follows


任何想法都值得赞赏。谢谢！

评论

stackoverflow.com/questions/50714354 / ...

#1 楼

这实际上取决于您需要如何刮取网站以及您希望如何以及要获取什么数据。

下面是一个示例，您可以使用Scrapy + Selenium在eBay上进行分页：

import scrapy
from selenium import webdriver

class ProductSpider(scrapy.Spider):
    name = "product_spider"
    allowed_domains = ['ebay.com']
    start_urls = ['http://www.ebay.com/sch/i.html?_odkw=books&_osacat=0&_trksid=p2045573.m570.l1313.TR0.TRC0.Xpython&_nkw=python&_sacat=0&_from=R40']

    def __init__(self):
        self.driver = webdriver.Firefox()

    def parse(self, response):
        self.driver.get(response.url)

        while True:
            next = self.driver.find_element_by_xpath('//td[@class="pagn-next"]/a')

            try:
                next.click()

                # get the data and write it to scrapy items
            except:
                break

        self.driver.close()


以下是“硒蜘蛛”的一些示例：


执行Javascript使用python中的scrapy提交表单函数
https://gist.github.com/cheekybastard/4944914
https：//gist.github。 com / irfani / 1045108
http://snipplr.com/view/66998/


还有一个替代方法，即必须将Selenium与Scrapy一起使用。在某些情况下，使用ScrapyJS中间件足以处理页面的动态部分。实际用法示例：


使用python-Scrapy抓取动态内容


评论

谢谢你的帮助。实际上，我最大的问题在于next.click（）之后的部分。每次获得新页面时，我是否仍可以使用LinkExtractor提取所有产品网址，然后使用回调来解析它们？

–林志恩
13年8月1日在1:39


有没有一种方法可以重复使用已被scrapy抓住的响应，而不是使用self.driver.get（response.url）？

–空灵
2013年9月23日在16:20


@HalcyonAbrahamRamirez这只是在蜘蛛网中硒部分的一个例子。硒完成后，通常将self.driver.page_source传递到Scrapy的Selector实例中，以解析HTML，形成项目实例，将它们传递到管道等。或者，可以将Selenium Cookie解析并传递给Scrapy进行制作其他要求。但是，如果您不需要Scrapy框架体系结构的强大功能，那么可以肯定，您只能使用硒-它本身在定位元素方面非常强大。

– alecxe
2015年6月20日在1:28


@alecxe是的，我明白了。我仍然对使用硒提取页面源并将要刮擦的元素传递给刮擦的部分感到困惑。例如。单击加载更多按钮，它将显示更多项目，但是您提取了这些项目的xpath。现在如何将这些xpath传递给scrapy？因为只会在您首次请求页面时显示的项目被scrappy解析，而不是单击带有硒的“加载更多”按钮后的内容

–太平绅士亚伯拉罕·拉米雷斯
15年6月20日在1:53
@HalcyonAbrahamRamirez知道了，我将加载更多项目，直到没有更多可添加的内容为止。然后，使用driver.page_source并将其传递给Selector（）。

– alecxe
2015年6月20日在2:01

#2 楼

如果（URL在两页之间没有变化），则应在scrapy.Request（）中添加dont_filter = True，否则scrapy在处理完第一页后会发现此URL是重复的。

如果您需要使用javascript渲染页面，则应使用scrapy-splash，您也可以选中此可以使用selenium处理javascript页面的scrapy中间件，也可以通过启动任何无头浏览器来做到这一点

但是，更有效，更快捷的解决方案是检查您的浏览器，并查看在提交表单或触发特定事件期间提出了哪些请求。尝试模拟与浏览器发送的请求相同的请求。如果可以正确复制请求，则将获取所需的数据。

以下是示例：

class ScrollScraper(Spider):
    name = "scrollingscraper"

    quote_url = "http://quotes.toscrape.com/api/quotes?page="
    start_urls = [quote_url + "1"]

    def parse(self, response):
        quote_item = QuoteItem()
        print response.body
        data = json.loads(response.body)
        for item in data.get('quotes', []):
            quote_item["author"] = item.get('author', {}).get('name')
            quote_item['quote'] = item.get('text')
            quote_item['tags'] = item.get('tags')
            yield quote_item

        if data['has_next']:
            next_page = data['page'] + 1
            yield Request(self.quote_url + str(next_page))


分页时每个页面的url相同，并使用POST请求，则可以使用scrapy.FormRequest（）代替scrapy.Request（），两者相同，但是FormRequest向构造函数添加了新的参数（formdata =）。

这是此帖子中的另一个蜘蛛示例：

class SpiderClass(scrapy.Spider):
    # spider name and all
    name = 'ajax'
    page_incr = 1
    start_urls = ['http://www.pcguia.pt/category/reviews/#paginated=1']
    pagination_url = 'http://www.pcguia.pt/wp-content/themes/flavor/functions/ajax.php'

    def parse(self, response):

        sel = Selector(response)

        if self.page_incr > 1:
            json_data = json.loads(response.body)
            sel = Selector(text=json_data.get('content', ''))

        # your code here

        # pagination code starts here
        if sel.xpath('//div[@class="panel-wrapper"]'):
            self.page_incr += 1
            formdata = {
                'sorter': 'recent',
                'location': 'main loop',
                'loop': 'main loop',
                'action': 'sort',
                'view': 'grid',
                'columns': '3',
                'paginated': str(self.page_incr),
                'currentquery[category_name]': 'reviews'
            }
            yield FormRequest(url=self.pagination_url, formdata=formdata, callback=self.parse)
        else:
            return