Какой лучший способ заставить паука следовать за пагинацией url-адреса ?

Это очень специфично для сайта и зависит от того, как реализована пагинация.

Если разбиение на страницы является JQuery, то есть в URL нет переменной GET, можно ли следовать разбиению на страницы ?

Это именно ваш вариант использования-разбиение на страницы производится с помощью дополнительных вызовов AJAX, которые вы можете имитировать внутри вашего Scrapy spider.

Могу ли я иметь разные "правила" в одном и том же пауке, чтобы очистить разные части страницы ? или лучше, чтобы пауки специализировались, каждый паук был сосредоточен на чем-то одном?

Да, механизм "правил", который предоставляет CrawlSpider, является очень мощным элементом технологии - он легко настраивается - у вас может быть несколько правил, некоторые из них будут следовать определенным ссылкам, соответствующим определенным критериям, или расположены в определенном разделе страницы. Наличие одного паука с несколькими правилами должно быть предпочтительнее, чем иметь несколько пауков. Говоря о вашем конкретном случае использования, вот идея:

• сделайте rule, чтобы следить за категориями и подкатегориями в меню навигации домашней страницы - это там restrict_xpaths поможет
• в обратном вызове для каждой категории или подкатегории yield a Request, который будет имитировать запрос AJAX, отправленный вашим браузером, когда вы открываете страницу категории
• в обработчике ответа AJAX (callback) проанализируйте доступные элементы и yield другой Request для той же категории / подкатегории, но увеличивающий параметр page GET (получение следующей страницы)

Пример рабочей реализации:

import re
import urllib

import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor


class ProductItem(scrapy.Item):
    description = scrapy.Field()
    price = scrapy.Field()


class GrupoeroskiSpider(CrawlSpider):
    name = 'grupoeroski'
    allowed_domains = ['compraonline.grupoeroski.com']
    start_urls = ['http://www.compraonline.grupoeroski.com/supermercado/home.jsp']

    rules = [
        Rule(LinkExtractor(restrict_xpaths='//div[@class="navmenu"]'), callback='parse_categories')
    ]

    def parse_categories(self, response):
        pattern = re.compile(r'/(\d+)\-\w+')
        groups = pattern.findall(response.url)
        params = {'page': 1, 'categoria': groups.pop(0)}

        if groups:
            params['grupo'] = groups.pop(0)
        if groups:
            params['familia'] = groups.pop(0)

        url = 'http://www.compraonline.grupoeroski.com/supermercado/ajax/listProducts.jsp?' + urllib.urlencode(params)
        yield scrapy.Request(url,
                             meta={'params': params},
                             callback=self.parse_products,
                             headers={'X-Requested-With': 'XMLHttpRequest'})

    def parse_products(self, response):
        for product in response.xpath('//div[@class="product_element"]'):
            item = ProductItem()
            item['description'] = product.xpath('.//span[@class="description_1"]/text()').extract()[0]
            item['price'] = product.xpath('.//div[@class="precio_line"]/p/text()').extract()[0]
            yield item

        params = response.meta['params']
        params['page'] += 1

        url = 'http://www.compraonline.grupoeroski.com/supermercado/ajax/listProducts.jsp?' + urllib.urlencode(params)
        yield scrapy.Request(url,
                             meta={'params': params},
                             callback=self.parse_products,
                             headers={'X-Requested-With': 'XMLHttpRequest'})

Надеюсь, что это хорошая отправная точка для вас.

---

Кто-нибудь знает, есть ли какая-нибудь отрывочная книга, которая скоро выйдет?

Ничего конкретного, что я могу вспомнить.

^{хотя я слышал, что какой-то издатель планирует выпустить книгу. насчет паутины, но я не должен тебе этого говорить.}