Очистка веб-данных (комментарии к новостям в интернете) с помощью Scrapy (Python)

Поскольку вы похожи на тип "сначала попробуйте задать вопрос позже" (это очень хорошо), я не дам вам ответ, но (очень подробное) руководство о том, как найти ответ.

Дело в том, что если вы не являетесь разработчиком yahoo, у вас, вероятно, нет доступа к исходному коду, который вы пытаетесь наскрести. То есть вы не знаете точно, как построен сайт и как ваши запросы к нему как пользователю обрабатываются на стороне сервера. Однако вы можете исследовать клиентскую сторону и попытайтесь подражать ему. Мне нравится использовать для этого инструменты разработчика Chrome, но вы можете использовать и другие, такие как FF firebug. Итак, прежде всего нам нужно выяснить, что происходит. Итак, как это работает, вы нажимаете на "показать комментарии", он загружает первые десять, затем вам нужно продолжать нажимать на следующие десять комментариев каждый раз. Обратите внимание, однако, что все это нажатие не приведет вас к другой ссылке, но оживленно извлекает комментарии, что является очень аккуратным пользовательским интерфейсом, но в нашем случае требует немного больше работа. Я могу сразу сказать две вещи:

1. они используют javascript для загрузки комментариев (потому что я остаюсь на той же странице).
2. они загружают их динамически с помощью AJAX-вызовов каждый раз, когда вы нажимаете (это означает, что вместо загрузки комментариев со страницы и просто показа их вам, с каждым щелчком он делает еще один запрос к базе данных).

Теперь давайте щелкнем правой кнопкой мыши и проверим элемент на этой кнопке. Это на самом деле просто простой промежуток с текст:

<span>View Comments (2077)</span>

Глядя на это, мы все еще не знаем, как это генерируется или что он делает при нажатии. Хорошо. Теперь, держа окно devtools открытым, давайте щелкнем по нему. Это открыло первую десятку. Но на самом деле нам было предложено забрать их. Запрос, который записал chrome devtools. Мы смотрим на вкладку "Сеть" в инструментах разработчика и увидеть много противоречивых данных. Подождите, вот один, который имеет смысл:

http://news.yahoo.com/_xhr/contentcomments/get_comments/?content_id=42f7f6e0-7bae-33d3-aa1d-3dfc7fb5cdfc&_device=full&count=10&sortBy=highestRated&isNext=true&offset=20&pageNumber=2&_media.modules.content_comments.switches._enable_view_others=1&_media.modules.content_comments.switches._enable_mutecommenter=1&enable_collapsed_comment=1

Видите? _xhr и затем get_comments. Что делает много смысла. Переход по этой ссылке в браузере дал мне объект JSON (похожий на словарь python), содержащий все десять комментариев, которые получил этот запрос. Теперь это запрос, который вам нужно эмулировать, потому что это тот, который дает вам то, что вы хотите. Сначала давайте переведем это на какой-нибудь нормальный reqest, который человек может прочитать:

go to this url: http://news.yahoo.com/_xhr/contentcomments/get_comments/
include these parameters: {'_device': 'full',
          '_media.modules.content_comments.switches._enable_mutecommenter': '1',
          '_media.modules.content_comments.switches._enable_view_others': '1',
          'content_id': '42f7f6e0-7bae-33d3-aa1d-3dfc7fb5cdfc',
          'count': '10',
          'enable_collapsed_comment': '1',
          'isNext': 'true',
          'offset': '20',
          'pageNumber': '2',
          'sortBy': 'highestRated'}

Теперь это просто вопрос проб и ошибок. Однако здесь следует отметить несколько моментов:

1. Очевидно, что граф-это то, что решает, сколько комментариев вы получите. Я попытался изменить его на 100, чтобы посмотреть, что произойдет, и получил плохой запрос. И это было достаточно мило, чтобы сказать мне, почему - "смещение должно быть кратно общему числу строк". Итак, теперь мы понимаем, как использовать offset

2. Content_id, вероятно, является чем-то, что идентифицирует статью, которую Вы читаете. Это означает, что вам нужно как-то извлечь это из исходной страницы. Попробуйте немного покопаться, и вы найдете его.

3. Кроме того, вы, очевидно, не хотите чтобы получить 10 комментариев одновременно, поэтому, вероятно, неплохо найти способ каким-то образом получить общее количество комментариев (либо узнать, как страница получает его, либо просто получить его из самой статьи)

4. С помощью devtools вы получаете доступ ко всем клиентским скриптам. Таким образом, копая вы можете обнаружить, что эта ссылка на /get_comments / хранится в объекте javascript с именем YUI. Затем вы можете попытаться понять, как он делает запрос, и попытаться подражать этому (хотя вы возможно, вы сами сможете это понять)

5. Возможно, вам придется преодолеть некоторые меры безопасности. Например, для доступа к комментариям может потребоваться сеансовый ключ из исходной статьи. Это используется для предотвращения прямого доступа к некоторым частям сайтов. Я не буду утруждать вас подробностями, потому что в данном случае это не кажется проблемой, но вы должны знать об этом на случай, если это обнаружится.

6. Наконец, вам придется разобрать объект JSON (python имеет отличные встроенные инструменты для этого), а затем проанализировать HTML-комментарии, которые вы получаете (для которых вы можете проверить BeautifulSoup).

Как вы можете видеть, это потребует некоторой работы, но, несмотря на все, что я написал, это не очень сложная задача.

Так что не паникуйте.

Это просто вопрос копания и копания, пока вы не найдете золото (кроме того, наличие некоторых базовых знаний в Интернете не повредит). Затем, если вы столкнулись с блокпостом и действительно не могу идти дальше, вернуться сюда, чтобы так, и спросить снова. Кто-нибудь вам поможет.

Удачи!