Подскажите, пожалуйста, а как настроить парсинг по определенному количеству ссылок разом?



Друзья, всем привет. Подскажите, пожалуйста, а как настроить парсинг по определенному количеству ссылок разом? Например, есть определенное количество ссылок из которых надо вытащить один конкретный параметр. По одной ссылке работает и вытаскивает, но как настроить возможность обхода массива ссылок и запись их в конечном итоге в df в виде "ссылка" - "параметр". Пока только познаю азы, поэтому вопрос может и глупый. Во многих примерах, что я смотрел, парсится одна ссылка, либо ссылки с закономерностью в написании... Буду благодарен совету или ссылке с полезным уроком. Заранее спасибо
521   10  

Comments

  1. Марат Кашафетдинов
    Марат Кашафетдинов 4 года назад
    В цикле.
  2. Андрей Брюханов
    Андрей Брюханов 4 года назад
    В цикле по списку ссылок
  3. Наталья Пискунова
    Наталья Пискунова 4 года назад
    1. Создать пустой словарь. Создать список ссылок для парсинга. 2. Пройтись в цикле по списку ссылок. Для каждой выполнить парсинг. Записать результат в словарь (ключ - ссылка, значение - результат парсинга, типа my_dict[URL] = parameter) . 3. Конвертировать словарь в pandas датафрейм.
  4. Alex Ostudin
    Alex Ostudin 4 года назад
    Можно ещё наверно создать дф с ссылками и через apply создать новую колонку, в виде функции вставить свой парсер, тогда без цикла)
  5. Алексей Кручин
    Алексей Кручин 4 года назад
    Большое спасибо за ответы! Буду изучать
  6. Дмитрий Сломеников
    Дмитрий Сломеников 4 года назад
    1. Создаешь пустой датафрейм, в котором определяешь нужные тебе столбцы. 2. Запихиваешь ссылки в список [ ]. 3. Затем формируешь парсер, лучше запихнуть его в функцию. В функции полученные данные оформляешь в словарь { } , где ключ - столбец, значение - значение. В конце функция возвращает этот словарь. 4. Пишешь цикл который проходит по списку с ссылками, внутри у него также функция с парсером. Возвращенный функцией словарь через append добавляешь к датафрейму, это будет построчное добавление.
  7. Алексей Кручин
    Алексей Кручин 4 года назад
    Друзья, еще раз всем спасибо за советы! Почитал про циклы и все получилось!1. Я "скормил" пайтону эксель файл с ссылками2. Завернул парсер в цикл3. Выгрузил все это в отдельный эксель в виде "ссылка" - "длительность видео" (пробовал в первоначальный файл, тоже работает)
    • Адиль Акавов
      Адиль Акавов 4 года назад
      Алексей Кручин класс, теперь вы вооружены циклами)
  8. Адиль Акавов
    Адиль Акавов 4 года назад
    получилось сделать?
    • Алексей Кручин
      Алексей Кручин 4 года назад
      Адиль Акавов да, спасибо) выше поделился решением)