Очистка данных с веб-сайта с помощью vba

Были упомянуты и другие методы, поэтому давайте, пожалуйста, признаем, что на момент написания этой книги мы находимся в 21 веке. Давайте припаркуемлокальный автобус открытие браузера, и fly с XMLHTTP GET запрос (XHR GET для краткости).

Вики-момент:

XHR-это API в виде объекта, методы которого передают данные между веб-браузером и веб-сервером. Объект предоставляется компанией JavaScript браузера окружающая среда

Это быстрый метод извлечения данных, который не требует открытия браузера. Ответ сервера может быть прочитан в HTMLDocument, и процесс захвата таблицы продолжается оттуда.

В приведенном ниже коде таблица захватывается ее идентификатором cr1.

В вспомогательном подразделе WriteTable мы циклически перебираем столбцы (теги td), а затем строки таблицы (тегиtr) и, наконец, проходим через длину каждой строки таблицы, ячейки таблицы по ячейка таблицы. Поскольку нам нужны только данные из столбцов 1 и 8, используется оператор Select Case, указывающий, что записывается на лист.

---

Пример просмотра веб-страницы:

---

Пример вывода кода:

---

VBA:

Option Explicit
Public Sub GetRates()
    Dim sResponse As String, html As New HTMLDocument '<== Tools > References > HTML Object Library
    Dim hTable As HTMLTable
    Application.ScreenUpdating = False
    With CreateObject("MSXML2.XMLHTTP")
        .Open "GET", "https://uk.investing.com/rates-bonds/financial-futures", False
        .setRequestHeader "If-Modified-Since", "Sat, 1 Jan 2000 00:00:00 GMT" 
        .send
        sResponse = StrConv(.responseBody, vbUnicode)
    End With
    sResponse = Mid$(sResponse, InStr(1, sResponse, "<!DOCTYPE "))
    With html
        .body.innerHTML = sResponse
        Set hTable = .getElementById("cr1")
        WriteTable hTable, 1, ThisWorkbook.Worksheets("Sheet1")
    End With
    Application.ScreenUpdating = True
End Sub

Public Sub WriteTable(ByVal hTable As HTMLTable, Optional ByVal startRow As Long = 1, Optional ByVal ws As Worksheet)
    Dim tSection As Object, tRow As Object, tCell As Object, tr As Object, td As Object, r As Long, C As Long, tBody As Object
    r = startRow: If ws Is Nothing Then Set ws = ActiveSheet
    With ws
        Dim headers As Object, header As Object, columnCounter As Long
        Set headers = hTable.getElementsByTagName("th")
        For Each header In headers
            columnCounter = columnCounter + 1
            Select Case columnCounter
            Case 2
                .Cells(startRow, 1) = header.innerText
            Case 8
                .Cells(startRow, 2) = header.innerText
            End Select
        Next header
        startRow = startRow + 1
        Set tBody = hTable.getElementsByTagName("tbody")
        For Each tSection In tBody
            Set tRow = tSection.getElementsByTagName("tr")
            For Each tr In tRow
                r = r + 1
                Set tCell = tr.getElementsByTagName("td")
                C = 1
                For Each td In tCell
                    Select Case C
                    Case 2
                        .Cells(r, 1).Value = td.innerText
                    Case 8
                        .Cells(r, 2).Value = td.innerText
                    End Select
                    C = C + 1
                Next td
            Next tr
        Next tSection
    End With
End Sub

Вы можете использовать объект winhttprequest вместо internet explorer, так как он хорош для загрузки данных, исключая картинки N реклама вместо загрузки полной веб-страницы, включая рекламу n картинки, которые делают объект internet explorer тяжелым по сравнению с объектом winhttpRequest.

Этот вопрос задали задолго до этого. Но я подумал, что следующая информация будет полезна для новичков. На самом деле вы можете легко получить значения из имени класса, как это.

Sub ExtractLastValue()

Set objIE = CreateObject("InternetExplorer.Application")

objIE.Top = 0
objIE.Left = 0
objIE.Width = 800
objIE.Height = 600

objIE.Visible = True

objIE.Navigate ("https://uk.investing.com/rates-bonds/financial-futures/")

Do
DoEvents
Loop Until objIE.readystate = 4

MsgBox objIE.document.getElementsByClassName("pid-8907-last")(0).innerText

End Sub

И если вы новичок в веб-выскабливание читайте в нашем блоге.

Веб-Скребок-Основы

А также существуют различные методы извлечения данных из веб-страниц. В этой статье мы рассмотрим лишь некоторые из них на примерах.

Веб-скрейпинг-сбор данных с веб-страницы

Я изменил некоторые вещи, которые были всплывающие ошибки для меня и в конечном итоге с этим, который работал отлично, чтобы извлечь данные, как мне нужно:

Sub get_data_web()

Dim appIE As Object
Set appIE = CreateObject("internetexplorer.application")

With appIE
    .navigate "https://finance.yahoo.com/quote/NQ%3DF/futures?p=NQ%3DF"
    .Visible = True
End With

Do While appIE.Busy
    DoEvents
Loop

Set allRowofData = appIE.document.getElementsByClassName("Ta(end) BdT Bdc($c-fuji-grey-c) H(36px)")

Dim i As Long
Dim myValue As String

Count = 1

    For Each itm In allRowofData

        For i = 0 To 4

        myValue = itm.Cells(i).innerText
        ActiveSheet.Cells(Count, i + 1).Value = myValue

        Next

        Count = Count + 1

    Next

appIE.Quit
Set appIE = Nothing


End Sub