GASやVBAでスクレイピングができない理由として考えるべきJavaScriptのこと

みなさん、こんにちは！うえはら(@tifoso_str)です。

Google Apps ScriptでWebスクレイピングしていて、値が取得できないということはありませんか？

別のWebサイトではちゃんと動いているのに、特定のサイトではWebスクレイピングできていない。　

原因はWebサイトの表示にJavaScriptを利用しているからなのですが、これだけではよくわからないですよね。

そこで【JavaScriptで動作するWebページを色々な言語でスクレイピング】してその原因と解決法をお伝えしていきます。

Google Apps Scriptでは説明が難しいので、まずはVBAで解説していきます。

今回は「VBAでスクレイピングができない理由として考えるべきJavaScriptのこと」をお伝えします。

Google Apps Scriptでも解決法をお伝えしますので、何回かVBAにお付き合い下さい。

スクレイピングするページをChromeで検証する
1. Webスクレイピングするホームページ
2. Chromeの検証機能
VBAのHTTP通信でWebスクレイピング
まとめ
連載目次：JavaScriptで動作するWebページを色々な言語でスクレイピング

スクレイピングするページをChromeで検証する

まずは、今回スクレイピングするJavaScriptを使用しているWebページと、スクレイピングするのに必要になるタグの探し方を説明します。

Webスクレイピングするホームページ

今回は、沖縄県企業局のページで、ダムの貯水率を確認します。

今回スクレイピングする値は、日付と全11ダム合計の貯水率です。

Chromeの検証機能

WebページはHTMLという言語で記述されていて、「ページのソース」等と呼ばれています。

Chromeでは右クリックのメニューで「ページのソースを表示」で見ることができます。

Internet Explorerでは「ソースの表示」です。

Webスクレイピングではこの「ページのソース」を全て取得して、必要部分を抜出しています。

一度、ページのソースを表示してもらえるとわかるとおもいますが、この中から、目的の箇所を探すのは大変です。

こんなとき、威力を発揮するのが、Chromeの検証機能です。

右クリックで出てくるメニューの「検証」で、確認できます。

検証機能を利用すると、画面右側に色々と出てくると思います。

（場所はメニューで変更できるので、画面下だったり別ウィンドウだったりするかもしれません。）

Elementsに表示されるHTMLにカーソルを合わせるとWebページの該当部分が強調表示されます。

これで、該当箇所が簡単に見つけられますね！

HTML構文は入れ子構造になっていることが多いので、目的の箇所にたどり着くまでには「▼」を何回かクリックする必要があると思います。

今回でいえば、日付と貯水率はそれぞれ下記の部分です。

日付
<span id="chosui_hiduke">06月21日</span>
 
貯水率
72.1

VBAのHTTP通信でWebスクレイピング

それでは、VBAのHTTP通信を利用してWebスクレイピングしてみます。

VBAでHTTP通信をするには「Microsoft XML, v6.0」ライブラリを利用します。

詳細については、こちらの記事をご覧下さい。

エクセルVBAでHTTPリクエストをする最も簡単なプログラム

今回はエクセルVBAでHTTPリクエストをする最も簡単なプログラムをお伝えします。HTTP通信、リクエストやレスポンスとは何か、またリクエストを送信して取り出すまでに必要なメソッドやプロパティを紹介します。

Webページからソースを読み込んで、日付と貯水率をイミディエイトウィンドウに表示させます。

Sub HTTP通信()
    Dim httpReq As XMLHTTP60
    Set httpReq = New XMLHTTP60
    
    httpReq.Open " GET", "https://www.eb.pref.okinawa.jp/kassui/"
    httpReq.send 'HTTPリクエスト送信
    
    Do While httpReq.readyState < 4 '処理待ち
        DoEvents
    Loop
    
    Dim htmlDoc As Object
    Set htmlDoc = New HTMLDocument
    htmlDoc.write httpReq.responseText
    
    Dim hiduke As IHTMLElement
    Set hiduke = htmlDoc.getElementById("chosui_hiduke")
    Debug.Print "■日付は「" & hiduke.innerHTML & "」です。"

    Dim chosuiritsu As IHTMLElement
    Set chosuiritsu = htmlDoc.getElementById("ritsu_today4")
    Debug.Print "■本日の貯水率は「" & chosuiritsu.innerHTML & "」です。"

    Set httpReq = Nothing
    Set htmlDoc = Nothing
End Sub

実行して、イミディエイトウィンドウを確認してみます。