【エクセルVBAでIE操作】WEBページのテーブル要素を自動で取得する方法

photo credit: Shinkansen via photopin (license)

みなさん、こんにちは！タカハシ(@ntakahashi0505)です。

初心者向けエクセルVBAでIEを操作するシリーズです。

前回はこちらの記事で

【エクセルVBAでIE操作】hタグなどの要素をタグ名でGetする

エクセルVBAでIEを操作する初心者向けのシリーズの6回目です。今回はタグ名で要素をゴソっと取得するgetElementsByTagNameの使い方です。様々なHTML要素を簡単に取得できます。

tonari-it.com

getElementsByTagNameを使って、特定のHTML要素をタグ名で取得する方法についてお伝えしました。

今回はこれをさらに応用してWEB上の「表」つまり、テーブル要素を取得していきたいと思います。

なにせ、WEBスクレイピングで欲しいのはデータの場合が圧倒的に多いですよね？そしてそのデータは「表」つまりテーブル要素にまとまっている場合が多いわけです。

その方法を知ってしまえば、WEBスクレイピングはかなり制覇したといっても良いのでは？！

ということで早速いってみましょう！

前回のおさらい

前回のプログラムはこちらです。

開いたページのヘッダー要素h1～h3をそれぞれ取得してイミディエイトウィンドウに表示するという内容でした。

Sub MySub()
    
    Dim objIE As InternetExplorer
    Set objIE = New InternetExplorer
    
    objIE.Visible = True
    objIE.Navigate "https://tonari-it.com/"
    
    Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE
        DoEvents
    Loop
    
    Dim htmlDoc As HTMLDocument
    Set htmlDoc = objIE.Document
    
    Dim element As IHTMLElement
    
    Debug.Print "■h1"
    For Each element In htmlDoc.getElementsByTagName("h1")
        Debug.Print element.innerText
    Next element

    Debug.Print "■h2"
    For Each element In htmlDoc.getElementsByTagName("h2")
        Debug.Print element.innerText
    Next element

    Debug.Print "■h3"
    For Each element In htmlDoc.getElementsByTagName("h3")
        Debug.Print element.innerText
    Next element

End Sub

getElementsByTagNameメソッドでタグ名（h1～h3）を指定することで、該当のHTML要素をコレクションとして取得することができます。

今回は、HTMLでいう表の作り方について確認して、getElementsByTagNameメソッドを使用してテーブル要素をつかんでいきたいと思います。

HTMLのテーブル要素の仕組み

今回は、Yahooファイナンスの時価総額のページにお手伝い頂きます。このページです。

時価総額上位：株式ランキング - Yahoo!ファイナンス

各社の時価総額ランキングを表形式で確認できますが、この表がHTMLではどのように表現されているかを見てみましょう。

Google Chromeで、HTMLの構造を見る場合は Ctrl + Shift + I で開くデベロッパーモードを使うと便利です。

「Elements」というタブでHTMLの階層構造を確認できますが、ここで Ctrl + F でタグなどで要素を検索することができます。

そこで「<table」と検索してみましょう。

HTMLでの表はテーブルタグ<table>～<table>内に記載をします。

このページにはtableタグは1セットのみなのですが、そのtableタグ内はけっこう色々な要素が含まれています。

まず、tableタグの直下には、thead、tbodyというタグがあることが確認できます。図には入り切らなかったのですが、実はtfootというタグもあります。

さらに見ていくと、theadの配下にはtr、thというタグが、tbodyの配下にはtr、tdというタグが存在していることがわかりますかね。

つまり、テーブル要素は以下のような階層構造になっているということですね。

………
    …
  ~

  

    
~
~
  
  

    
~
~
    
~
~
  

それぞれのタグの役割をまとめますと

• table：一つの表を定義する。このタグ内にthead,tbody,tfootといったセクション要素を記述。
• thead：表の見出しセクション。このタグ内に見出しに必要な行数分のtr要素を記述。
• tbody：表の本体セクション。このタグ内に本体として必要な行数分のtr要素を記述。
• tfoot：表のフッターセクション。このタグ内にフッターとして必要な行数分のtr要素を記述。
• tr：表の横一行を定義する。このタグ内に列数分のthやtd要素を記述。Table Rowの略。
• th：表の見出しセルを定義する。このタグ内に見出しのテキストなどを記述。Table Headerの略。
• td：表の値セルを定義する。このタグ内にテキストや数字などを記述。Table Dataの略。

です。WEBスクレイピングする場合はこれらのタグの役割をよーく理解する必要がありますので、バシっと覚えてしまいましょう。

getElementsByTagNameを使ってテーブル内のデータを取得する

これでテーブルの構造は把握できましたので、エクセルVBAでYahooファイナンスのページの本体データつまりtbody要素の中身を取得していきましょう。

タグ名で要素を取得するgetElementsByTagNameメソッドが活躍します。

このページにはtbody要素は１つだけですので、getElementsByTagNameメソッドでtbodyの0番目のインデックスを指定すれば、その要素を取得できますね。

それで、これにより取得できるのは、HTMLTableSectionというオブジェクトになりますが、これに対してさらにgetElementsByTagNameメソッドを使って要素の絞り込みができます。

これで、次の階層にある行を表すHTML要素、つまりtr要素を取得すれば良いですね。

これは、HTMLTableSectionオブジェクトに限らず、HTML要素を表すオブジェクトについては概ね使えますので覚えておくと良いです。

For Each～Nextで取得したtr要素全てについて繰り返す

プログラムの流れとしては、このページ全体のHTMLドキュメントからtbody要素を取得、そしてそのtrタグをコレクションとして取得して、そのコレクション内のtr要素一つ一つについて繰り返す、という流れになります。

ですから、以下のようなFor Each～Nextの繰り返し処理をすれば良さそうですね。

Dim tr As HTMLTableRow
For Each tr In htmlDoc.getElementsByTagName("tbody")(0).getElementsByTagName("tr")
    'tr要素に対する処理
Next tr

tr要素の中のテキストを取り出す

tr要素それぞれについて、テキストを取り出してみましょう。

tr要素を表すオブジェクトはHTMLTableRowです。

そのテキストを取り出すにはinnerTextプロパティを使います。

このプロパティも、HTML要素を表すオブジェクトについては概ね使えますよ！

ですから、先ほどのFor Each~Next文の中は以下のようになります。

Dim tr As HTMLTableRow
For Each tr In htmlDoc.getElementsByTagName("tbody")(0).getElementsByTagName("tr")
    Debug.Print tr.innerText
Next tr

ランキングの各行のテキストをイミディエイトウィンドウに出力

以上をまとめますと、こんなプログラムになります。

Sub MySub()
    
    Dim objIE As InternetExplorer
    Set objIE = New InternetExplorer
    
    objIE.Visible = True
    objIE.Navigate "https://info.finance.yahoo.co.jp/ranking/?kd=4"
    
    Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE
        DoEvents
    Loop
    
    Dim htmlDoc As HTMLDocument
    Set htmlDoc = objIE.Document
    
    Dim tr As HTMLTableRow
    For Each tr In htmlDoc.getElementsByTagName("tbody")(0).getElementsByTagName("tr")
        Debug.Print tr.innerText
    Next tr
    
End Sub

これを実行すると

とイミディエイトウィンドウに出力されます。なんか、いい感じに役立ちそうになってきました。

まとめ

HTMLでのテーブルの記述の仕組みについて触れつつ、WEB上のテーブル要素内の行データを取得する方法についてお伝えしてきました。

WEBスクレイピングにおいて、テーブル要素内のデータを取得したいというニーズはかなりありますので、今回のテクニックが役立つ機会も多いものと期待しています。

次回以降、さらに凝った取得の仕方についてお伝えできればと思います。

【エクセルVBAでIE操作】IEで検索窓にキーワードを入力して送信する方法

初心者向けエクセルVBAでIEを操作するシリーズです。今回はIEを操作してWEBページ内の検索窓に任意のキーワードを入力して送信する方法をお伝えします。GoogleChromeの検証機能も活用しますよ！

tonari-it.com

どうぞお楽しみに！

連載目次：エクセルVBAでIEを操作してWEBスクレイピング

IEを操作してWEBページのデータを取得して、エクセルのデータとして取り込む、つまりWEBスクレイピングをエクセルVBAで実現します。各種WEBページを課題として様々なデータの取得の仕方を解説していきたいと思います。

1. 【エクセルVBAでIE操作】10分で終わるセッティングとWEBページの閲覧確認
2. 【エクセルVBAでIE操作】HTMLタグと要素そしてドキュメントの取得
3. 【エクセルVBAでIE操作】ブラウザの読み込み待ちをしないとダメなのです
4. 【エクセルVBAでIE操作】ページ内のリンク先URLを全部取得する
5. 【エクセルVBAでIE操作】ディスクリプションなどの要素をname属性でGetする
6. 【エクセルVBAでIE操作】hタグなどの要素をタグ名でGetする
7. 【エクセルVBAでIE操作】WEBページのテーブル要素を自動で取得する方法
8. 【エクセルVBAでIE操作】WEBページのテーブル要素からセルのデータを取り出す方法
9. 【エクセルVBAでIE操作】IEで検索窓にキーワードを入力して送信する方法
10. 【エクセルVBAでIE操作】検索結果一覧から記事タイトルを取得する方法
11. 【エクセルVBAでIE操作】ブログの記事一覧ページから公開日とカテゴリを取得する
12. 【エクセルVBAでIE操作】ページャーをめくって複数ページからデータを取得する
13. 【エクセルVBAでIE操作】ユーザー名とパスワードを入力してログインをする
14. 【エクセルVBAでIE操作】name属性を利用して画像ボタンをクリックする
15. 【エクセルVBAでIE操作】alt属性・src属性を利用して画像ボタンをクリックする