Google Apps Script (GAS)でHTML解析

Google Apps Scriptで使えるHTMLを解析しようとしたときに調べたライブラリなどについて。

cheeriojs
Parser
まとめ

cheeriojs

Script ID: 1ReeQ6WO8kKNxoaA_O0XEQ589cIrRvEBA9qcWpNqdOP17i47u6N9M5Xh0

Node.jsでjQueryのようにHTMLを扱える cheerio をGoogle Apps Scriptで使えるようにしたもの。

function testCheerio() {
  const html = UrlFetchApp.fetch("https://example.com").getContentText();
  const $ = Cheerio.load(html);
  Logger.log($('body').text());
  Logger.log($('h1').text());
  $('p').each(function(i, elm) {
    Logger.log($(this).text());
  });
}

こんな感じで使えます。

    Example Domain
    This domain is for use in illustrative examples in documents. You may use this
    domain in literature without prior coordination or asking for permission.
    More information...

    Example Domain
    This domain is for use in illustrative examples in documents. You may use this
    domain in literature without prior coordination or asking for permission.
    More information...
---
  Example Domain
---
  This domain is for use in illustrative examples in documents. You may use this
    domain in literature without prior coordination or asking for permission.
---
  More information...

もとのcheerioの方も含めてドキュメントが余りない感じですが、 jQueryっぽく使えるという前提と、コード自体は公開されているので後は頑張って見ればどのように使えるか分かります。

上のeachのループとかは下のSlack Overflowに例がありました。

node.js - CheerioJS, looping through <ul> with same class name - Stack Overflow

jQueryっぽく使えるということで、HTMLの解析としては一通り何でもできそうで十分な感じがします。

Parser

Script ID: 1Mc8BthYthXx6CoIz90-JiSzSafVnT6U3t0z_W3hLTAX5ek4w0G_EIrNw

Parserは日本語でGASでスクレイピング、的なことを検索するとよく出てくるんですが、もとのコードは見つけられません。そもそもこのIDの出どころが結局よくわからなかい。。。

おそらくGitHubなどには後悔しない状態でライブラリとしてGASで公開しているだけなのでコードは見えない状態なのかとおもいますが、使い方も基本的に誰かが使ってるのを見て知るしかない状態です。

function testParser() {
  const html = UrlFetchApp.fetch("https://example.com").getContentText();
  const data = Parser.data(html);
  Logger.log(data.from('<body>').to('</body>').build());
  Logger.log(data.from('<h1>').to('</h1>').build());
  data.from('<p>').to('</p>').iterate().forEach(function(x){
    Logger.log(x);
  });
}

似たようなことをやろうとするとこんな感じ。

<div>
<h1>Example Domain</h1>
<p>This domain is for use in illustrative examples in documents. You may use this
domain in literature without prior coordination or asking for permission.</p>
<p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
---
Example Domain
---
This domain is for use in illustrative examples in documents. You may use this
domain in literature without prior coordination or asking for permission.
---
<a href="https://www.iana.org/domains/example">More information...</a>