Octopressでgenerate前にポストをチェックする

ライオン歯科用 Check-Up standard 10本歯磨き粉 120g チェックアップ　スタンダード [ヘルスケア&ケア用品]

この前Octopressをアップデートして、 Jekyllがバージョン2になったり色々変更があったんですが、過去のcodeblock関連の所が表示がおかしくなっていたのでそれを修正したのと、エラーにならない予期しない動作を防げる様に色々ポストの変換前のMarkdownファイルをチェックする様にした話。

見つかった問題
チェック用タスク
その他覚書
テーマ

見つかった問題

codeblockで書いてる次の様な部分:

次のコード:
{% codeblock %}
test
{% endcodeblock %}

が、ページ上で

次のコード:<div class=’bogus-wrapper’>
<div class=”highlight”><table><tr><td class=”gutter”><pre class=”line-numbers”>1 </pre></td><td class=’code’><pre>test code</pre></td></tr></table></div>

みたいにHTMLのソースがそのまま表示されていました。

問題はcodeblockのすぐ上の行が空白行ではないことです。

以前も、MarkdownのパーサーをKramdownへ変更を行った際にインデントでのコード表示や引用(>)の部分の前に空白行が無いときちんと表示されない問題が出ましたが、 KramdownかJekyllのアップデートでcodeblockの前もきちんと空けないといけなくなった模様 ¹。

いずれにしろ、この辺の書き方で1行空けても他のパーサーでも問題ないわけで、今後も空けて問題になることは無いと思うので空ける様に。

ただ、結構沢山該当箇所があって、調べるついでに Rakeタスクで自動的にチェックできる様な物も作りました。

チェック用タスク

Rakefileに以下の様な関数2つとタスクを1つ加えます。

Rakefile

def ok_failed_stop(condition)
  if (condition)
    puts "OK"
  else
    raise "FAILD"
  end
end

def grep_check(word, grep_option, opt)
  vword=word
  if word.index("^") == 0
    vword=word.sub("^", ":")
  end
  if opt == 0
    grep_option = "-A1 -B1 #{grep_option}"
    comment = "An empty line is required around \\\"#{word}\\\"!"
  elsif opt == 1
    grep_option = "-B1 #{grep_option}"
    comment = "An empty line is required before \\\"#{word}\\\"!"
  elsif opt == 2
    grep_option = "-A1 #{grep_option}"
    comment = "An empty line is required after \\\"#{word}\\\"!"
  end
  puts "\nChecking \"#{word}\"...\n\n"
  ok_failed_stop system("\
      if grep -H -n -e \"#{word}\" #{grep_option}|\
          grep -v \"#{vword}\";then \
        printf \"\\\\n\\\\e[31m\";\
        echo #{comment};\
        printf \"\\\\e[m\\\\n\";\
        exit 1;\
      fi")
end

desc 'Check source'
task :check, :opt do |t, args|
  grep_files = "-r #{source_dir} --include \"*.#{new_post_ext}\""
  if args.opt == "new"
    grep_files = "#{source_dir}/#{posts_dir}/*.#{new_post_ext}"
  end
  puts "\n## Checking codes..."
  grep_option = "#{grep_files}|\
      grep -v \"^--$\"|\
      grep -v \"#{new_post_ext}-[0-9]\\\+-$\"|\
      grep -v \"{%\ *raw\ *%}$\""

  grep_check("^{%\ *codeblock", grep_option, 1)
  #grep_check("^>", grep_option, 0)
  #grep_check("^#", grep_option, 1)
  grep_check("^- - -$", grep_option, 1)
  #grep_check("^<hr>$", grep_option, 1)

  puts "\nChecking words to be avoided...\n\n"
  ok_failed_stop system("\
      if [ -f #{word_avoid} ];then \
        while read a;do \
          if ret=$(grep -i -q $a #{grep_files});then \
            echo \"A word $a is included, must be avoided!!!\";\
            echo $ret;\
            exit 1;\
          fi;\
        done < #{word_avoid};\
      fi")
end

ok_failed_stop(condition)はOctopressのpublic/_deployディレクトリの変更でも書いた、引数がtruならただOKと表示してそうでなければそこで raiseするだけの関数。
grep_checkはsoruce内のファイルを見て、wordの周りをチェックする関数。 grep_optionには対象となるファイルとかそれ以降の処理を入れます。 optでは0で上下、1で上だけ、2で下だけチェックする様にします。
task :check, :opt do |t, args|がメインのタスク。
- 引数がnewの場合は#{source_dir}/#{posts_dir}/内にあるファイルだけを対象に、それ以外の場合は#{source_dir}内にある全てのMarkdownファイルを対象にします。
  - 古い記事を#{source_dir}/#{posts_dir}/y_2014等年ごとのディレクトリに退避するようにしてるのでnewが有効です。
  - Octopress(Jekyll)では#{posts_dir}以下にサブディレクトリがあっても再帰的にポストのファイルを探して#{posts_dir}直下にあるファイルと同等の扱いで変換してくれます。
- grep_optionでは該当行の前後を見て、空白やrawの行が無いことを見る処理。
  - rawを使ってcodeblock内の1行目に書くことがあるので。
- 普段チェックするのはcodeblockと- - -、それに加えて Octopressのpublic/_deployディレクトリの変更でもやった禁止ワードチェック。
  - MarkdownのパーサーをKramdownへ変更のところには<hr>も空けないとだめ、と書いてますが今試した所大丈夫なのでチェックから外してあります。
  - >(引用)については下側は空けないと>を付けないでも引き続き引用になります。のでそうやって書いてあるところもあったのですが分かりやすいように 2行目以降にも>を付けるように変更しておきました。ただ、>という文字は、diffで使われて、codeblock内の途中に現れる事もあって、それをきっちり回避するのが面倒だったので、普段はコメントアウトしておいて、必要なら外してチェックして問題がありそうなところを探す、というふうにしました。
  - #については、章のタイトル部分でこれも上側を空けないと行けないわけですが、これをコメントとして扱うプログラム言語が多いのでそれらがかなり多くヒットしてしまってこのままでは使い物にならないので、普段はコメントアウト。
  - 上に上げたcodbelockの次のコード:の例もcodeblockで書くとこれによってエラーが出てしまいますが、通常、例でも避けた方が良いと思うので、上の例では字下げブロックでエラーを回避しています。。

これを毎回rake generateする時に呼ぶように、

Rakefile

 desc "Generate jekyll site"
 task :generate do
   raise "### You haven't set anything up yet. First run `rake install` to set up an Octopress theme." unless File.directory?(source_dir)
+  Rake::Task[:check].inovoke("new")
   puts "## Generating Site with Jekyll"
   system "compass compile --css-dir #{source_dir}/stylesheets"
   system "jekyll build"
   system "rm -f .integrated"
 end

と、generateのタスクの中でjekyllを実行する前に入れておきます。

前に作ったgenerate_only ² の方にも同様に入れておきます ³。

## usage rake generate_only[my-post]
  desc "Generate only specified post (much faster)"
  task :generate_only, :filename do |t, args|
    raise "### You haven't set anything up yet. First run `rake install` to set up an Octopress theme." unless File.directory?(source_dir)
    if args.filename
      filename = args.filename
    else
      filename = Dir.glob("#{source_dir}/#{posts_dir}/*.#{new_post_ext}").sort_by{|f| File.mtime(f)}.reverse[0]
    end
    puts ""
    puts "## Test build for #{filename}"
    puts ""
    puts "## Stashing other posts"
    Rake::Task[:isolate].invoke(filename)
    begin
+     Rake::Task[:check].invoke("new")
      puts "## Generating Site with Jekyll"
      system "compass compile --css-dir #{source_dir}/stylesheets"
      system({"OCTOPRESS_ENV"=>"preview"},"jekyll build")
      puts "## Restoring stashed posts"
      Rake::Task[:integrate].execute
    rescue
      puts $!
      Rake::Task[:integrate].execute
      exit 1
    end
  end

その他覚書

putsの最後の改行

putsは通常最後に改行が入るが、最後に\nを入れるとそれは無視される。 (puts自体が改行を1つ出すので、\n無しの場合と同じように次の行に移るだけ。) ので、

puts "\nChecking \"#{word}\"...\n\n"

となってる部分は下に一行空ける、になる様にしているだけです。 (最後の\nがダミーみたいな物)

Pygmentsのキャッシュ

色々いじってる最中に

$ rake generate_only

## Test build for source/_posts/2014-07-25-blog-octopress.md

## Stashing other posts
## Generating Site with Jekyll
identical source/stylesheets/screen.css
Configuration file: /octopress/_config.yml
            Source: source
       Destination: ~/tmp/octopress/public
      Generating...
  Liquid Exception: Tag '{% ' was not properly terminated with regexp: /\%\}/ in _posts/2014-07-25-blog-octopress.md.tmp/#excerpt
jekyll 2.1.0 | Error:  Tag '{% ' was not properly terminated with regexp: /\%\}/
## Restoring stashed posts
$

みたいなエラーが出て、以後、2014-07-25-blog-octopress.md の内容をすべて消しても同じエラーが出て止まらなくなりました。

同じファイルを違う名前にして試してみると通る状態。

これはPygmentsのキャッシュが残っていてそれがうまく処理できなかった様で、 rake clean⁴で/octopress/.pygments-cacheディレクトリの中身を掃除したら同じ名前の空ファイルで大丈夫になりました。

この時の問題は上のRakefile内のコードの記述で、これらにはraw ⁵ が必要でした。

rake generate(jekyll build)時に使われるファイル

rake generateの際には#{source_dir}/#{posts_dir}/ 以下のファイルが使われるわけですが、どうもファイルの拡張子とかは全く関係がなさそう。

使われるファイルは

日付フォーマットで始まる: yyyy-mm-dd-name.md
最低1ワードはファイル名がある: yyyy-mm-dd-name.md
拡張子がある: yyyy-md-dd-name.md

を満たすもの(かつ、中身のyamlブロックでpublishedがfalse出ないもの) になる模様。

拡張子がmdだろうとmarkdownだろうと関係ないし (Rakefileの中で設定してるのはrake new_post時に作るファイル名のためだけ)、 txtとかでも使われます。

さらに、1つ以上なら.はいくつもあって良いみたいで 2014-07-25-test.md.tmp等、最後に余計な物を付けても使われます。

なので、一時的に今のファイルを.tmpファイルとして退避させて、みたいな事をやろうにも、中でpublished: falseにしておかないと使われてしまいます。

さらに、Rakefile内のisolateというタスクでは移動させないファイルをチェックするのにincludeを使っているので、この様な.tmp付きのファイルは残ってしまいます。

これだとgenerate_onlyとか使ってもこの問題を回避できません。

includeを使っておけば同じ名前の一部を持つファイル群、みたいな指定の仕方も出来るわけですが、実際にはそんな使い方しないのでend_withに変えておきます。

Rakefile

 # usage rake isolate[my-post]
 desc "Move all other posts than the one currently being worked on to a temporary stash location (stash) so regenerating the site happens much more quickly."
 task :isolate, :filename do |t, args|
   FileUtils.mkdir(full_stash_dir) unless File.exist?(full_stash_dir)
   Dir.glob("#{source_dir}/#{posts_dir}/*") do |post|
-    FileUtils.mv post, full_stash_dir unless post.include?(args.filename)
+    FileUtils.mv post, full_stash_dir unless post.end_with?(args.filename)
   end
   system "touch .isolated"
 end

テーマ

上の変更したRakefile等は下のテーマの中にも入っています。