Markdown ファイルとは：約束事のあるプレーンテキスト、しかもその約束事は 1 つではない

ややこしいのは、Markdown が 1 つではないことです。2004 年の最初の実装は非常に多くのケースを未定義のままにしたため、レンダラーごとにそれぞれ違う形で決着をつけました。CommonMark はそのあいまいさを確定させるために存在し、GitHub Flavored Markdown はその上に表、タスクリスト、取り消し線を加えています。この状況は公式にも認められています。2016 年 3 月に RFC 7763 で text/markdown がメディアタイプとして登録されたとき、その登録には variant パラメーターが含まれていました。ファイルが Markdown だと言っても、どの Markdown かまではわからないからです。このサイトが出力するのは UTF-8 の text/markdown で、どの方言でも一致する構文だけを使います。# による見出し、空行で区切った段落、ハイフンの箇条書き、水平線です。

PDF を Markdown に変換するということは、PDF がもともと持っていなかった構造を作り出すことです。PDF が記録しているのは文字サイズであって見出しではないので、ページ上のサイズを順位付けし、大きい順に 6 つを 6 段階の見出しレベルにします。本文より大きいだけの行も、作成者が見出しのつもりだったかどうかに関係なく見出しになります。リストはさらに厄介です。PDF にはリストという構造がまったくなく、目に見える箇条書きの記号は文字どおり本文中の 1 文字です。そのためリストを残す唯一の方法は、その文字を見つけてハイフンに書き換えることです。番号付きの項目にはその手助けは要りません。「1. 」や「1) 」はすでに Markdown であり、もともとリストのつもりで書かれています。

文章そのものを変える細かな点が 2 つあり、知っておく価値があります。ハイフンで終わる行は、改行をまたいで分割された単語とみなし、ハイフンを取って結合します。また、中国語や日本語の連続する行は、あいだにスペースを入れずに結合します。これらの文字体系ではスペースを入れないからです。ページは水平線で区切られるので、13 ページの文書には 12 本の水平線が入ります。PDF がテキストレイヤーのないスキャンなら、PDF から Word への変換と同じ文字認識モデルが、まずあなたのマシン上でページ画像から文字を読み取ります。