CSV ファイルとは：型もエンコーディングも標準化団体もない形式

CSV は 25 年間、仕様なしで使われてきました。2005 年に RFC 4180 が登場しましたが、これは明確に標準ではなく「情報提供（Informational）」扱いで、誰かに何をすべきか指示するのではなく、ほとんどの実装がしていることを記述したものです。この RFC がはっきり定めているのは引用符の扱いです。区切り文字、引用符、改行を含むフィールドはダブルクォートで囲み、そうしたフィールドの中の引用符は 2 つ重ねて書きます。このルールこそが、「Widget, large」が 1 つのセルになるか 2 つになるかの違いであり、素朴なパーサーが飛ばしてしまうルールです。

区切り文字がいつもカンマとは限りません。小数を 1,5 のように書くロケールで動く表計算ソフトは、フィールドの区切りにもカンマを使うわけにはいかないので、Excel はそこではセミコロンで書き出します。同じマシンの同じメニューから、隣の国では開けないファイルができるのです。データベースの書き出しではタブもよく使われます。CSV をうまく読めるツールはどれも最初の数行から推測しており、このサイトも同じようにしています。

エンコーディングの宣言もなく、実際にデータが失われるのはここです。あるプログラムで保存した中国語の名前の CSV を別のプログラムで開くと、一方が UTF-8、もう一方がシステムのコードページを前提にしたために、文字化けして戻ってきます。そしてすべてのフィールドが型のないテキストなので、表計算ソフトは読み込み時に改めて推測します。品番から先頭のゼロが消え、長い識別番号が指数表記になり、日付に見えるものはすべて日付になります。ファイルに問題はなく、問題があったのは読み方のほうです。