Файлы CSV: формат без типов, без кодировки и без комитета

Двадцать пять лет у него не было спецификации. RFC 4180 появился в 2005 году и прямо имеет статус информационного документа, а не стандарта: он описывает, что делает большинство реализаций, а не предписывает, что делать. Зато он определяет кавычки: поле, содержащее разделитель, кавычку или перенос строки, заключается в двойные кавычки, а кавычка внутри такого поля записывается дважды. Именно это правило решает, будет «Widget, large» одной ячейкой или двумя, и именно его пропускают наивные парсеры.

Разделитель — не всегда запятая. Таблица, работающая в локали, где десятичные дроби пишутся как 1,5, не может использовать запятую ещё и для разделения полей, поэтому Excel там экспортирует точку с запятой — на том же компьютере, из того же меню, создавая файл, который не откроют в соседней стране. Выгрузки из баз данных часто используют табуляцию. Любой инструмент, который хорошо читает CSV, угадывает разделитель по первым нескольким строкам — так делает и этот сайт.

Нет и объявления кодировки — и вот здесь данные действительно теряются. CSV с китайскими именами, сохранённый одной программой и открытый другой, превращается в «кракозябры», потому что одна считала, что это UTF-8, а другая — системная кодовая страница. А поскольку каждое поле — это текст без типа, таблица при импорте угадывает заново: ведущие нули пропадают из артикулов, длинные идентификаторы превращаются в экспоненциальную запись, а всё, что похоже на дату, становится датой. С файлом всё было в порядке; неправильно было его прочтение.