概要

フィールド内も行セパレータも両方とも LF だともはや AWK の仕事ではないと思うので、 ExcelからエクスポートしたCSV に限定して処理してみようと思う。

CSVの条件

• 行セパレータは CR+LF
• フィールド内に LF (セル内で Alt + Enter してできるやつ) を含む
• フィールド内に LF を含む場合、""で囲まれている

パース方針

• RS="\r\n" を設定し、フィールド内の LF で行分割されないようにする
• FPAT="[^,]+|\"[^\"]+\"" を設定し、フィールド内に LF を許容する
• フィールド内の LF を適当な文字列に置換して表示させてみる

用意したCSVの確認

$ cat linebreak_in_fields.csv
a,"b
",c
1,"2
",3

$ cat linebreak_in_fields.csv | tr "\r\n" "^@"
a,"b@",c^@1,"2@",3^@

条件のとおりになっている。

AWKスクリプト実行

$ ./linebreak_in_fields.awk linebreak_in_fields.csv
a --> "b<LF>" --> c
1 --> "2<LF>" --> 3

うまくいった。

修正

2019-06-04

FPATがおかしかったので直す。

あと、LF はどうやら AWK においては /./ でマッチさせられる模様

$ awk 'BEGIN{print ("\n" ~ /./)}'
1
$ awk 'BEGIN{print ("\r" ~ /./)}'
1
$ awk 'BEGIN{print ("\t" ~ /./)}'
1
$ awk 'BEGIN{print (" "  ~ /./)}'
1

ということは FPAT="[^,]+|\"[^\"]+\"" これでいいはずだ

ちなみにPerlだと m//s オプションを使わないとダメ

$ perl -Wle '{ print (("\n" =~ m/./ ) ? 1 : 0) }'
0
$ perl -Wle '{ print (("\n" =~ m/./s) ? 1 : 0) }'
1

ToDo

• マルチバイト文字を含む場合
• エンコードが UTF-8 じゃない場合

とか。