CSV取込の例外処理は手順書からこぼれていく
列ズレ、文字コード、月末だけの例外など、CSV取込で起きる小さなズレが運用手順から外れていくことについてのメモ。
CSV取込は、仕様として見ると単純です。決まった列順で、決まった文字コードで、決まった形式のファイルを読み込む。それだけに見えます。
ただ、現場のCSVはあまりきれいではありません。列名が微妙に変わる、空白が混ざる、全角と半角が揺れる、月末だけ別の担当者が出したファイルになる。手順書には書いていない例外が、少しずつ増えていきます。
問題は、例外処理そのものではありません。例外が起きたときの判断が、手順書ではなく人の記憶に残ることです。
この取引先だけ列が1つ多い
この月だけ空行を消してから取り込む
このコードはマスタ未登録でも進めてよいこのような判断は、最初は一時対応です。しかし、翌月も同じことが起きると、いつの間にか運用になります。コードにも手順書にも残っていないのに、現場では「いつもの対応」になります。
AIにデータを渡す場合も、入力がきれいである前提は危ないと思っています。プロンプトを工夫する前に、入力の揺れをどこで検知するのか、失敗したときに元データへ戻れるのかを決める必要があります。
CSV取込の地味な失敗は、AI以前からある入力品質の問題です。新しい技術を入れるほど、この古い問題を無視しない方がよさそうです。