AI導入の試行では、正常な資料で出力できるかに加えて、情報が足りないときに止まり、人が確認できるかを確かめます。 試す前に入力・期待する結果・確認する人を決めておくと、デモの成功と、日常業務で使える状態を分けて判断できます。
ここでは請求書から確認用一覧を作る架空の業務を例にします。会計登録や支払実行は含めず、担当者が原本を照合して保存するところを完了地点にします。
1．テストケースは、入力と期待する結果を対にする
「精度がよいか」と聞くだけでは、どの項目を確認すればよいかが曖昧です。試す資料の条件と、そのときに必要な動作を一つずつ書きます。次の表は当事務所の説明例で、実際の検証結果や精度を示すものではありません。
| 試す条件 | 期待する動作 | 人が確認すること |
|---|---|---|
| 必要項目がそろう通常の資料 | 指定の列に情報を整理する | 原本との一致、対象期間、件数・合計 |
| 支払期日の記載がない | 推測せず未記載として残す | 原本にも記載がないか、照会先はどこか |
| 読み取りにくい数字がある | 不明な項目を要確認にする | 原本を拡大するなどして確かめられるか |
| 同じ請求書が含まれる | 重複候補を示し判断待ちにする | 元の資料を見て同一かどうか判断する |
| 対象外の期間・資料が混ざる | 対象外候補を区別して残す | 除外理由と、正しい対象範囲 |
期待する結果は、AIに都合のよい出力を正解とするものではありません。担当者が必要な確認を終えられるかを基準にします。
2．原本へ戻れることを、出力の条件に含める
一覧には、元のファイル名や行番号など、原本へ戻るために必要な情報を残します。数字だけを並べると、誤りを見つけても調べる場所が分からなくなるためです。
- 入力した資料と、出力された行を対応付けられるか。
- 対象資料の件数と、一覧の件数の違いを説明できるか。
- 合計を原本や別の計算方法と照合できるか。
- 空欄・不明・対象外・重複候補を区別できるか。
- 未確認事項が残る場合に、完了扱いにしない運用になっているか。
文章の出力なら、参照した文書名、版、該当箇所を確かめます。根拠にない内容を、もっともらしい文章で追加していないかも確認します。
3．同じ条件で試せる記録を残す
試行日、利用環境、入力した資料の識別、指示文の版、実際の出力、確認者と結果を残します。画面を見て問題なさそうだった、という記憶だけにしないことが目的です。
| 残す記録 | 後から分かること |
|---|---|
| ケース名と対象資料 | 何の条件を試したか |
| 指示・様式の版 | どの設定で結果が出たか |
| 実際の出力と確認結果 | 期待した動作との差は何か |
| 修正内容と再確認 | 直した箇所と、ほかへの影響はどうだったか |
| 未解決事項と担当 | 誰が何を確認するまで進めないか |
生成AIの出力は毎回同じになるとは限らないため、一度の成功だけで運用全体を保証しません。再試行の範囲は、業務への影響と確認方法に応じて決めます。
デジタル庁は、具体的な利用場面に対する技術検証とテストケース例を公開しています。本記事の表は、その公開テストを転載したものではなく、経理・総務向けに当事務所が作成した説明例です。
4．修正したら、通常のケースも確認し直す
例えば、空欄を推測しないよう指示を変えた結果、通常の資料でも必要な情報が抜けることがあります。問題のあったケースだけでなく、既に確認した通常のケースにも影響がないかを見ます。
資料の形式、指示文、出力様式、参照文書、利用環境のどれを変更したかを記録すると、再確認する範囲を考えやすくなります。変更後に未確認の結果は、確認済みの版と混ぜずに残します。
5．受入確認には、担当者が自分で進める試行を入れる
支援者が操作した結果だけでなく、実際の担当者が資料準備・操作・原本確認・保存まで行います。止まったときの問い合わせ先や、元の手作業へ戻す方法も確認します。
| 運用へ進む前の確認 | 確認する状態 |
|---|---|
| 対象と完成形 | 対象資料、対象外の工程、必要な出力が共有されている |
| 結果の確認 | 原本への戻り方、件数・合計、不明点の処理が決まっている |
| 社内の操作 | 担当者が手順書に沿って一連の作業を行える |
| 残る課題 | 未解決事項、使わない条件、対応する人が明確になっている |
確認にかかる時間も含めた効果は費用対効果の測り方、使い続けるための手順は引継ぎと定着の記事で整理しています。
当事務所の初期導入では通常・例外を含む代表10ケースを事前に合意して確認します。料金・標準範囲と確認票・操作手順などの見本をご覧いただけます。10ケースは運用全体の精度保証や処理件数の上限を意味しません。
よくあるご質問
何ケース試せば十分ですか？
一律には決まりません。通常の資料と、業務で起こり得る例外を分け、影響の大きい項目を確認できる範囲を決めます。確認した範囲と、確認していない条件も記録します。
エラーが一つでも出たら導入できませんか？
内容と業務への影響によります。不明点を確実に確認へ回せる場合と、誤った結果が見過ごされる場合を分け、修正や対象範囲の見直しを検討します。
AIの出力だけを見れば確認できますか？
原本、期待する結果、対象範囲と比べます。数字なら件数・合計、文章なら根拠文書と該当箇所へ戻れることも必要です。
試行データは実際の資料でないといけませんか？
初期の確認は架空資料でも行えます。実資料を使う段階では、入力の可否、共有先、利用環境、保存方法を先に確認します。
