生成AIの社内活用|先に、書き換えさせない情報を決める

生成AIの注意点|ハルシネーション・情報漏えい・権利侵害と5つの対策

中古の建設機械を海外へ売る輸出商社で、海外商談の翻訳を生成AIに任せた記録です。日本語かどうかで訳す・訳さないを決めていたところ、在庫データとの突合と輸出書類が壊れました。訳さない語を423件ぶん書き出し、判定を1箇所だけ入れ替えるまでを書いています。
「生成AIの社内活用|先に、書き換えさせない情報を決める」の全体像をまとめた図解|押し入れを片付けるとき、「1年触っていないものは捨てる」という決まりを作りました

押し入れを片付けるとき、「1年触っていないものは捨てる」という決まりを作りました。僕はADHDなので断捨離が苦手です。迷う時間が消えるので、手が一気に進みます。半日で、段ボール3個ぶんを外に出しました。

ところが、7日ほどして車の合鍵が要るようになり、どこにも見当たりませんでした。3か月後には、洗濯機の保証書も無くなっています。どちらも、1年触っていないという条件に、きれいに当てはまっていました。

結局、捨てる基準ではなく、「これは捨てない」と書いた紙を1枚つくることになりました。紙に並んだのは、当たり前ですが合鍵、保証書、印鑑証明、確定申告の控えです。(僕はなぜか大切な物を捨ててしまう…。)

生成AI(入力に応じて文章などを新しく作るAI)を社内で活用する会社が増えました。最初に選ばれる仕事は、たいてい翻訳です。英語の商談メールも、海外向けの仕様書も、その場で出てくるようになったからです。

ただ、同じように翻訳を任せても、結果は2つに割れます。そのまま売上につながる会社と、在庫検索や輸出書類に不具合が起きる会社です。不具合が起きるのは、翻訳元の日本語を読み物としてではなく、データを照らし合わせる目印や、社外へ出す書類の正本として使っていた会社です。正本というのは、そのまま提出される正式な文面のことです。

先に一行だけ置きます。生成AIを社内で活用するときに決めるのは、何を任せるかではなく、どこを書き換えさせないかです。

この話に出てくる事業

「この話に出てくる事業」を図解したスライド|中古の油圧ショベルとホイールローダーを、東南アジアとアフリカのバイヤー(買い手)へ売る輸出商社があり…

中古の油圧ショベルとホイールローダーを、東南アジアとアフリカのバイヤー(買い手)へ売る輸出商社があります。年に600台ほどを船に載せて出しています。バイヤーは現地の建設会社と、その先へ転売する業者です。

この商社と僕の会社は、共創事業(複数の会社が一緒に事業をつくる取り組み)としてMVPをいくつか立ち上げています。MVPというのは、まず小さく作って現場で使ってみる試作のことです。そのひとつが、この商社の商談まわりを1つにまとめた画面でした。在庫の機械を探し、書類を作り、バイヤーへ送るところまでを、この画面の中でやります。

商談は、ほぼ英語のメールで進みます。バイヤーは現物を見ずに決めるので、機械の状態をどれだけ細かく書けるかで値段が変わります。

画面から送るものは3種類あります。機械1台ごとの状態を書いたスペック表、値段と船積みの条件を書いた見積書、そして商談のやり取りそのもの。書いているのは日本の営業担当者なので、元はすべて日本語です。

だから、この海外商談と翻訳に生成AIを導入することにしました。やったのは、画面が出す日本語を1か所に集めておいて、表示を英語に切り替えたらまとめて英文に差し替える、という作り替えです。

今日は、生成AIを社内で活用するときに、訳す範囲をどう決めるか、という話をしていこうと思います。

前置きはさておき、本題に入ります。

① 教科書どおりに、社内の日本語をまとめて英語にした

「教科書どおりに、社内の日本語をまとめて英語にした」を図解したスライド|訳す範囲の決め方は、素直に教科書どおりにしました

生成AIの注意点をすでにご存じの方は、② 英語に切り替えると、同じ機械が2件に割れて出てきたから読み進められます。

生成AIの注意点は、4つの層に分かれる

生成AIの注意点は数が多く、並べただけでは対策が決まりません。出どころで分けると4層になります。層が違うと、効く対策も、責任を持つ部署も変わります。

中身対策の主体
技術の性質事実でない内容・根拠が出ない・答えがぶれる使う人(確かめ方を決める)
情報の扱い入力が学習に使われる・機密情報が外へ出る情報システム(設定と経路)
権利と倫理著作権・商標権・偏り法務と広報(公開前の確認)
費用呼び出し回数と、直しにかかる人件費事業側(上限と回収の設計)

1層目は「無くせないもの」で、2層目以降は「決めれば減らせるもの」です。ここを混ぜると、無くせないものに対策を積み続けることになります。

注意点と対で見る、生成AIの利点

注意点だけを並べると、使わない判断に寄ります。実務では、次の3つと引き換えに注意点を引き受けるかどうかを決めます。

  • 作る速度 — 下書き・要約・翻訳の初稿が短時間で出る
  • 質のばらつきの縮小 — 人によって出来が変わる工程で、下限が上がる
  • 外注していた工程の内製化 — 単発の作業を社内で回せる

引き受けるかどうかは、工程ごとに決めます。同じ会社の中でも、間違いに気づける工程と、気づけない工程では答えが変わります。

注意点1|事実でない内容が、事実の形で混ざる(ハルシネーション)

生成AIは、もっともらしい続きを作る仕組みです。正しさを判定してから出力しているわけではありません。そのため、実在しない製品名・条文・数値が、正しい文章と同じ調子で混ざります。

実務では「間違いが混ざる」より「間違いが見分けにくい」ほうが問題です。文体が揃っているぶん、誤りだけが浮き上がってくれません。数値と固有名詞は、生成させずに原文から抜き出す形にすると事故が減ります。

注意点2|答えの根拠が示されない

なぜその答えになったかを、生成AIは説明できません。説明らしい文章は出せますが、それは実際の処理の記録ではなく、説明らしい文章を新たに作ったものです。

根拠が要る業務では、参照した資料の名前と更新日を必ず返させてください。出典の無い答えは、正しくても社内の判断材料にはなりません。

注意点3|最新の情報が反映されていない

モデルが学習した時点より後の出来事は、そのままでは答えられません。法改正、料金改定、組織変更のように「古い答えでも文章としては成立してしまう」領域がいちばん危険です。

最新の情報が要るなら、検索や社内資料を参照させる仕組みを足すか、参照した資料の日付を人が確認する手順を残します。

注意点4|同じ質問でも、答えが毎回変わる

生成AIの出力にはばらつきがあります。同じ質問を2回投げると、違う言い回し、違う結論が返ることがあります。

これは「精度が低い」のではなく、仕組みの性質です。結果が一定であることが要件なら、その工程は生成AIに任せず、答えが一つに決まるプログラムで処理してください。

注意点5|出力に偏りが出る(公平性・倫理)

学習に使われたデータの偏りが、そのまま出力に出ます。性別・国籍・年齢に関する表現、特定の立場に寄った説明が混ざることがあります。

社外に出す文章では、公開前に人が読む一段を必ず残してください。偏りは、書いた人の意図と無関係に混ざるため、書き手の注意では防げません。

注意点6|日本語は得意とは限らず、AIが書いたかも判別できない

多くのモデルは英語のデータを中心に学習しています。日本語では、言い回しの自然さや専門用語の扱いが英語より落ちることがあります。固有名詞の読み違い、敬語の崩れが典型です。

また、できあがった文章が生成AIによるものかどうかを、確実に見分ける方法はありません。判定ツールは誤判定します。「見分けられる」前提の運用ルールを作らないでください。

注意点7|判断の過程が見えない(ブラックボックス)

入力と出力は見えますが、その間で何が起きたかは追えません。そのため、間違いが起きたときに「なぜ起きたか」を特定できません。

できるのは、入力と出力を記録し、同じ入力でもう一度試すことだけです。記録を残していない運用では、再現すらできません。

注意点8|指示の書き方で、結果が大きく変わる

同じ作業でも、指示文の書き方で出来が変わります。「丁寧に」「分かりやすく」のような形容では、結果は安定しません。

効くのは、してほしくないことを具体的に書くことです。「推測で補わない」「元の文に無い数値を足さない」「分からない場合は分からないと答える」。禁止は、肯定形の指示より守られやすくなります。

注意点9|入力した内容が、サービスの改善に使われることがある

個人向けのプランでは、入力した文章が学習や品質改善に使われる設定になっていることがあります。業務で使うなら、まずこの設定を確認してください。法人向けの契約では、学習に使わない設定が選べるのが一般的です。

注意点10|個人情報・機密情報が社外へ出る

取引先名、見積金額、未公開の仕様、個人の氏名。入力した時点で、社外のサーバーへ送られています。

実務で効くのは、禁止の一覧ではなく「入れてよい情報」の側を決めることです。禁止の一覧は、書いていないものが出てきたときに判断できません。

注意点11|プロンプトインジェクションと、学習データへの攻撃

外部から読み込ませた文章の中に、AIへの指示として働く文が仕込まれていることがあります。Webページや添付ファイルを読ませる仕組みでは、実際に起こりえます。

対策は、AIが呼べる処理の権限を絞ることです。読み取りだけにする、送信や削除は人の承認を挟む。指示文で「無視しなさい」と書いても、確実には防げません。

注意点12|著作権・商標権・肖像権の侵害

生成された文章や画像が、既存の著作物に似てしまうことがあります。ロゴ、キャラクター、写真の構図が典型です。

社外に出すものは、公開前に人が確認してください。個別の案件が権利侵害に当たるかどうかは事案ごとの判断になるため、判断に迷うものは弁護士など専門家に確認する経路を、先に決めておきます。

注意点13|費用が、想定より増える

料金は呼び出し回数と文章量で決まります。試している間は小さくても、全社に配ると桁が変わります。

見落とされるのは、直しにかかる人件費のほうです。確認する人、指示文を直す人、外れた出力を拾う人。導入の判断では、この人件費を回収できるかで見てください。

対策1|社内の利用ルール(ガイドライン)を作る

最低限、次の5点を決めます。

  • 使ってよいサービスと、使ってはいけないサービス
  • 入力してよい情報と、入力してはいけない情報
  • 出力をそのまま使ってよい用途と、人の確認が要る用途
  • 事故が起きたときの連絡先と、止め方
  • ルールを見直す間隔と、見直す担当

5つ目を書いていないルールは、半年で実態と合わなくなります。サービス側の仕様が変わるためです。

対策2|使ってよいサービスを選び、設定を確認する

見るのは4点です。

  • 入力が学習に使われない設定になっているか
  • データがどこの国のサーバーに置かれるか
  • 管理者が利用状況を見られるか
  • 契約上、誰が責任を負うか

無料のプランを業務で使うのがいちばん危ないのは、この4点をこちらが選べないからです。

対策3|入力してよい情報の線を、先に引く

前述のとおり、禁止の一覧ではなく「入れてよい情報」の側を決めます。そのうえで、AIに書き換えさせてよい情報と、書き換えさせない情報を分けます。

分け方の目安は、「間違ったときに、誰が気づけるか」です。読んだ人が誤りに気づける文章は任せられます。型番・寸法・稼働時間のように、読んだ人には正しいかどうかが分からない値は、任せない側に置きます。

対策4|入力と出力のログを残し、監視する

誰が、いつ、何を入力し、何が返ったか。この記録が無いと、事故が起きたことにすら気づけません。保存先、保存期間、閲覧できる人を、導入と同時に決めます。

対策5|教育と、判断できる人を置く

全員に研修を受けさせるより、各部署に1人、判断を引き取る人を置くほうが実務では効きます。判断が要るのは「この情報を入れてよいか」「この出力をそのまま出してよいか」の2つで、どちらも業務を知っている人でないと決められません。

生成AIをめぐる法律とガイドラインの現在地

日本では、生成AIだけを対象にした包括的な規制法はまだありません。実務で参照されるのは、既存の著作権法・個人情報保護法と、各省庁が出しているガイドラインです。

ガイドラインは更新されます。社内ルールに条文や版番号を書き写すと、更新に追随できなくなります。参照先を示す形にしておくほうが、運用は続きます。

訳す範囲の決め方は、素直に教科書どおりにしました。

教科書に載っている手順は3件あります。訳す文言を1か所に集めること、AIとの1回のやり取りでまとめて訳すこと、一度訳したものを保存して二度と訳さないこと(キャッシュ)。どれも、同じ日本語をAIへ何度も渡して料金を払わないための手順です。

集めた文言は2,201件でした。スペック表の項目名、見積書の但し書き、商談で毎回出てくる言い回し。集めた日本語をAIへ渡して英文を受け取る処理が192行、画面からそれを呼ぶ処理が129行。合わせて300行あまりで、集めることと訳すことは片が付いています。

中古の建設機械は、稼働時間を計るアワーメーターの数字で値段が決まります。車でいう走行距離計です。試しに、在庫の1台を選んで表示を英語に切り替えてみました。その欄の「実働3,200時間/アワーメーター交換歴なし」が、そのまま読める英文になって出てきます。

営業担当者に見せたら、その場で、いま商談を進めている3台を打ち込みはじめました。3台とも英文が返っています。いま思うと、この滑り出しは少し出来すぎでした。

この段階で、失敗した感覚はまったくありませんでした。

ここまでが、生成AIの注意点の教科書どおりの整理です。ルールを作り、サービスを選び、入れてよい情報の線を引き、ログを残す。この順で進めれば、多くの事故は起きません。

この記事の後半で扱うのは、その線を引いたあとの話です。「入れてよい情報」の側に置いたものの中に、書き換えさせてはいけないものが混ざっていました。

② 英語に切り替えると、同じ機械が2件に割れて出てきた

「英語に切り替えると、同じ機械が2件に割れて出てきた」を図解したスライド|ところが、表示を英語にした状態で在庫を検索すると、同じ機械が2件に割れて出るようになりました

ところが、表示を英語にした状態で在庫を検索すると、同じ機械が2件に割れて出るようになりました。逆に、1件も出てこない機種もあります。

再現の条件は、はっきりしていました。日本語のまま検索すれば、正しく1件です。英語に切り替えた瞬間だけ壊れます。

原因は、検索そのものではなく、その手前で走っている突合にありました。突合というのは、別々のところに出てくる機械が同じ1台かどうかを、名前を見比べて決める処理のことです。在庫のデータに載っている機種名と、バイヤーからの引き合い(購入の問い合わせ)に書かれた機種名は、表記がそろいません。だから、日本語の文字の重なりを見て、同じ機械かどうかを判定していました。

その判定に使う文字が英語になると、重なりが消えます。「バックホウ」と「Backhoe」は、文字としては1つも重なりません。

同じことが、輸出書類でも起きています。荷物を送る側、つまりこの商社自身の住所を英語に直したところ、通関(輸出の際に税関の許可を受ける手続き)に出す書類の表記と、社内に残る記録の表記が別物になりました。気づいたのは書類を作る画面の確認時で、税関に出る前です。通関に出す書類では、日本語で登録した住所が正しい表記だからです。

③ 気づいたのは、除外の指定が増え続けていたときでした

「気づいたのは、除外の指定が増え続けていたときでした」を図解したスライド|最初は、壊れるたびに1件ずつ「ここは訳さない」と指定して直していました

最初は、壊れるたびに1件ずつ「ここは訳さない」と指定して直していました。1件で終わると思っていたからです。

ただ、指定は止まりませんでした。積出港(荷物を船に載せる港)の地域区分、船会社の名前、荷姿(梱包した荷物の形)の分類、それに、突合のためだけに前もって保存してあった機種名の控え。不具合の内容が違うのに、除外指定を追加する対応だけが同じです。

そこで、指定した語を数え直しました。訳さないと指定した語は423件あり、スペック表から輸出書類まで33本の書式(書類の型)にまたがっています。不具合が、1つの機能に集中していませんでした。

訳さない語の指定をまとめた台帳は546行で、そのうち84行は「なぜ訳さないか」を書いた注記です。6行に1行あまりが理由書きでした。理由を書き添えておかないと、あとから見て判断のつかない指定が、それだけ多かったということです。

集めた文言は2,201件でしたから、そのうち423件、5件に1件近くが、触らせてはいけない語だったことになります。

ここではっきりしました。不具合を1件ずつ修正する話ではありません。最初の線引きが間違っていました。

④ 原因を1件に絞る

「原因を1件に絞る」を図解したスライド|思い当たることは、いくつもあります

思い当たることは、いくつもあります。集め方が雑だったこと、確かめる順番を間違えたこと、営業担当者に見せるのが遅かったこと。

ただ、原因を絞ると1件でした。

訳す対象を、文字が日本語かどうかで決めていたこと。

集めた2,201件は、「日本語で書かれているもの」を集めた結果です。日本語で書かれてさえいれば、画面に出る説明文も、突合に使う機種名も、書類に載る住所も、同じ箱に入ります。

とはいえ、この3件は用途がまったく違います。画面に出る説明文は、人が読むための文字です。突合に使う機種名は、データどうしを照らし合わせるための値です。書類に載る住所は、通関を通すための正本です。

このうち、突合に使う機種名と、書類に載る住所は、正しく訳した瞬間に別のものになります。

⑤ 直したのは1箇所だけ

「直したのは1箇所だけ」を図解したスライド|やったことは、訳すかどうかの判定を1つ入れ替えることだけです

やったことは、訳すかどうかの判定を1つ入れ替えることだけです。

「日本語で書かれているか」をやめて、「人が読む画面に出るか」に変えました。

そのうえで、増え続けていた除外指定の台帳も、何を載せるか条件を決め直して引き直しました。載せてよいのは1種類だけです。「表示される文言ではないと確認できたもの」に限ります。

台帳は、人が読むためではなく、機械が読むために置いてあります。画面に新しい日本語が増えたとき、その語が訳す一覧にも台帳にも載っていなければ、英語への切り替えはそこで止まり、人に判断が回ります。

止まった語を1件ずつ見て、画面に出るなら訳す一覧へ、突合や書類に使うなら台帳へ振り分けます。判定を1箇所変えただけで、増える語が自動的に仕分けの列に並ぶようになりました。

⑥ あとで知った ── その線引きには、すでに名前がありました

「あとで知った ── その線引きには、すでに名前がありました」を図解したスライド|しばらくして、スタンフォード大の研究チームが2025年に出した論文を読み、手が止まりました

しばらくして、スタンフォード大の研究チームが2025年に出した論文を読み、手が止まりました。原題は「Future of Work with AI Agents」といいます。AIエージェントとは、人の指示を受けて自ら作業を進めるAIのことです。

やっていることは単純です。1,500人の働き手に、自分の仕事のどの作業をAIに任せたいかを聞く。そして別に、AIの専門家へ「いまの技術でその作業をどこまでやれるか」を聞く。対象は104の職種、844件の作業です。

この2つの答えを、そのまま2本の軸に置いていました。やれるかどうかと、やらせたいかどうかです。

この2軸で、論文は作業を4つの区画に分けています。今回の事例を考えるうえで関係するのは、そのうち3つです。1つ目は、技術も届いていて、働き手も任せたい作業です。2つ目は、任せたい気持ちはあるが、技術がまだ届かない作業です。

問題は3つ目でした。技術は届いているのに、働き手はやらせたくない作業です。原文の言い方は「Tasks with high capability but low desire.」です。論文はこの区画を「Automation “Red Light” Zone」と名付けています。日本語では自動化の赤信号区域という意味で、ここへの導入は慎重にすべきだと書いています(「Deployment here warrants caution」)。

さらに、この2本の軸がどれくらい連動するかも測っていました。出た値は0.17です(「no strong correlation … Spearman ρ=0.17, p<1e−6」)。1に近いほど2つが揃って動き、0に近いほど互いに無関係だ、という目盛りでの0.17です。技術が届くほど任せたくなる、という関係は成り立っていません。

論文はもう1つ、任せ方の度合いを5段階の物差しにしています。上の端は、AIが作業を丸ごと一人でやってしまう状態。下の端は、人がつきっきりでいないとAIが動かない状態。104の職種のうち47で、働き手が望んだのは、真ん中の段でした。翻訳を丸ごと任せるか、まったく任せないか。その二択で考えているあいだは、どこを書き換えさせないか、という問いが出てきません。

台帳に書き出していた423件は、この3つ目の区画に重なります。厳密に言えば、論文の軸は働き手の希望で、僕の台帳は用途の都合なので、軸そのものは同じではありません。それでも、「やれる」と「やらせてよい」が別物だという構造は共通しています。翻訳の精度が足りないから訳さなかったのではありません。正しく訳せるからこそ、訳させてはいけませんでした。

新しい理屈は、ひとつも要りませんでした。

⑦ 入れ替えてみて、何が良くなって、何を失ったか

「入れ替えてみて、何が良くなって、何を失ったか」を図解したスライド|判定を入れ替えてから、営業の手元で変わったことがあります

判定を入れ替えてから、営業の手元で変わったことがあります。

英語に切り替えても、在庫の検索が1件で返るようになりました。集めた文言は2,201件から増えていません。そのうち訳さないと決めた423件は、台帳で固定してあります。新しい日本語が入るたびに、その語が仕分けの列へ並びます。

ただ、代償があります。3件書いておきます。

1件目。台帳の書き方は、粗いままです。 台帳の1行に書いてあるのは、書式の名前と、語の一部だけです。あとから足された表示用の文言に、たまたま同じ文字列が含まれていると、それも訳されないまま黙って通ります。書式の何番目の項目か、と位置で名指しすれば取り違えは起きませんが、項目の並びを1つ入れ替えるたびに台帳が全部ずれます。文字列の一部だけで指定する粗い方法を選びました。

2件目。英語の画面に、日本語が混ざったままの場所が残りました。 バイヤーの引き合いに合う機械を探すところは、いまも日本語で検索しています。ここを英語に直すと、あの突合がまた壊れて、同じ機械が2件に割れて出てくるからです。日本語で引いてから表示だけ英語に直す二段構えが要りますが、そこまでは手が回っていません。

3件目。輸出書類の住所欄は、英語の画面でも日本語のままです。 保存する値が日本語の住所を正(基準となる値)としているので、表示だけ英語にすると、見えているものと送られるものが食い違います。見た目をそろえるより、食い違わない運用を取りました。

この3つの代償は、先に用途で線を引いていれば、ここまで各所に散らばらずに済んだものです。

⑧ 現場で決めるなら、この3つの問い

「現場で決めるなら、この3つの問い」を図解したスライド|訳すか訳さないかを決めるとき、使っているのはこれだけです

訳すか訳さないかを決めるとき、使っているのはこれだけです。

1. その文字は、人の目に入るか。入るなら訳します。入らないなら訳しません。

2. その文字で、別のデータと照らし合わせるか。照らし合わせるなら、訳しません。突合が壊れるからです。照らし合わせないなら、訳してかまいません。

3. その文字は、社外に出す正本になるか。なるなら、訳しません。正本の言語を固定します。ならないなら、訳してかまいません。

3つのうち、いちばん効くのは真ん中です。突合に使う文字は、正しく訳されるほど突合が壊れます。 精度を上げても直りません。

そして、線を引いたあとに、運用の決まりを2つ足しました。止まった語を誰が判断するかと、訳す範囲を広げてよい条件です。

台帳にも訳す一覧にも載っていない語が出て、英語への切り替えがそこで止まりました。人へ判断が回ってきた記録が1件あります。問いは「止まったこの語を、訳す一覧へ入れてよいか」。上がってきてから答えを返すまで、7時間5分かかりました。返した答えは「現状のまま広げない」です。

考える時間としては、1分もかからない中身でした。7時間かかった理由は、判断が難しかったからではなく、誰がどこでその判断を返すのかが決まっていなかったからです。線を引いても、返す人を決めていなければ、そこで止まります。

訳す範囲を広げてよい条件は、数で書きます。「同じ向きの判断が5件たまるまでは広げない」。感覚で運用すると、忙しい日に必ず緩みます。

この見方は、扱っている商材には依存しません。建設機械でも、部品でも、保険の証券でも同じです。

⑨ この線引きが効き続ける理由

「この線引きが効き続ける理由」を図解したスライド|AIモデルが賢くなっても、精度より先に用途で線を引く順番は変わらないと考えています

AIモデルが賢くなっても、精度より先に用途で線を引く順番は変わらないと考えています。

AIモデルの性能向上で変わるのは、やれるかどうかの軸だけだからです。やらせたいかどうかの軸は、AIモデルの性能が向上しても変わりません。突合に使う値を訳してはいけない理由は、精度ではなく用途にあります。2軸の連動が0.17しかないという論文の結果は、この実務にも重なります。

だから、生成AIを社内で活用する会社が次に行うべきなのは、精度を上げることではなく、書き換えさせない情報を書き出すことです。

線引きを実際の工程に落とす話は、生成AIコンサルティングのページに整理しています。どこを訳して、どこを訳さないかで止まっている工程があれば、こちらからご相談ください。

押し入れのほうは、いまも「1年触っていないものは捨てる」で片付けています。捨てないものを書いた紙は、どこにしまったか分からなくなりました。

以上です。

▶ この記事のテーマを実務で相談する: AIガバナンス・導入定着

生成AIの注意点についてのよくある質問

生成AIを業務で使うときの注意点は、何から確認すればよいですか?

4つの層に分けて確認します。技術の性質(事実でない内容が混ざる・根拠が出ない・答えがぶれる・偏りが出る)、情報の扱い(入力が学習に使われる・機密情報が社外へ出る・プロンプトインジェクション)、権利と倫理(著作権・商標権・肖像権)、費用(呼び出し料と、直しにかかる人件費)です。1層目は無くせないもの、2層目以降は決めれば減らせるものなので、混ぜないことが要点です。

ハルシネーションはなくせますか?

なくせません。生成AIはもっともらしい続きを作る仕組みで、正しさを判定してから出力しているわけではないからです。実務で効くのは、減らすことより見分けやすくすることです。数値と固有名詞は生成させずに原文から抜き出す、参照した資料の名前と更新日を必ず返させる、社外に出すものは公開前に人が読む。この3つで、混ざったときに気づけるようにします。

生成AIに入力してはいけない情報は何ですか?

個人情報、取引先名、未公開の仕様、見積金額などですが、禁止の一覧だけで運用すると、一覧に書いていない情報が出てきたときに判断できません。実務では、入れてよい情報の側を決めるほうが機能します。そのうえで、入力が学習に使われない設定になっているか、データがどの国のサーバーに置かれるかを、サービスごとに確認してください。

社内の生成AI利用ルールには、何を書けばよいですか?

5点です。使ってよいサービスと使ってはいけないサービス、入力してよい情報と入力してはいけない情報、出力をそのまま使ってよい用途と人の確認が要る用途、事故が起きたときの連絡先と止め方、そしてルールを見直す間隔と担当です。5つ目を書いていないルールは、サービス側の仕様変更で半年ほどで実態と合わなくなります。

生成AIの出力をそのまま社外に出しても大丈夫ですか?

確認の一段を挟んでください。理由は2つあります。1つは、既存の著作物に似た表現が混ざることがあるためです。もう1つは、学習データの偏りが、書き手の意図と無関係に出力へ出るためです。どちらも書き手の注意では防げないので、公開前に別の人が読む手順として残す必要があります。判断に迷うものを専門家へ送る経路も、先に決めておきます。

生成AIを社内の翻訳に活用するとき、最初に何を決めるべきですか?

何を訳すかより、どこを書き換えさせないかを先に決めます。日本語かどうかだけで分けると、人向けの表示、データの突合に使う値、社外へ出す正本が同じ翻訳処理に入るためです。人の目に入るか、別のデータとの照合に使うか、社外に出す正本になるかの3つを確認します。突合や正本に使わない人向けの表示だけを訳します。

英語に切り替えると同じ機械が2件に分かれたのはなぜですか?

在庫の機種名とバイヤーの引き合いを、日本語の文字の重なりで突合していたためです。「バックホウ」を「Backhoe」に訳すと、文字としての重なりがなくなります。その結果、同じ1台かどうかの判定が壊れ、同じ機械が2件に分かれたり、対象の機種が出なくなったりしました。検索そのものではなく、検索の手前にある突合の問題でした。

生成AIで翻訳しない用語は、どのように管理しますか?

記事の事例では、訳さない423件を台帳に固定しました。台帳に載せてよいのは、表示される文言ではないと確認できたものだけです。台帳は機械が読み、新しい日本語が翻訳一覧にも台帳にもなければ、英語への切り替えを止めて人へ判断を回します。人は、画面に出る語なら翻訳一覧へ、突合や書類に使う語なら台帳へ振り分けます。

生成AIの翻訳精度を上げれば、突合や書類の問題は解決しますか?

解決しません。突合に使う機種名は、正しく英訳されるほど元の日本語との文字の重なりが消え、同じデータだと判定できなくなります。輸出書類の住所も、日本語で登録した表記が正本なら、正確な英訳でも社内記録と食い違います。問題は翻訳精度ではなく用途にあるため、これらの情報は翻訳対象から外します。

翻訳一覧にも除外台帳にもない語が出たときは、どうしますか?

英語への切り替えをその場で止め、人に判断を回します。記事の事例では、実際に1件の判断へ7時間5分かかりましたが、判断内容が難しいのではなく、誰がどこで答えるかが決まっていないことが原因でした。そのため、止まった語を誰が裁くかを先に決めます。翻訳範囲は、同じ向きの判断が5件たまるまでは広げません。

翻訳対象を用途で線引きしたあとも、どのような課題が残りますか?

除外台帳が語の一部で指定する粗い形式なので、表示用の文言に同じ文字列が含まれると、誤って翻訳されない可能性があります。また、突合を守るため、英語の画面でも機械の検索には日本語が残っています。輸出書類の住所欄も、保存した正本と表示の食い違いを避けるため日本語のままです。見た目をすべて英語にそろえることより、突合と正本を壊さないことを優先しています。

You May Also Like

AIの活用事例|自動化できる業務10種と、公表値だけで読む7社

「他社はどこまでやっているのか」——生成AIの社内導入を任された担当者が、稟議の材料としていちばん最初に集めるのが活用事例です。ところが検索して出てくる事例集の多くは、ツール会社の宣伝か、効果の数字が…
View Post

AIエージェントの活用事例|業務別10種と業界別の使われ方、導入3ステップ

AIエージェントの事例を、各社が公表している数値だけで6件並べました。セールスフォース、モルガン・スタンレー、コモンウェルス銀行、ルーメン、パナソニック コネクト、横浜銀行。置いた工程・人の承認位置・効果の単位・段階という4つの列で比べ、自社の業務がどれに当たるかを引ける対応表にしています。
View Post
プロンプトインジェクション対策6つの方法と、直接・間接の違いをまとめた図解

プロンプトインジェクション対策|6つの方法と直接・間接の違い、AIエージェントのリスク

プロンプトインジェクションとは、AIへの指示文に別の指示を紛れ込ませて、本来の制約を外させる攻撃です。対策としてまず思いつくのは、システムプロンプトに禁止事項を書き足すことです。私たちもそうしました。そして守られませんでした。プロンプトによる禁止は確率的で、ツール層のフックは決定的です。44行のフックで守る側へ移した実装と、パスの正規化や失敗時に閉じる設計まで、そのまま書きます。
View Post