AI学習データ作成の7ステップ|必要な量と品質管理を翻訳会社が解説

AI学習データ作成の7ステップ|必要な量と品質管理を翻訳会社が解説

社内にAIを導入したいが、学習データをどう作ればよいか分からない。データを集めて学習させたのに、思ったほど精度が出ない。AI学習データの作成で、こうした壁に当たる企業は多くあります。

AI学習データの作成とは、AIに覚えさせたい判断や回答の「正解」を決め、その正解に沿ったデータを集め、整え、ラベルを付け、品質を確かめる一連の作業です。成否を分けるのはデータの量よりも、作業を始める前に「何を正解とするか」を文書で決めておけるかどうかです。

この記事では、学習データ作成の手順を7ステップで示したうえで、必要な量の目安、日本語データで起きやすい問題、自社で作るか外注するかの判断基準までを解説します。翻訳・ローカライズを24年以上手がけ、AIデータサービスも提供しているアットグローバルが、言語データの品質管理の視点からまとめました。

  • AI学習データ作成の7ステップと、各ステップで決めておくこと
  • 用途別の必要なデータ量の目安と、量より質が効く理由
  • 日本語の学習データで起きやすい表記ゆれ・文体の問題と対策
  • 自社で作るか外注するかの判断基準と、作成前に確認する法務の要点
目次

AI学習データとは|作成で決まるのは「量」より「正解の定義」

AI学習データとは|作成で決まるのは「量」より「正解の定義」

AI学習データとは、AIモデルに判断や回答のしかたを覚えさせるためのデータです。画像に「不良品」「良品」のラベルを付けたもの、質問とお手本の回答を組にしたものなどが該当します。

企業がAIを自社の業務に合わせて使う場面は、今後さらに増える見通しです。総務省の令和8年版情報通信白書によると、日本のAIプラットフォーム市場規模は2025年に3,083億円で、2030年には2兆3,851億円まで拡大すると予測されています(IDC Japanの調査をもとに総務省が作成)。

AIは学習データに含まれる傾向をそのまま身につけます。ラベルの付け方が作業者ごとに揺れていれば、AIはそのゆれまで学びます。そのため、学習データの作成は「集める作業」ではなく「正解を設計して作る作業」と考えるのが実務の基本です。

学習データ・教師データ・評価データの違い

似た言葉が多いため、最初に整理しておきます。

用語意味主な使い道
学習データ(訓練データ)モデルの学習に使うデータ全般モデルにパターンを覚えさせる
教師データ学習データのうち、正解ラベルが付いたもの教師あり学習・指示チューニング
検証データ学習中の調整に使うデータ学習の打ち切りや設定の調整
評価データ(テストデータ)学習に使わず、最後の性能確認だけに使うデータ本番で使えるかの判定

特に重要なのは評価データです。学習データと評価データが混ざると、AIが答えを覚えているだけなのに、精度が高く見えてしまいます。評価データは最初に切り分け、学習には使わないようにします。

生成AI時代に作る学習データの種類

ChatGPTのような大規模言語モデル(LLM)を業務に使う場合、作るデータの種類が従来の画像認識などとは変わります。

データの種類中身の例主に作るのは
分類・抽出用データ問い合わせ文と「請求」「解約」などのカテゴリ自社の業務AIを作る企業
指示チューニング用データ質問とお手本の回答の組LLMを自社の業務や文体に合わせたい企業
選好データ同じ質問への2つの回答と、どちらが良いかの判定回答の質を人の好みに近づけたい企業
評価データ質問・模範解答・採点基準のセットLLMを導入・比較するすべての企業
音声データ音声と書き起こし文・話者情報音声認識・議事録AIを作る企業

自社でモデルをゼロから学習させる企業は少数です。実務で作る機会が多いのは、指示チューニング用のデータと評価データです。LLMの調整方法そのものは、LLMファインチューニングの解説記事で詳しく扱っています。

AI学習データ作成の7ステップ

AI学習データ作成の7ステップ

AI学習データは、次の7ステップで作ります。手戻りの多くは、①と②を飛ばして③の収集から始めたときに起きます。

  1. 目的と評価指標を決める
  2. データ仕様書とガイドラインを作る
  3. データを集める
  4. 前処理・クレンジングを行う
  5. アノテーション(ラベル付け)を行う
  6. 品質を検証する
  7. 評価データで試し、データを直す

①目的と評価指標を決める

最初に、AIに何をさせたいのかと、どの数字を達成すれば合格とするのかを決めます。

たとえば「問い合わせメールを10カテゴリに自動で振り分け、正解率90%以上を目指す」のように、作業の範囲と合格ラインを数字で書きます。目的が「業務を効率化したい」のままだと、どんなデータを何件作ればよいかが決まりません。

あわせて、AIが間違えたときの影響も確認します。誤分類が社内の手間で済むのか、顧客への誤案内につながるのかで、求める品質とデータの作り込みの度合いが変わります。

②データ仕様書とガイドラインを作る

次に、データの形式と「正解」の基準を文書にします。これがデータ仕様書とアノテーションガイドラインです。

データ仕様書には、主に次の項目を書きます。

  • 入力と出力の形式(JSONL、CSVなど)と項目名
  • ラベルの一覧と、それぞれの定義
  • 1件あたりの長さ、言語、文体
  • 判断に迷う例(境界事例)と、その扱い
  • 作ってはいけないデータ(個人情報、差別的な表現など)

ガイドラインには「迷ったときにどちらを選ぶか」を具体例で書きます。「請求に関する問い合わせ」と定義するだけでは、「請求書の再発行」が請求なのか手続きなのかで作業者の判断が割れます。

翻訳の現場でも、案件ごとにスタイルガイドと用語集を作り、複数の訳者が同じ基準で訳せるようにしています。AIデータのガイドラインも考え方は同じで、作業者が変わっても同じ答えになる状態を目指します。

③データを集める

データの集め方は、大きく3つあります。

集め方向いている場面注意点
社内データの活用問い合わせ履歴・マニュアルなど、業務固有の知識を覚えさせたいとき個人情報・機密情報の除去が必要
公開データ・既存コーパスの活用一般的な言語知識や、量を補いたいとき利用規約・商用利用の可否を確認
新規に作成・収集する社内にも公開データにもない領域や言語のデータが必要なとき費用と時間がかかる

最も価値が高いのは、多くの場合、社内データです。自社の業務に固有の言い回しや判断基準は、公開データには含まれていないためです。

ただし、社内データは偏りがちです。よくある問い合わせばかりで、まれだが重要なケースが少ないことがあります。足りない種類のデータは、新規作成で補います。

④前処理・クレンジングを行う

集めたデータは、そのままでは学習に使えないことがよくあります。前処理では主に次の作業を行います。

  • 重複・ほぼ同じ内容のデータを除く
  • 文字化け・途中で切れたデータ・空のデータを除く
  • 氏名・電話番号・メールアドレスなどの個人情報をマスキングする
  • 表記をそろえる(全角・半角、日付の書き方など)
  • 学習用・検証用・評価用に分ける

学習用と評価用(検証用を含む)の比率は、8:2や7:3程度が一般的な目安です。件数が少ない場合でも、評価用は必ず別に確保します。

個人情報のマスキングは、外部の作業者にデータを渡す前に必ず行います。後述するとおり、個人データを外部や海外に渡すと法律上の手続きが必要になる場合があるためです。

⑤アノテーション(ラベル付け)を行う

アノテーションとは、データに正解のラベルや回答を付ける作業です。画像なら対象物を囲み、テキストならカテゴリを付けたり、お手本の回答を書いたりします。

いきなり全量に着手せず、まず50〜100件程度で試験的に作業するのが安全です。試験作業で判断が割れた箇所をガイドラインに追記してから本作業に入ると、後からの作り直しを減らせます。

LLM向けのお手本回答を作る場合は、正確さに加えて、文体・長さ・敬語の段階などもそろえる必要があります。この作業は、その言語を母語とし、対象分野も分かる人でないと品質を保つのが難しくなります。アノテーションを外部に任せる場合の費用相場や選び方は、アノテーション外注の解説記事にまとめています。

⑥品質を検証する

作ったデータは、作業者とは別の人が確認します。品質の確かめ方は、主に次の3つです。

  • 作業者間一致率:同じデータを2人以上に作業させ、判断がどれだけ一致するかを測る
  • 抜き取り検査:完成データの一部をレビュアーが確認し、誤り率を出す
  • 差し戻し率:レビューで修正が必要になった割合を記録し、作業者やガイドラインの問題を見つける

作業者間一致率には、偶然の一致を差し引いて計算する「Cohen’s kappa(カッパ係数)」がよく使われます。よく知られた目安では、0.61〜0.80で「かなりの一致」、0.81以上で「ほぼ完全な一致」とされることが多く、0.6を下回る場合は、作業者の力量よりもガイドラインの定義のあいまいさを疑います。

アットグローバルのAIデータサービスでは、作業者・レビュアー・最終判定者の3者による多段階レビューを行っています。翻訳で長年続けてきた「訳した人とは別の人が確かめる」仕組みを、データ作成にも応用したものです。

⑦評価データで試し、データを直す

最後に、学習させたモデルを評価データで試し、どこで間違えるかを分析します。

精度が目標に届かない場合、データを増やせば解決するとは限りません。まず誤りを分類し、原因に応じて手を打ちます。

  • 特定のカテゴリばかり間違える:そのカテゴリのデータを追加する
  • 似たカテゴリ同士で迷っている:ガイドラインの定義を見直し、ラベルを付け直す
  • 学習データでは正しいのに本番で間違える:本番のデータと学習データの性質が違う可能性を疑う

学習データの作成は1回で終わる作業ではなく、①〜⑦を繰り返して精度を上げていく作業です。

AI学習データはどれくらいの量が必要か

AI学習データはどれくらいの量が必要か

AI学習データの必要量は、用途とモデルの種類によって大きく変わり、一律の正解はありません。生成AIでは、少量でも質の高いデータで足りる場面が増えています。

目安を整理すると、次のようになります。

用途量の目安補足
画像分類(既存モデルを転用)1クラスあたり数百枚程度からクラス数が多いほど、見分けにくいほど増える
テキスト分類1カテゴリあたり数百件程度からカテゴリの定義があいまいだと増えても精度が上がらない
LLMの指示チューニング数百〜数千件件数より、回答の質と多様性が効く
LLMの評価データ100〜数百問実際の業務の質問から選ぶ

※あくまで着手時の目安です。必要量は、試験的に学習させて精度の伸び方を見ながら判断します。

量より質が効く例として、米Metaなどの研究者による論文「LIMA: Less Is More for Alignment」がよく引用されます。この研究では、厳選した1,000件の質問と回答の組だけで大規模言語モデルを調整し、高い性能を示しました。著者らは、LLMの知識のほとんどは事前学習の段階で身につき、回答の形式を整えるには少量の良質なデータで足りることを強く示唆しています。

企業が作るべきなのは「大量のデータ」ではなく「自社の業務を代表する、質のそろったデータ」です。同じ1,000件でも、よくある質問ばかりの1,000件と、まれなケースまで含めた1,000件では効果がまったく違います。

日本語の学習データ作成で起きやすい問題

日本語の学習データ作成で起きやすい問題

日本語は、英語に比べて公開データが少ないうえ、表記や文体のゆれが起きやすい言語です。日本語のAIを作るなら、この2点への対策を最初から組み込む必要があります。

表記ゆれ・文体・敬語の不統一

日本語のデータで特にそろえにくいのは、次の点です。

  • 漢字とかなの使い分け(「お問い合わせ」「お問合せ」「お問い合せ」)
  • 全角・半角(英数字、カタカナ、記号)
  • です・ます調とだ・である調の混在
  • 敬語の段階(「ご確認ください」「ご確認いただけますでしょうか」)
  • 外来語の長音(「サーバー」「サーバ」)

さらに日本語は、主語や目的語を省略しても文が成り立つ言語です。お手本の回答で省略が多いと、AIは「誰が」「何を」を取り違えた回答を学びやすくなります。業務で誤解が許されない回答では、省略せずに書くといったルールもガイドラインに入れておきます。

お手本の回答を複数の人が書くと、表記や文体のゆれが混ざります。AIはゆれも含めて学ぶため、回答の文体が質問ごとに変わる原因になります。

対策は、翻訳会社が使っているのと同じく、表記ルールと用語集を作業前に決めて配ることです。アットグローバルはFortuneトップ10に入る複数のビッグテックの翻訳を20年以上継続的に担当してきました。その現場でも、製品の文言を表記ルールと用語集でそろえ、別のレビュアーが確認する工程を続けています。

日本語の公開データは英語の約9分の1

AIの学習に広く使われるウェブ収集データ「Common Crawl」の言語別統計によると、2026年10月公開のクロール(CC-MAIN-2026-43)で、日本語のページの比率は4.89%でした。英語の42.56%と比べると約9分の1です(ページ単位の比率で、トークン量ではありません)。

日本語は世界的に見ればデータの多い言語ですが、それでも英語と同じ量はそろいません。特に医療・法務・製造業などの専門分野では、日本語の良質な公開データはさらに限られます。そのため、日本語のAIでは人がデータを作る・選ぶ・直す工程の比重が大きくなります。

既存の日本語コーパスを使うときの注意

量を補うために、研究機関が公開している日本語コーパスを使う方法もあります。たとえば国立国語研究所の現代日本語書き言葉均衡コーパスは、約1億語を収録した代表的なコーパスです。

ただし、国立国語研究所は商業目的での利用を個別に検討するとしており、企業が自由に使えるわけではありません。既存のコーパスやデータセットを使うときは、商用利用の可否・改変の可否・再配布の条件を必ず確認し、記録に残しておきましょう。

生成AIで学習データを作ってもよいか|合成データの使いどころ

生成AIで学習データを作ってもよいか|合成データの使いどころ

生成AIで学習データを作る「合成データ」は、量や種類を補う手段として有効です。ただし、合成データだけで学習データを作るのは避け、人が確認したデータと組み合わせるのが基本です。

合成データが向くのは、次のような場面です。

  • まれなケースのデータを増やしたいとき(例:めったに来ない種類の問い合わせ)
  • 実データに個人情報が多く、そのまま使えないとき
  • 言い換えのバリエーションを増やしたいとき

一方で、次の点に注意が必要です。

  • 生成AIの誤りや偏りがそのままデータに入る
  • 似た文ばかりになり、データの多様性が下がりやすい
  • 使った生成AIの利用規約で、出力を他のモデルの学習に使うことが制限されている場合がある

実務では、合成データを作ったあと、その言語を母語とする人が抜き取りで確認し、不自然な表現や事実の誤りを除く工程を入れます。特に日本語では、文法的には正しくても不自然な敬語や言い回しが混ざりやすい点を、人の目で重点的に確認します。

AI学習データは自社で作るか外注するか

AI学習データは自社で作るか外注するか

AI学習データは、業務知識が必要な「正解の設計」は自社で行い、量の多い作業や言語の専門性が必要な作業は外注する、という分担が現実的です。すべてを自社で抱えると、作業者の確保と品質管理が追いつかなくなりがちです。

自社で作るのが向くケース

  • データが数百件程度と少なく、業務の担当者が自分で正解を判断できる
  • 機密性が非常に高く、社外に出せないデータを扱う
  • 正解の基準がまだ固まっておらず、試行錯誤しながら定義を作る段階にある

外注が向くケース

  • 数千件以上のデータを、決まった期限までに作る必要がある
  • 日本語以外の言語・方言・専門分野など、特別な知識が必要
  • 作業者間一致率や抜き取り検査など、品質の記録を残す必要がある
  • 社内に作業者やレビュアーを確保する余力がない

外注する場合でも、①目的と評価指標、②ガイドラインの最初の版は、自社が主体となって作りましょう。業務の正解を知っているのは自社だけだからです。外注先には、ガイドラインの不備を指摘してもらい、一緒に改訂していく関係を作ると品質が安定します。

費用を左右する要素

学習データ作成の費用は、主に次の要素で決まります。

  • データの種類(画像・テキスト・音声)と作業の難しさ
  • 件数と、1件あたりの長さ
  • 言語数と、作業者の専門性(医療・法務など)
  • レビューの段数と、求める品質水準
  • 納期

特に費用の差が出るのは、作業者の専門性とレビューの段数です。安さだけで選ぶとレビューが手薄になり、作り直しで結果的に高くつくことがあります。データの種類別の費用相場は、前述のアノテーション外注の解説記事で紹介しています。

AI学習データ作成前に確認する著作権と個人情報

AI学習データ作成前に確認する著作権と個人情報

AI学習データを作る前に、データの著作権、個人情報の扱い、国のガイドラインの3点を確認しておきましょう。後から問題が見つかると、データを作り直すことになります。

著作権法30条の4と学習データ

日本の著作権法30条の4は、著作物に表現された思想や感情を味わうこと(享受)を目的としない利用を、一定の条件で認めています。AIの学習もこれに当たる場合があります。

ただし、学習に用いた著作物の創作的な表現をそのまま出力させる目的がある場合や、著作権者の利益を不当に害する場合は対象外になりえます。この点については、文化審議会著作権分科会法制度小委員会が2024年3月にAIと著作権に関する考え方についてを取りまとめ、文化庁が公開しています。

実務では、どのデータをどこから集めたか、利用条件は何かを一覧で記録しておくと、後から説明を求められたときに対応できます。

個人情報を含むデータの扱い

社内の問い合わせ履歴などには、顧客の個人情報が含まれていることがよくあります。個人データを外部の作業者に渡す場合は、委託先の監督が必要です。

海外の作業者に渡す場合は、個人情報保護法28条の「外国にある第三者への提供」に当たる可能性があり、原則として本人の同意が必要になります。提供先が個人情報保護委員会規則で定める基準に適合する体制を整えている場合など、同意が不要になる例外もあり、詳しくは個人情報保護委員会の「外国にある第三者への提供編」ガイドラインで確認できます。

なお、2026年7月17日には改正個人情報保護法が公布されました。改正法には、統計情報等の作成にのみ利用する場合の特例が盛り込まれ、統計作成等と整理できるAI開発等も対象とされています。ただし、施行に必要な政令・規則・ガイドラインは整備中のため、適用の範囲と条件は今後の公表を確認してください。

最も安全なのは、前処理の段階で個人情報をマスキングし、そもそも個人データを外部に渡さない設計にすることです。

AI事業者ガイドライン(第1.2版)

総務省と経済産業省は、AIの開発者・提供者・利用者が取り組むべきことをまとめた「AI事業者ガイドライン」を公表しています。2026年3月31日に第1.2版へ改訂されました。

法的な拘束力はありませんが、データの偏りへの配慮や、学習データの出どころの管理など、学習データ作成に関わる項目も含まれています。取引先からAIの安全性について説明を求められたときの拠り所になるため、原文とチェックリストを総務省のAI事業者ガイドラインのページで一度確認しておきましょう。

AI学習データ作成の最初の一歩|企業の状況別

AI学習データ作成の最初の一歩|企業の状況別

どこから手を付けるべきかは、AI導入の進み具合によって変わります。

初めてAIを導入する企業は、評価データ100問から

初めてAIを業務に使う企業は、学習データより先に評価データを作ることをおすすめします。実際の業務から代表的な質問を100問程度選び、模範解答と採点基準を付けます。

評価データがあれば、市販のAIサービスをそのまま使っても足りるのか、自社用のデータで調整が必要なのかを、数字で判断できます。調整が不要と分かれば、学習データの作成費用そのものを省けます。

PoCで精度が頭打ちの企業は、誤り分析から

すでに試験導入(PoC)を進めていて精度が伸びない企業は、データを増やす前に、AIの誤りを100件ほど集めて分類してみましょう。

誤りを分類すると、ガイドラインのあいまいさやラベルの付け間違いが原因だと分かることがよくあります。その場合は、データを増やすより、既存データのラベルを付け直す方が効果的です。

AI学習データ作成の準備チェックリスト

作業に入る前に、次の項目を確認してください。1つでも「いいえ」があれば、そのステップに戻ることをおすすめします。

確認項目対応するステップ
AIにさせたいことと、合格ラインの数字が決まっている①目的と評価指標
評価データを学習データと分けて用意している①・⑦
ラベルの定義と、迷う例の扱いが文書になっている②ガイドライン
表記ルール(文体・敬語・全角半角)が決まっている②ガイドライン
データの出どころと利用条件を記録している③収集・法務
個人情報をマスキングしてから作業者に渡す手順がある④前処理・法務
50〜100件の試験作業を予定している⑤アノテーション
作業者とは別の人が確認する体制がある⑥品質検証
効率を測る数字(一致率・誤り率)を決めている⑥品質検証
誤りを分析してデータを直す時間を計画に入れている⑦改善

アットグローバルのAI学習データ作成支援

アットグローバルは、2002年の設立以来、翻訳・通訳・海外市場調査を中心に1,000社以上の取引実績を持つ翻訳会社です。AIデータサービスでは、翻訳事業で培った言語の品質管理と言語ネットワークを使い、学習データと評価データの作成を支援しています。

特に、日本語や多言語のテキスト・音声データを、文体や表記の統一まで含めて作りたい企業に向いています。

  • データ収集・整形、アノテーション、評価データ作成・人手評価の3領域に対応
  • ラベル体系やガイドラインの設計から支援
  • 作業者・レビュアー・最終判定者の3者による多段階レビュー
  • 50以上の言語に対応し、66の国や地域に2,300人以上の登録人材を持つネットワークで、日本語以外の言語の作業者も確保
  • ISO 17100(翻訳サービス)認証、ISO 27001(ISMS)登録、プライバシーマークを取得

一方で、画像の大量ラベル付けのように言語の知識がほぼ不要な作業は、専業のアノテーション会社の方が安く済む場合があります。言語の品質が成果を左右するデータの作成について、ご相談ください。翻訳品質の国際規格については、ISO17100の解説記事もあわせてご覧ください。

よくある質問

よくある質問
AI学習データの作成費用はどのくらいかかりますか?

データの種類・件数・言語・専門性・レビューの段数で大きく変わるため、一律の金額はありません。費用を抑えたい場合は、まず評価データ100問程度を作り、本当に学習データが必要かを確かめるのが効果的です。不要と分かれば作成費用そのものを省けます。必要な場合も、試験作業で単価と品質を確認してから本作業に入ると、予算の見通しを立てやすくなります。

初めて作る場合、何から始めるのがおすすめですか?

業務の代表的な質問を集めた評価データから始めるのがおすすめです。評価データは件数が少なく済み、作る過程で「何を正解とするか」の議論が進むため、そのままガイドラインの土台になります。学習データを先に大量に作ると、後で正解の基準が変わったときに全量を作り直すことになりかねません。

クラウドソーシングと専門会社では何が違いますか?

クラウドソーシングは単価が安く、大量の単純作業に向いています。一方で、作業者の母語や専門性を確かめにくく、品質の確認は発注側が担うことが多くなります。専門会社は単価が上がる分、作業者の選定・教育・多段階のレビューまで任せられます。お手本の回答の作成や専門分野のデータなど、判断の質が成果を左右する作業は専門会社が向いています。

外注するデメリットや注意点はありますか?

業務固有の正解を外注先が最初から知っているわけではないため、ガイドラインが不十分だと品質がばらつきます。また、社内データを渡す場合は、個人情報のマスキングと委託先の監督が必要です。外注先のセキュリティ認証や、データの保管・削除のルールを契約前に確認しましょう。

翻訳会社に学習データ作成を頼むメリットは何ですか?

翻訳会社は、複数の作業者に同じ基準で文章を書かせ、別の人が確認する品質管理を日常的に行っています。そのため、文体・表記・敬語までそろえる必要があるテキストデータや、日本語以外の言語のデータに強みがあります。一方、言語の知識がほぼ不要な画像のラベル付けなどは、専業のアノテーション会社の方が費用面で有利な場合があります。

AI学習データ作成のまとめ

  • AI学習データの作成で成否を分けるのは、量よりも「何を正解とするか」を文書で決めておけるかどうか
  • 作成は「目的と評価指標」「仕様書とガイドライン」「収集」「前処理」「アノテーション」「品質検証」「評価と改善」の7ステップで進める
  • 評価データは最初に切り分け、学習には使わない
  • 必要な量は用途で変わり、LLMの調整では少量でも質のそろったデータが効く
  • 日本語のデータは表記・文体・敬語がゆれやすく、表記ルールと用語集を作業前に決める
  • 合成データは量や種類を補う手段として使い、人の確認と組み合わせる
  • 正解の設計は自社で行い、量の多い作業や言語の専門性が必要な作業は外注する分担が現実的
  • 著作権・個人情報・AI事業者ガイドラインを作成前に確認し、データの出どころを記録する
目次