LabsAI検出AI翻訳小説

AI検出ツールはAI翻訳を見抜けるか? PangramとGPTZeroで検証しました

小説の文章をAIでウクライナ語、英語、中国語の間で翻訳し、PangramとGPTZeroで検証しました。その結果、手を加えていないChatGPTによる翻訳を含め、すべてのサンプルが「人間による執筆」と判定されました。その理由と、それでもAI翻訳であることを申告すべき理由を解説します。

Mariia IvakhnenkoVitalii Vlasiuk
Mariia Ivakhnenko & Vitalii Vlasiuk読了目安:14分
Literess, Transept’s illustrated assistant, holds up an open book labelled “Translated with AI” and raises an eyebrow, while two boxy detector robots scan it through magnifying lenses and both their screens read “100% human”. Behind them, a stick figure in a “Human” T-shirt shrugs. The title reads “It said human”.
目次

自作の小説を自分で翻訳している作家の方から、いちばん多く寄せられるのが「自分の本がAIだと判定されてしまうのでは?」という質問です。その裏には、ある光景があります。読者や編集者、オンライン書店が1章分の文章をAI検出ツールに貼り付け、赤いバーが返ってくる光景です。

そこで10月、自分たちの書いた文章で実際に検証してみました。

何を検証したのか?

Vitaliiが執筆した、まだタイトルのない風刺ファンタジー小説から文章を抜き出し、AIを使ってウクライナ語、英語、中国語の間で双方向に翻訳しました。そして、作家の方々から最もよく質問を受ける2つのAI検出ツール(2026年10月時点の最新バージョン)で、すべての訳文を検証しました。使用したのは、7月に公開されたPangram 4と、9月にリリースされたGPTZero 4oです。

項目詳細
原文Vitaliiが執筆した未発表の風刺ファンタジー小説の文章
言語ウクライナ語、英語、中国語の間で双方向に翻訳
分量原文100~1,300語(ウクライナ語からの英訳は長くなり、最大1,704語)
訳文Transept(用語集、スタイルガイド、原文と照らし合わせた校正を使用)
対照群ChatGPTで翻訳した同じ文章(用語集・スタイルガイド・編集なし)
検出ツールPangram 4、GPTZero 4o(2026年10月時点)

どちらの検出ツールも、対応言語としてウクライナ語と中国語を挙げています(Pangram、GPTZero)。

検出ツールの判定は?

どちらの検出ツールでも、どの翻訳方向でも、すべてのサンプルが「人間による執筆」と判定されました。対照群も同じで、手を加えていないChatGPTの翻訳のスコアは100%「人間による執筆」でした。

翻訳先検出ツール判定結果
英語(ウクライナ語から)GPTZero 4o人間による執筆(97%と98%)
ウクライナ語(英語から)Pangram 4人間による執筆(100%)
その他すべての組み合わせPangram 4、GPTZero 4o人間による執筆

ウクライナ語の章を英訳した文章(1,704語)に対するGPTZeroの判定:「このテキストは完全に人間によって書かれたと高い確信度で判断されます」、人間による執筆97%、AI 3%、混合0%

ウクライナ語から翻訳された1,704語に対するGPTZero 4oの判定:人間による執筆97%

ウクライナ語から英訳した別のシーン(1,593語)に対するGPTZeroの判定:「このテキストは完全に人間によって書かれたと高い確信度で判断されます」、人間による執筆98%、AI 2%

別のシーン(1,593語):人間による執筆98%

英語の章をウクライナ語に訳した文章(スキャン対象1,261語)に対するPangram 4.0の判定:「Human Written(人間による執筆)」、テキストの100%が人間による執筆

英語からウクライナ語に翻訳された1,261語に対するPangram 4の判定:100%人間による執筆

なぜ「人間による執筆」と判定されたのか?

ツール自身の基準に照らせば、それが正しい答えだからです。検出ツールが答える問いはただ1つ、「このテキストを書いたのはAIモデルか?」です。小説を翻訳しても、プロット、場面の順番、誰が話すか、どこで笑いを取るか、一文をどこまで続けてどこで切るかといった作者の判断は、そのまま残ります。AIモデルが選んでいるのは、人がすでに言うと決めたことを別の言語で表すための言葉です。

Pangramはこの点を明文化しています。Pangram 4の技術レポートは、「直訳」を軽い校正やスペルの修正と並べ、それでもテキストが人間によるものと見なされる程度のわずかなAI支援に分類しています。これは新しい扱いです。Pangramの以前のモデルでは、翻訳は軽度のAI支援として数えられていました。GPTZeroについては、翻訳テキストに関する公開ルールは見つかりませんでした。学生向けのアドバイスを見る限り、今でも「AIの影響を強く受けた箇所」にフラグを立てることがあるようです。今回のサンプルでは、GPTZeroの判定もPangramと同じでした。

この論理は逆の場合にも成り立ちます。翻訳したからといって、AIモデルが書いた文章を隠せるわけではありません。Pangramは、二度翻訳した場合も含め、翻訳後のAIテキストも検出できるとしています。同社のレポートでも、レッドチームが試して突破できなかった手口の1つとして、翻訳の繰り返しを挙げています。検出ツールが見ているのは「誰が本を書いたか」です。誰が翻訳したかは、別の問題です。

そもそも検出ツールのスコアは信頼できるのか?

あくまで、あるツールがある時点で見せた1つの見解として捉えてください。

  • 検出ツールは常に変化します。GPTZeroは2023年に、同社のモデルが2週間ごとに更新されていると述べており、Pangramもバージョン3から4の間で翻訳の扱い方を変更しました。
  • 冤罪を生んできた経緯があります。2023年の調査では、英語を母語としない人が書いたエッセイの61%が、検出ツールによってAI生成テキストとして判定されました(Liangら)。同年、14種類の検出ツールを対象とした検証でも、正確性も信頼性も不十分であり、機械翻訳された人間の文章に対して誤判定がより多く発生することが判明しています(Weber-Wulffら)。最新モデルではこれが改善されたとされていますが、スコアを決定的な証拠として扱うべきではない理由がここにもあります。
  • 最も知名度の高かったツールは提供終了となりました。OpenAIは精度の低さを理由に、自社のAIテキスト分類ツールの提供を2023年7月に停止しました。
  • 言語によっては対応していない場合もあります。TurnitinのAI判定レポートが対応しているのは英語、スペイン語、日本語、アラビア語のみであるため、ウクライナ語や中国語の原稿にはスコアが一切出ません。

また、検出ツールには翻訳の品質は判断できません。手を加えていないChatGPTの翻訳にも、Transeptの翻訳と同じ判定が出ました。「人間による執筆」というスコアが出ても、その訳文が読みやすいかどうかは何も分かりません。

それでもAmazonへの申告は必要か?

はい、必要です。検出ツールが問うのは「誰が文章を書いたか」ですが、Amazonが問うのは「どのように作成されたか」です。KDPのコンテンツガイドラインでは、AIベースのツールで作成されたテキスト、画像、翻訳を「AI生成コンテンツ」と定義しており、AI翻訳は「その後で大幅な修正を加えた場合でも」AI生成とみなされます。そのため、AIを使って翻訳した書籍をKDPで出版する場合は、検出ツールの判定結果にかかわらず申告する必要があります。

デスクに座ったLiteressが、出版フォームの「AIで翻訳しましたか?」の隣にある「はい」にチェックを入れている。そばでは、戸惑った様子の検出ツールのロボットが画面に「人間?」と表示し、「Human」と書かれたTシャツを着た棒人間がLiteressに親指を立てている。バナーには「それでも申告を」と書かれている。

出版社やエージェントと仕事をしている場合、確認すべきは検出ツールの判定ではなく契約内容です。作業を始める前に相談しておきましょう。作家がどのように対応しているかについては、小説・書籍翻訳の活用例のページで詳しく解説しています。

自分の本にとって何を意味するのか?

  • 翻訳の確認に検出ツールを使わないこと。検出ツールが答えるのは「著者は誰か」という問いで、翻訳した小説でも著者はご自身のままです。
  • 「ヒューマナイザー」(AIの文章を人間らしく書き換えるツール)にお金を払わないこと。使っても申告すべき内容は何も変わりませんし、ご自身の文章の翻訳なら、そもそも直すところがありません。
  • 読者が気づく点を確認すること:途中で表記が変わる登場人物の名前、抜け落ちた行、抑揚のないセリフなどです。名前には用語集を使い、原文と突き合わせて校正すれば、大半は見つかります。残りは、ご自身で一行ずつ読めば拾えます。
  • プラットフォームから求められた場合は、AI翻訳であることを申告すること。

今回の検証では分からないこと

  • 対象は小説1作品、1つのジャンル、最大でも1シーン程度の長さの文章です。書籍一冊丸ごとの検証は行っていません。
  • 検証した検出ツールは2種類、時期は2026年10月です。どちらも頻繁に更新されているため、翌月に再検証すれば異なる結果になる可能性があります。
  • Originality.ai、Copyleaks、Turnitin(ウクライナ語や中国語には非対応)の検証は行っていません。
  • 今回のサンプルは、人間が執筆した文章の翻訳でした。AIモデルがゼロから書いた文章こそが検出ツールの本来の対象であり、Pangramのレポートによれば、そうした文章を翻訳しても判定は変わらないとされています。

検出ツールが更新されたら、改めて検証します。

著者

Mariia Ivakhnenko
Mariia Ivakhnenko共同創業者

Transept共同創業者。キーウ、オストラヴァ、そしてザルツブルクでの1年間を経て、英語学・英文学の学位を3つ取得。ウクライナ出身ですが、書くのはほとんど英語です。プロンプトエンジニアとしてAIの世界に入り、その後はプロダクトマーケティングとライフサイクルマーケティングを担当。実在の人物をもとにしたセミフィクションを書きながら、言語のあいだで何がこぼれ落ちるのかという問いを追い続けています。

Vitalii Vlasiuk
Vitalii Vlasiuk共同創業者

Transept共同創業者。ペンネーム「Mevkh」名義で執筆。言語学・文学の学位を取得後、ソフトウェア開発へと転向。シニアAIエンジニアとして、RAG、エージェント型ツール、LLM-as-judgeによる評価など、実用的なLLM機能を50,000人以上のユーザーに提供してきました。小説家としてはじっくり創作を進めるタイプで、机の引き出しには12万語に及ぶ風刺ロマンスファンタジーが眠っています。AI翻訳と自身の書いた散文との間で生じた摩擦こそが、すべての始まりでした。