生成AI小説判定度

2025年11月17日更新

最近AIに書かせた文章が氾濫している。そこで、生成AIチェッカーがネット上で公開されている。論文とかレポートを、AIが書いたかどうか調べるものだ。生成AI文章判定といわれる。

論文とかレポートは、その判定が最も容易で、すでに同じ内容があるかどうかで判断される

次にニュース記事は検出の難易度が向上する。ただしニュース記事は情報の真偽がすべてなので、AIが書いたものか、問題になることはないだろう

コラムとエッセイ

次に判定が難しいのがコラムとかエッセイ。記事が長めで、作者の作家性が出る

コラムとかエッセイは小説に比べて短いが、テーマがはっきりしているので、作者の作家性が出やすい。そのため批判的なコラムであれば、生成AI判定はほとんどされない

全く同じテーマでコラムを書かない限り、生成AI文章とは判定されないと思われる

ランクインを目指しているweb小説家達は、炎上のリスクがあるため、ほぼコラムやエッセイを書かない。またLLMも同様。そのため作者が一般向けの小説家だと見分ける材料しては有力

一方詩は批判的なテーマがないものが大半で、AIも人間と見分けがつかない

AIレーティングの導入

LLMの台頭で、生成AI小説がひそかに世に出回るようになった。

最初に小説の生成AI判定の重要性が説かれたのは、英語小説。海外にも大手のweb小説プラットフォームがあって、大量に小説が投稿されている。それゆえ似たような小説が大量にある

web小説界隈は模倣小説だらけで、AI小説なのか、模倣小説なのか分からない。そこでいち早くAIアシストコンテンツのレーティングが誕生した。

AIに書かせた文章はその旨明記し、人間が著書したものと偽ってはならない。amazonやRoyalroadで採用され、破ると罰則が下される

英国ではいち早く人間小説認定制度が導入された。英国はハリポッターを擁し、小説の権威が最も高いからだろう

遅れる日本小説界隈

一方それに無頓着なのが日本語小説だった。日本語は複雑で小説文章の模倣が難しい。AIに書かせるにも、判定させるにも難易度が高い。それゆえ日本の著名な作家は、AI小説を取るに足らないとみなしていた

しかしそれもGPT5の登場あたりで一変した。よくあるなろうや悪徳令嬢の、それなりの小説が生成できるように進化した。

こっそり生成AI小説を投稿されると見分けられない。プロの作家たちも、ひそかに生成AI小説が浸透していることに気づかなかった

生成AI小説判定度

現状、小説をLLMによって書かれた生成AI小説を見ぬくのは難しい。文章が長い上にノイズのような表現が混じるためだ。

生成AIチェッカーでは判定できないので、生成AI小説判定として特筆する必要がある。AIチャットのような、高度なAIサービスが必要

これによってLLMによって書かれた小説なのか、パーセントで表示できる。70%以上だとプロンプトのみ入力で、LLMによって出力された小説だと判定される

生成AI小説判定度の傾向

前述の批判的なコラムやエッセイは、書く人間も少数なので、人間文章と判定されやすい

日本の昔の有名文学系も、数値が低く、人間文学と見なされやすい。あまり模倣されないのと、当時の暮らしを精密に描いているからだろう

一方生成AI文章と判定されやすい小説が存在する。流行のweb小説系である、なろう、令嬢、恋愛、過去の人気ラノベなどは生成AIと判定されやすい

キャラの名前や文章構造、台詞やモノローグに傾向がある。似た小説を書くユーザーが多い上に、それをLLMに学習されているためだと思われる

これはコンテンツの価値としては致命的で、オリジナリティが少ない上に、LLMに模倣されやすいことを示している

日本語小説の生成AI判定の難しさ

日本語小説は文法の自由度が高く、ボキャブラリーが多い。そのためとくに生成AI小説判定が難しく、誤検知されやすい

人間が書いたものが生成AI小説と判定されたり、LLMの書いた小説が人間小説と誤認されてしまうのだ

またこの判定をごまかす方法もある。台詞に手を加えたり、句読点の位置を変えたりするだけで、簡単に人間小説だとごまかせるのだ

さらに次世代のLLMは人間にわかりやすく、台詞や情景描写をしっかり描く。そのため人間より人間らしい小説が書けてしまうのだ。

LLMが人間らしい小説をかけるようになった現在、小説家という職業自体、AIに変わられる可能性が高い

明確な指標としてランキング適応度

低くなる小説の特徴も判明しているので、別ページに紹介しておく