みなさん、こんにちは！ タカハシ(@ntakahashi0505)です。
「推敲」という文章の品質を向上させるタスクがあります。
今回は、5つの異なるAIに推敲を依頼し、その結果を比較検討してみました！
ということで、今回は「生成AIで文章を磨き上げる！5つのAIによる「推敲」選手権」です。
では、行ってみましょう！
推敲とは何か？ その由来と意味
まず、本題に入る前に「推敲」とはどんな作業かご存知ですか？
「推敲」とは、文章や詩をより良くするために、字句や表現を吟味し、何度も練り直すことを指します。ビジネス文書やメールなどでも使われます。
この言葉の由来は、中国・唐代の詩人である賈島（かとう）の故事に遡ります。
賈島は「僧は推す月下の門」という句を作った際、「推す」を「敲く（たたく）」にするべきか迷い、都の長官で文学者の韓愈（かんゆ）に相談しました。韓愈は「敲く」の方が良いと助言し、このエピソードから、文章や詩を練り直す行為を「推敲」と呼ぶようになったのです。
推敲とは、まさに文章を磨き上げるための、地道で丁寧な作業なのです。
5つの生成AIによる推敲対決！
先日、「AIとのおしゃべり」企画の中で「Maple」（ChatGPTのボイスモード）と話していたところ（実際にMapleと話しているようすをVoicyで配信していますのでよかったらどうぞ）、「書籍を執筆しているなら、推敲にAIを使うといいよ」というアドバイスをもらったのです。
僕自身、書籍は何冊か出していますし、推敲は自分でやってます。加えてAIに依頼すると、タスクが増えちゃうなぁなんて思っていたのですが、せっかくだから試してみようということで今回の実験です。
というわけで、今回は以下の5つの生成AIに、僕が書いた原稿を推敲してもらい、その結果を比較してみることにしました。
- ChatGPT 4o
- Gemini 1.5 Pro
- Claude 3.5 Sonnet
- WordのCopilot
- GoogleドキュメントのGemini
AIの「推敲」力を試す手順
手順としては、まずAIに「良い推敲とは、どういう推敲ですか？」と尋ねます。
それぞれの「良い推敲」が返答として返ってきます。
次に、AIに原稿を渡し、「その観点で、このドキュメントを推敲し、改善できるポイントを挙げてください。」と指示しました。
その回答を評価します。評価のポイントは、改善ポイントの有用性と具体性です。
単に抽象的なアドバイスをするのではなく、原稿のどの部分をどのように改善すれば良いのか、具体的な指摘があるかどうかが重要です。
生成AI5つによる推敲対決の結果発表！
さて、いよいよ結果発表です。各AIの推敲結果を、ランキング形式でご紹介します。
第5位：GoogleドキュメントのGemini
残念ながら、GoogleドキュメントのGeminiは最下位となりました。
「推敲して改善できるポイントを挙げて」により出力された文章は、まるで原稿の「要約」でした。推敲とは言えません。
具体的な改善ポイントもなく、現時点では実用に耐えるレベルではないと感じました。
第4位：WordのCopilot
WordのCopilotは、「明確さ」「一貫性」など、5つの改善ポイントを挙げてくれました。
しかし、その内容は抽象的で、具体的な改善案は提示されませんでした。また、「「スクリプトエディター」となっている箇所があります」という指摘がありました。表記が「スクリプトエディタ」と揺れているという指摘ですね。
しかし、原稿にはそのような箇所は存在しませんでした。精度にも課題があるようです。
第3位：Claude 3.5 Sonnet
Claude 3.5 Sonnetは、「説明の具体性向上」「用語説明の充実」など、6つの改善ポイントを挙げてくれました。
しかし、これも一般的なアドバイスにとどまり、原稿のどの部分をどのように改善すれば良いのか、具体的な指摘はありませんでした。
第2位：Gemini 1.5 Pro
Gemini 1.5 Proは、「各章の冒頭で、その章で学ぶ内容を明確に示す」「図表を効果的に利用する」など、7つの改善ポイントを提示しました。
しかし、Claude 3.5 Sonnetと同様に、一般的なアドバイスにとどまり、具体的な改善案はありませんでした。
このあたりで、Mapleには悪いけどうまくいかないのでは？という考えがよぎります。
第1位：ChatGPT 4o
しかし、ここでChatGPT 4oの登場がその悪い空気を打破してくれました！
他のAIとは一線を画し、原稿の内容をしっかりと理解した上で、具体的な改善案を提示してくれました。10箇所以上ありました。
例えばこのような改善案です。
- 原文: たくさんのGoogleサービスがあり、それらを操作することができるということがわかりますね。
- 改善案: GASを使えば、多くのGoogleサービスを操作できることがわかります。
別の例です。
- 原文: GASではプログラムのことを、「スクリプト」とも呼びます。本書でも、今後はスクリプトという単語を使うことにします。
- 改善案: GASではプログラムを「スクリプト」と呼びます。本書ではこの表記を統一します。
中には、「ちょっと違うな」と感じる部分もありました。しかし、他のAIと比べると、その具体性は群を抜いています。そして、いくつかのアドバイスは、原稿のクオリティを確実に向上させるものでした。
ChatGPT 4oの圧勝！今後の執筆活動に活用
今回の推敲対決は、ChatGPT 4oの圧勝という結果になりました。原稿を書き、ファイルをアップロードして、プロンプトを二回叩くだけで、これだけの品質の推敲結果が得られるのは驚きです。
今後は、章を執筆するたびに、ChatGPT 4oに推敲をお願いしようと思います。
もっと早くやっておけば良かったと後悔しています…（笑）。
まとめ
以上、「生成AIで文章を磨き上げる！5つのAIによる「推敲」選手権」についてお伝えしました。
引き続き、みなさんがいきいきと学び・働くためのヒントをお届けしていきます。次回をお楽しみに！
この話を耳から聴きたい方はこちらからどうぞ！
