長期記憶とRAG

AIが長文が苦手らしいということは、もはや明らかである。AIはAIなりに、あらすじと文脈を保持しておこうとする。文体やら、登場人物たちの相互関係やら、シチュエーションやら、キャラクターごとのセリフの言い回しの特徴やらを覚えておき、それを連続させないと、まともな文章にはならないからだ。

登場人物が比較的少なくて、全文がそれほど長くないもの。1万字くらいのものであれば、今のAIはだいたい通して訳すことができる。しかしながらそれを500字くらいにわけて少しずつ送るのが安全だ。

長くなってくるとだんだんにAIは狂ってくる。そして壊れる。もう同じことを何度も経験した。

AIにできないことは人間にもできないのだろう。たとえばエウメネスなどは、正確に数えたことはないが、全部で50万字くらいあり、登場人物も1000人くらいはいるかもしれず、しかも10年近くに渡る話で、かつその舞台はヨーロッパからインドまで極めて広い。作者自身にすらもはや限界に近づいている。

現在のAIのこの弱点を補うためにRAGという技法が使われている。つまり、人間でいうと長期記憶に相当するものだ。基本的にAIには今、予備知識の他は短期記憶しかない。短期記憶だけで何事も処理しようとするから狂うのである。

エウメネスはもう自分一人ではどうにもならないってことはわかっている。AIに丸投げしたいくらいだが、たぶんまだ時期尚早なのだと思う。私の人格、私の文体を完全に模倣するAIが出てきたらそれは私自身と言っても良いかもしれず、エウメネスはその設計図になるかもしれない。

まあ、仕方ない。今はAIが壊れるまでこき使い、壊れたらまた途中から、あらすじかなにかを伝えて最後まで続けるしかない。それ以外どうしようもない。AIの事情になどかまっていられない。

今はローカルLLM (ollama + gemma4:31b) で翻訳しているのだが、やはり gemini でやろう。gemma では時間がかかりすぎる。というより、gemini の方がずっと速い。せっかく dgx spark を買ったのでこれでなんとかしようと思ったが、もはや限界だ。というよりどんな仕事がどんな場合に適正なのかがわかってきた。

1章、もしくは2章単位で一つのチャットを終わらせて、次のチャットでは前回までのあらすじを伝えて、それでつなげていけば良いだけではないか。大抵の場合はそれでいけそうな気がしてきた。