長期記憶とRAG

AIが長文が苦手らしいということは、もはや明らかである。AIはAIなりに、あらすじと文脈を保持しておこうとする。文体やら、登場人物たちの相互関係やら、シチュエーションやら、キャラクターごとのセリフの言い回しの特徴やらを覚えておき、それを連続させないと、まともな文章にはならないからだ。

登場人物が比較的少なくて、全文がそれほど長くないもの。1万字くらいのものであれば、今のAIはだいたい通して訳すことができる。しかしながらそれを500字くらいにわけて少しずつ送るのが安全だ。

長くなってくるとだんだんにAIは狂ってくる。そして壊れる。もう同じことを何度も経験した。

AIにできないことは人間にもできないのだろう。たとえばエウメネスなどは、正確に数えたことはないが、全部で50万字くらいあり、登場人物も1000人くらいはいるかもしれず、しかも10年近くに渡る話で、かつその舞台はヨーロッパからインドまで極めて広い。作者自身にすらもはや限界に近づいている。

現在のAIのこの弱点を補うためにRAGという技法が使われている。つまり、人間でいうと長期記憶に相当するものだ。基本的にAIには今、予備知識の他は短期記憶しかない。短期記憶だけで何事も処理しようとするから狂うのである。

エウメネスはもう自分一人ではどうにもならないってことはわかっている。AIに丸投げしたいくらいだが、たぶんまだ時期尚早なのだと思う。私の人格、私の文体を完全に模倣するAIが出てきたらそれは私自身と言っても良いかもしれず、エウメネスはその設計図になるかもしれない。

まあ、仕方ない。今はAIが壊れるまでこき使い、壊れたらまた途中から、あらすじかなにかを伝えて最後まで続けるしかない。それ以外どうしようもない。AIの事情になどかまっていられない。

今はローカルLLM (ollama + gemma4:31b) で翻訳しているのだが、やはり gemini でやろう。gemma では時間がかかりすぎる。というより、gemini の方がずっと速い。せっかく dgx spark を買ったのでこれでなんとかしようと思ったが、もはや限界だ。というよりどんな仕事がどんな場合に適正なのかがわかってきた。

1章、もしくは2章単位で一つのチャットを終わらせて、次のチャットでは前回までのあらすじを伝えて、それでつなげていけば良いだけではないか。大抵の場合はそれでいけそうな気がしてきた。

novels.socialakiba.com

なんというかもう、tanaka0903.net には adsense の審査に通らないコンテンツを、socialakiba.com には審査に通りそうな記事を、そして、日本語と英語は、socialakiba.com をサブドメインに分けて対応しようかなという気になってきた。

tanaka0903.net が審査に通らないときは、安全そうなコンテンツは socialakiba.com に移すことになるかもしれない。

ユーチューバーがよくサブチャンネルを作ったりするのは、規約が変わって収益化ができなくなったときに対処するためなのだろう。

というわけでとりあえず novels.socialakiba.com というものを作った。ここには日本語のコンテンツ、つまり、自分のオリジナルの小説や、和訳した小説などを載せていくことにする。

ヨハンナ・シュピリ初期作品集を出したときも機械翻訳を使っていたのだが、あのときは google translate を使って、まずドイツ語を英語に直し、それから私が英文を自分で和訳していた。今の機械翻訳は当時と比べてはるかに進化した。ドイツ語から直接日本語に訳してもとりあえず問題ない。多少手直しはするのだけど。

gemini を使っても良いのだが、dgx spark で ollama + openwebui + gemma4:31b を使っている。安定性は必ずしもよくないが、だましだまし使っている。

だいたいわかってきた。できるだけ小刻みに、短く分けて送ったほうがよい。

ドイツ語からまず英語に内部で訳して、それをさらに日本語に訳しているらしい。

AI画像生成

それはそうと、gemini は小説を英訳して挿絵も描いてくれというと嫌がる。絵を描く機能はないので、stable diffusion や midjourney や adobe の banana pro なんかを使ってくれと言われる。しかしまったく描いてくれないわけではなく、うまくお願いするとけっこうすごい絵を無課金で描いてくれる。

chatGPT もログインすれば無課金で少し絵を描いてくれる。しかし頭の良さは gemini のほうが上な気がする。左の絵を上げて、ポーズや質感はそのままでカメラ目線にしてくれというと真ん中の絵のようになる。目つきが気に入らないから、もとのように細めにしてくれというと右のようにカメラ目線を忘れてしまう。

最初は楽しいのだが慣れてくるとだんだんとこういうAIとのやりとりが壮大な時間の無駄に思えてくる。絵を描くのはうまいがなんでもいちいち指図しないと思ったように絵を描いてくれない人(課金させるためにわざとか)を相手している気分だ。特に、前言ったことをいちいち忘れるのはわざとだろう。

gemini にも同じことを頼んでみたがやはりダメだった。目付き、顔つきがどうしても AI っぽくなる。なんなんだろうなこの違和感は。

ていうか目玉だけならば自分で手描きで直したほうがましかな。

ウルムチとシンガポール

google analytics を見るとウルムチとシンガポールからすごくアクセスされています。これはなんですか。

結論から言うと、これは人間によるアクセスではなく、クラウドサーバーやクローラー(ボット)による非正規のトラフィック(スパムアクセス)の可能性が非常に高いです。

多くのWebサイト管理者やGA4(Google Analytics 4)ユーザーの間で、まったく同じ症状(急にウルムチやシンガポールからのアクセスが急増する現象)が確認されています。

なぜ「ウルムチ」や「シンガポール」なのか?

  1. データセンターの所在地
    • シンガポール: AWS(Amazon Web Services)、Google Cloud、Microsoft Azureなどの主要なクラウドプラットフォームの巨大なデータセンターが集積しているエリアです。ここで動いている自動化プログラム(ボットやスクレイパー)の通信が計測されると、地域が「シンガポール」と表示されます。 Index-Lab
    • ウルムチ(中国・新疆ウイグル自治区): 中国国内のクラウドサービス(Alibaba Cloudなど)や、通信事業者のIPアドレス割り当ての都合上、自動巡回ボットやプロキシを経由したアクセスがGA4上で「ウルムチ(Urumqi)」と識別されるケースが多発しています。
  2. アクセスの目的
    • Webサイトの情報を自動で収集するスクレイピング(AIの学習用データ集めなど)
    • 脆弱性を探すセキュリティスキャン
    • Google Analyticsの測定ID(G-xxxxxxx)宛てに直接ダミーの計測データを送りつけるリファラスパム(測定IDをランダムに叩いているだけのケースもあります)

特徴(見分け方)

GA4のレポートで該当の地域(ウルムチ・シンガポール)のアクセスを絞り込んで見たとき、以下のような特徴があれば間違いなくボットです。

  • エンゲージメント時間が極端に短い(0秒〜数秒)
  • 直帰率(またはエンゲージメント率の低さ)が異様に高い
  • 特定の1ページ(トップページなど)だけにアクセスが集中している
  • ユーザーの言語設定(Language)が (not set) や英語表記、あるいは不自然

対策はどうすればいい?

実害として「サイトが攻撃されて壊される」というよりは、「GA4のアクセスデータが汚れて分析しづらくなる」という影響が大きいです。

必要に応じて以下の対策をご検討ください。

1. GA4の内部で除外(データのクリーンアップ)

アクセス分析の邪魔になる場合は、GA4の「ライブラリ」や「探索」画面で、国や地域が「シンガポール」「中国(ウルムチ)」のデータを除外するフィルターをかけて分析を行います。

2. サーバー側(Cloudflareや.htaccessなど)でブロック

もしサイトのサーバー負荷が上がっている場合や、完全にアクセス自体を止めたい場合は、CloudflareなどのCDNを導入してボットチャレンジ(CAPTCHA)を挟むか、特定IPアドレス/リージョンからのアクセス制限を行います。

補足: 日本国内向けのサービスやWebサイトであれば、ウルムチやシンガポールから大量の一般ユーザーが訪れる理由は通常ありませんので、基本的には**「データのノイズ(ボットアクセス)」**として扱ってしまって問題ありません。


アクティブ ユーザー新規ユーザー数エンゲージのあったセッション数アクティブ ユーザーあたりの平均エンゲージメント時間イベント数
1Urumqi1,356 (19.02%)1,354 (19.17%)<0.010 秒
2Singapore1,111 (15.58%)1,111 (15.73%)<0.010 秒

アクセス数は多いが直帰しており、滞在時間も短い、クローラーだろうということだ。意外とこういうことをツイッターで話題にしている人を見かけない。

ウルムチつまり新疆ウイグル自治区は天山山脈の水力発電で動くデータセンターがたくさんあるんだろう。国家プロジェクトで、むやみとスクレイピングしてAIを学習させているんだろうが、そんなの効果あるんだろうか。あったら怖い。

はたして全体主義国家は自由主義国家に勝てるのだろうか(笑)。

サチコに登録

この3年ほどずっと本の原稿を書いていたので、執筆欲とでもいうものがそちらですべて満たされてしまって、ブログを更新しようという気持ちがほとんどおきなかった。その上ツイッターなどというダラダラとつぶやきを垂れ流すツールもあったから、なおさらブログという形で書く気持ちがおきなかった。さらにいえば私の場合、ブログは日記のように毎日コンスタントに書くのでなく、書きたい衝動にまかせてある時期に、欲求のはけ口のようにまとめて書いていたから、よけいにブログは書かなくなっていた。

それでまあ今後はここでいろいろ書いていこうと思っているのだがまだ google search console で xml sitemap も URL検査もしてなかったから登録しておいた。

こちらでブログをいじっているだけでも adsense に影響が出ることはわかった。同じことは楽天アフィリエイトなどでも言えるのであって、そうやって自作自演で収益化することは規約違反でもあるし、そもそもなんの意味もない。赤の他人から金をもらってこそのアフィリエイトではないか。

adsense の予測収益額は 1円が2円となり0円に戻ったり、6円が10円になって8円に戻ったり、まるで水前寺清子のマーチのようだ。一喜一憂しても仕方ない。

tanaka0903.net がなかなか adsense の審査が通らないのは微妙にストレスである。adsense ならば無茶な広告をぶっこんでくることもないし、ブランドイメージを守れることはわかったので、日本語サイトつまり tanaka0903.net にも広告を入れてどれくらい収益化できるものなのか早く試したいのだが、ずっとじらされている。

今度出す本は秋には出るだろう。遅くとも年内に出るだろう。そこには論語のことなども多少書いたのだが、この、ユヴァル・ノア・ハラリの時代に論語を再説してみるのは少しは意味があるだろう。呉智英にしろ山本七平にしろ孔子や儒教を根っこで尊敬しているので、どこか肯定的であり、冷静に客観的に述べてはいない。苫米地英人などは単に認知科学とか脳科学などというそれっぽい理屈を振り回して伝統的な解釈を頭ごなしに否定しその真逆の主張をして受けを狙っているが、彼の根っこにあるのは単に戦後民主主義的左翼思想に過ぎまい。

宮崎市定はさすがに学者らしいまともな研究をしているが、なにしろもう古い。

別に論語とか仏教の話がしたかったわけではないのだが、本居宣長について書いていると宣長は仏教と儒教という二連星に挟まれその強い重力場の中で国学というものを作った人だから、その二連星の影響力というものに言及しないわけにはいかなかった。私は今では宣長は単なる仏教徒であり、儒教から逃れるために国学にすがっただけだと思っている。これが次に出す本の核心である。宣長によって国学の自立は完成しなかった。篤胤のようなものが出て、国学をさらに儒教や仏教から遠ざけようとしたがそれは国学を単なるオカルトにしただけだった。国学はいまだこの混迷から抜け出ていない。宣長を凌駕したものなどまだ出ていないのだ。宣長には限界があったが、その宣長を、300年後の我々はまだ超えられていない。

私は孔子は単にことわざ格言や詩のコレクターでその解釈をする人だったと思っている。人はみな格言が好きだ。格言を知ってなにかを知ったつもりになる。それが論語の本質であろう。

それはそうと生成AIの作る絵はすごい。日進月歩でどうなるかわからん。去年の今頃と比べてもすごく進化している。しかし自分が望む絵を出すために必死でAIにプロンプトで指示しているところを想像すると実に馬鹿らしくもある。昔のマンガやセルアニメをAIで実写化するなど、すぐに陳腐化するのだろう。

A Sketch of Asakusa だが、だいぶ方向性が定まってきた。Just another Asakusa guide、単なる浅草観光ガイドではない。かなり辛辣なことを書いているが、英文なので、日本人で気付いて文句を言う人はいるまいと今はたかをくくっている。英文をまた日本語に戻すとこんな感じだ。

Googleマップのレビューが示す通り、この店は恐ろしいほど評判が悪い。観光客、特に外国人に対して明確な敵意を抱いているのは明白だ。商売をする気もほとんどないようで、おもてなしの精神など皆無である。料理に関しては可もなく不可もなく、といったところだ。

私は大酒飲みなので、ここに来ても大抵餃子一皿と瓶ビール(小)しか頼まない。単にそれ以外の酒がないからだ。滞在時間はわずか15分足らず。私にとっては、ほんの気まぐれに立ち寄って少し時間を潰すだけの場所に過ぎない。餃子が美味いかと聞かれれば、まあ美味い方かもしれない。店内は撮影厳禁なので、私も決して写真は撮らない。

自分以外の客を見たことがないのだが、それは私が平日の夕方遅くにしか訪れないからだろう。週末になればそれなりに混むはずだ。それにしても、この店の最大の特徴は、資本主義の匂いが全くしないことだ。

もちろん浅草には他に選べる店などごまんとあるが、あえてこの店に足を運ぶ唯一の理由は、その素っ気ない雰囲気がいかにも浅草らしいからに他ならない。

分かりやすく言えば、この店はマカロニ・ウェスタンやスター・ウォーズに出てくるような、愛想が悪く荒んだ居心地の悪い酒場に浸りたい」という、私の物好きな欲求を満たしてくれるのだ。

冷笑的と言われるかもしれないが、私は「食堂みずぐち」や「ヨシカミ」のような人気店に行列を作り、狭い席に押し込められて「B級グルメ」をありがたがるフリをするのが大嫌いだ。それよりも、ガラガラに空いていて、思い立った時にふらっと入れて、料理がすぐに出てきて、サッと次の店へハシゴできるような店の方がいい。

この程度のことは google maps のレビューにはいくらでもあるのだが、彼らは匿名なので書き放題だ。

或いはこういう記事も書いた。

そこは、まるでNHKのドラマからそのまま飛び出してきたかのように完璧な、定食屋兼居酒屋だ。スタジオのセットと見紛うほどで、老若男女を問わず客もスタッフも、まるで台本通りに配置された舞台俳優であるかのように思えてくる。あまりにも自然でありながら、それでいて巧妙に演出されているため、街からふらりと迷い込んできたエキストラにでもなったかのような錯覚に陥る。要するに、まるで50年前の日本にタイムスリップしたかのような感覚を味わわせてくれるのだ。

40年前に私が初めて東京に引っ越してきた頃、こうしたNHKのドラマを思わせるような店はどこにでもあった。しかし、今はどうだろうか。おそらく浅草のような場所にしか残っていないのかもしれない。

つい先日、横須賀でこれと驚くほどよく似た街を見かけた。そこは「三崎通り商店街」という半ば寂れたアーケード街で、大正時代から続く古い食堂や蕎麦屋が今も数軒営業していた。しかし「千束通り商店街」は、人口密度が高く、浅草という一大観光拠点の周辺部に位置しているおかげで、戦後の昭和の面影を残したまま今日まで生き残ることができたのだ。

墨田区には江戸東京博物館があり、大阪には国立民族学博物館がある。近い将来、千束通りや吉原の裏路地のような街並みも、そうした博物館の中で永久に保存されることになるのではないかと思わずにはいられない。

こういう観光ガイドのフリをしたヘンテコなエッセイを書く人はあまりいないと思うので、それなりの意義はあるのではないかと思う。