先日の謎のリファラ(たどると403が返ってくる)の詳細が判明したというか、サイト管理人さんから詳細な説明をメールで頂いたので、せっかくだから全部転載します(一部個人情報等は伏せたり、引用の引用などは省略したりします)。
宛:テラヤマアニ様
はじめましてメールをさせていただきます。relink.jpというサイトの管理者○○と申します。
結論からお話しますと本日のエントリにて辿れないリファラがあるというご指摘ですが、原因は私のサイト(の一機能)にございます。まず、不愉快な思いをさせてしまったことにお詫びをさせてください。大変申し訳ありませんでした。
<原因>
箇条書きで申し訳ございませんが、現在までの調査の結果をご報告させていただきます。
当方のサイト( http://relink.jp/ )には、アンテナ機能が設置されており毎時17分と47分に登録されているサイトに対して接続を行っております。当方のサイトのアンテナ機能は「NATSU-MICAN」というソフトウェアを利用させていただいておりますが、以下のページのリファラーの項にあるとおり、リファラーによって自アンテナサイトのURLを知らせるという仕様になっております。
当方が独自ドメインである「relink.jp」を取得するまでは「tbh.sakura.ne.jp」というSAKURAのサブドメインで仮運用を行っておりました。仮運用中に「http://tbh.sakura.ne.jp」をリファラとして登録しましたが、独自ドメイン取得後も、この設定を修正せずに運用しておりました。
当方がレンタルしているSAKURAのサーバーでは、サーバーに同居しているフォルダ名がそのままサブドメイン(当方の場合tbh)になるため、独自ドメイン取得後は「tbh.sakura.ne.jp」へのアクセスは全て拒否する設定にいたしました。
以上の原因により、正体不明のリファラがテラヤマアニ様のサイトに大量にロギングされるという結果になってしまいまいました。
※決してNATSU-MICANの仕様が悪いというわけではありません。中途半端な知識と、確認をせずに運用に乗せてしまった当方に全ての原因がございます。
<対策>
上の原因の対処として、以下の対策を実施させていただきました。
- 当サイトでの「http://d.hatena.ne.jp/kowagari/」へのアンテナ登録の削除 →貴サイトの一ファンとして大変残念ではありますが、削除させていただきました。
- アンテナの取得回数を2回/1時間から1回/1時間に変更 →更新日時取得対象サイト様の負荷軽減のため
- リファラ送信の停止 →これについては、NATSU-MICANの作者の方の意向に反してしまうので、今でも迷っておりますが、通常のリファラ(どのリンクから自分のサイトに訪問したかをログとして残す)とは、微妙にニュアンスが異なる気がいたしますので停止といたしました。
今後の最終的な対応としては、アンテナ自体の運用をやめることも含めて、再度検討をさせていただきます。最後になりましたが、当方の過失により不愉快な思いをさせてしまいましたことを、再度心よりお詫び申し上げます。大変失礼いたしました。
なるほど。たどれないリファラの正体はアンテナであり、しかもアンテナ経由でここに来た人のリファラではなく、アンテナ自身が自動巡回時に吐いていくリファラであり、さらにそのURLの変更をうっかり忘れていたということだったのですね。俺はなつみかん作者さんの言う「リファラーは通常リンクをたどることでのみ発生するが、アンテナシステムによる更新時刻取得の際はHTTPアクセスにおけるリファラーが無く、アンテナサイトの存在を知らせるためにリファラーに自アンテナサイトのURLを入れておくのが一般的である
」ということが一般的であるとは知らなかったというか、そんなん初めて聞いた、という感じだったのでちょっと驚いた。
なつみかんオフィシャルサイトは俺の調べた限り今は存在しておらず、2003年末には開発・保守・運用が凍結され、以降バージョンアップがないという(失礼ながら)古いCGIなので、なつみかんが全盛だった頃の一般的な考え方と今の考え方では違ってきているのかもしれない。
続けて管理人さんからの2通目のメール。
宛:テラヤマアニ様
relink.jp管理者の○○と申します。
昨日送付させていただきましたメールの中の対応について、一晩考えた結果以下のとおりとさせていただくこととしましたので、ご連絡させていただきます。
1.については、変更ありません。
2.については、アンテナ取得の回数を1日1回に変更いたします。(変更前から比べると48分の1となります)
3.については、リファラを「http://relink.jp/」にて送信することといたします。(アンテナでの取得を好まない方が、当方のサイトを見つけやすいようにするためです)
以上よろしくお願いいたします。
そして俺の返信。
○○さんはじめまして、テラヤマです。丁寧なご説明ありがとうございました。
私が嫌いなのはとにかく「たどれないリファラ」の一点ですので、たどった先がどんなものであるかは全く問題にしていません。
なので、私としては○○さんのとられた対処法「1.」「2.」に対して、「そうしていただく必要はないのにな」という印象をもったことは否めません。
「1.」アンテナ登録の削除を私は求めていませんし、今まで誰にも一度も「アンテナ登録しないでください」などのお願いをしたこともありません。リンク元がアンテナであるとはっきりわかっていれば、はてなであのようなエントリを書くこともなかったです。
「2.」アンテナ取得回数が多くてこちらが困ることはありません。ただ、取得のたびにホストやユーザーエージェントだけでなく、リファラまで残していくアンテナをログ汚しと考えて鬱陶しいと感じる人はいるのかもしれません。
「3.」に関してはHTTPの本来的な考え方となつみかん作者さんの考え方と、○○さんの考え方、「アンテナの取得行為そのものを好ましくないと思う人」の考え方、それぞれの立場で利害が異なっているので、あちらを立てればこちらが立たずといった感じで難しそうですね。
私個人の考え方を言わせてもらうと、アンテナ自身によるHTTPリクエストというものは生ログに残る必要はあっても、リファラまで残す必要は特にないかなと思っています。アンテナ経由でリンク先に飛ぶ人は少なからずいるわけですから、その時点でリファラが残ればなつみかん作者さんの言う「アンテナサイトの存在を知らせる」は 達成されるのではないかと考えます。
いずれにしても私の不快感の原因である「たどれないリファラ」の正体は○○さんのメールによって判明したので、それ以上の対処に関しては特に求めませんし、○○さんがなされた対処をお止めすることもありません。ご連絡ありがとうございました。
追伸
何がなんだかわからなくて訝しんでいる方たちのために、このメールのやりとりを全てはてなに転載したいのですが、よろしいでしょうか?私信の公開がおいやなら、はてなにはかいつまんだ事情説明だけを書こうと思います。
さらに管理人さんからの返信。
relink.jp管理者です。ご返信いただきありがとうございます。
アンテナ登録の削除については、初動時点で、最も少ない時間でできる対応方法でしたので、取り急ぎ実施させていただきました。
ただ、テラヤマ様の返信にて、「削除を求めていない」と言っていただけましたので、厚かましいとは思いましたが、再度アンテナへの登録をさせていただきたいと思います。
メールの内容の公開、及び転載については問題ありません。
私といたしましては、メールでのご連絡ではありますが、サイト管理者として公的な回答と対応を行ったつもりでおります。
以上よろしくお願いいたします。
ということです。スッキリ。
あと「誰にもアンテナ削除をお願いしたことはない」とかぬけぬけとメールに書きましたけども、余裕で言ってる。すごい嘘つきですねこの男は。
追記:メールフォームから
message = リファラは今でも一般的です。ログ汚しなどとんでもない。ないクローラーは逆に弾くことが多いです。サニタイズ脳((c)高木先生)なのでは?
だそうです。