スパムよりスパム的

近頃、アクセスログのサイズがやたらと大きいです。 原因は以下の通りだと思います。

• らき☆すた壁紙 ブーム再来!?
• 検索エンジンの蜘蛛が異常

前者は何事でしょうねぇ。 なんで5ヶ月も経過した今さら? まあ、前者については特に構わないとして、厄介なのは後者。 当サイトのページ数について私自身が首を傾げてしまうほど、リクエスト数が半端ではないのです。 しかも、Yahoo!やGoogleなどの大手が毎日。 即日検索トップとかざらだわなぁ(汗)

さてどうしましょう。 アクセス拒否は論外。 あくまで蜘蛛を紳士的に振る舞わせる方法。 わからないので、さしあたり、蜘蛛へのレスポンスにExpiresを付けてみました。 意味あるのかなぁ? 2週間くらい様子を見てますが、微妙に効果があるような、誤差の範囲のような・・・

てゆーか、Yahoo!がしつこすぎなんです。 おバカなんです。 4ヶ月前に削除したページをいまだにリクエストするんです。 それだけならまだしも、PC用、DoCoMo用、SoftBank用など、色んなのを寄越すんです。 色んなのを寄越すということは・・・ 融通してないんでしょうね。 蜘蛛は「百度」のが賢いかもね(爆)

2007年 9月 14日 [この記事のURL] [コメント]