RealPlayerで酷い目に遭った Mini-ITXを使ってみた。
8 月 28

googlebot

未分類

web管理も含めてサーバー機器自体を丸ごと管理している人って苦労が多いですよね

最近あったことです
始まりは26日の日曜の朝方
正確には気付いたのがその頃ってことでして

いつものようにサーバーをリモートでチェックしたら反応がいつもと違うんです
でも、パソコンからwebで見たら特に異常も無く不思議
こんな時って何かあるんですよね 虫の知らせ っていうのかな
何かしら攻撃されている気がする

その後、落ち着いてからlogを細かくチェックしていくと
んー なにやら 相変わらず 不正アクセスが多いです
これも、いつものことなんですけど
気になるのがあればファイアーウォールで弾く設定を追記します
多くの場合、危険度が高いものは自動で弾いてみたり色々です

そんな感じで日曜なのに早い時間から仕事してました
そして3つほど接続禁止設定をしておきました

ところが、しばらくしてgoogleから通知が届きました
内容はサイトへアクセスできないとのこと
これはgooglebotがサイトにアクセスできないという内容のものです
DNSエラーとはまた違ったものです。

以前にも禁止していたアドレスの中にgooglebotが使っているアドレスが含まれていて検索サイトからインデックスが削除された経験があります。

それ以来、禁止設定をする前に調べた上で行っていたのですが
見事にgooglebotのクローラーに合致したアドレスを禁止していました。
しかもサーバーのlogにはwebではなくてftp接続として記録されていたものです
webのアクセスログではなくてftp接続としてリストされていたので まさか? って思いました。

googlebotは不定期でアドレスが変更になると書かれています
そのため事前に何かできることは無いと思いますしwebではなくてftpのポートへ何故?
妙に不自然さを感じます

弾く設定を行ったのは
   66.249.67.70
これに対して 66.249.0.0/16  一回目の設定
 この状態だと今日はgooglebotがアクセスできません

続いて 66.249.67.0/24  2回目
 幾つかのサイトは受け付けるようになりました。

今更ですが、ここでもう少しまじめにチェックする気になりまして
今テスト中の(この間のXS36V)Linuxからdig(windows機だとnslookup)をしてみましたところ
  crawl-66-249-67-70.googlebot.com
なんてこった そのものではないか
 ※これ以外にも多数のアドレスをgoogleは使っています。 公表して欲しいな

これじゃ確かにgooglebotが入れないはずだな
しかし、なぜftpなんだ???
logにはftp接続で不正のため拒否と記録されている
謎は深まるばかり

この事についてのgoogleからの通知に対する問題は特定できたからいいとしても
今年に入ってから、DNS攻撃が増えている気がします

どこぞの本のタイトルじゃないけど
  システム管理者の眠れない夜 なんだな

boss

written by boss