Webクローラについて

１）robots.txt に従います
認識するのは、"User-agent:"、 "Disallow:"、 "Allow:" です。 　　robots.txt の書き方については、 こちらを 参照してください。

２）META TAG による収集制限に従います
認識するのは、"NOFOLLOW"、 "NOARCHIVE"、 "NOIMAGEINDEX"、 "NONE"、 "FOLLOW"、 "INDEX"、 "ALL"、 "NOSERVE"、 "SERVE"、 "ARCHIVE"、 "NOIMAGECLICK"です。 　　META TAG の書き方については、 こちらを参照して下さい。

３）同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません
これは、複数のドメイン名を持つ Webサーバに対しても同様です。ある Webサーバが、A と B という二つのドメイン名を持っていても、A と B に同時に接続する事は致しません。

４）適切な間隔で収集します
収集間隔は状況によって変更されますが、動画等のファイルを収集した後は、長めに間隔をあける等の制御を行っています。

５）その他
その他、ichiro に関するご質問はヘルプデスクまでご連絡下さい。

下記の要領でご連絡頂けると、回答をより早く差し上げることができますので、ご協力をお願いします。
・件名には「[ichiro]」とご記入ください。
・お問い合わせ事項を本文にお書きください。

１）クローラのIPアドレス

210.165.39.36
210.165.39.37

２）ユーザーエージェント
WakameCrawler/0.01(+http://help.goo.ne.jp/door/crawler.html)

３）robots.txt に従います
認識するのは、"User-agent:"、 "Disallow:"、 "Allow:" です。

４）META TAG による収集制限に従います
認識するのは、"NOFOLLOW"、 "NOARCHIVE"、 "NOIMAGEINDEX"、 "NONE"、 "FOLLOW"、 "INDEX"、 "ALL"、 "NOSERVE"、 "SERVE"、 "ARCHIVE"、 "NOIMAGECLICK"です。
　　META TAG の書き方については、 こちらを参照して下さい。

５）適切な収集間隔
同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません。
また収集間隔は状況によって変更されますが、同一ホストに対して概ね数秒程度 の間隔をあけるよう制御を行っています。

６）その他
その他、wakame に関するご質問はヘルプデスクまでご連絡下さい。

下記の要領でご連絡頂けると、回答をより早く差し上げることができますので、ご協力をお願いします。
・件名には「[wakame]」とご記入ください。
・お問い合わせ事項を本文にお書きください。

１）ユーザーエージェント
gooblogsearch/[バージョン]
例：gooblogsearch/2.0

２）robots.txt に従います
認識するのは、"User-agent:"、 "Disallow:"です。

３）META TAG による収集制限に従います
認識するのは、"NOINDEX"です。