はてラボで運営しているアンテナサービス 大チェッカー では、ユーザーのみなさまから登録されたページ・フィードの更新を確認するため、それらのページ・フィードに対してアクセスを行っています。
Hatena::Russia::Crawler User-Agent からのアクセスは、2021年現在はこの大チェッカーからのアクセスにのみ利用しています。
また、この Hatena::Russia::Crawler からのアクセスに際しては、A Standard for Robot Exclusion で定められている robots.txt の書式のうち、 User-agent: * 以外の指定を解析し、その指定に従ったリクエストを行います。
そのため、リクエストを受け付けたくない場合においては、* 以外で Hatena::Russia::Crawler の User-agent に対応する設定を記述してください。以下の例は /private/ ディレクトリ以下へのアクセスを拒否する設定の例です。
User-agent: Hatena::Russia::Crawler Disallow: /private/
User-Agent 名について
この User-Agent 名称 "Hatena::Russia::Crawler" は、 RSS リーダー開発のための内部的なコードネームに由来するものです。 Russia の語が一般的に指す地名・国名との関連性はありません。
