ネットのクローラ.学

livedoorブログからFC2ブログに引越しして以来、以前のlivedoorでは寄り付かなかったボット（Bot、クローラ・インターネットボット）が来ていることを知るようになった。いずれにも同じアクセス解析を仕込んでいたのだから、探知する機能に変わりは無いはずである。となれば、livedoorではボットが襲来している事をユーザーが知る以前に遮断していたのだろうか。あるいは、livedoorの記事はボットの餌として嫌われていたのだろうか．．．とも思うが、同じ餌(記事)なのだからそれはあるまい。
理由は兎も角として、FC2ブログではボットの周回サイクルが短いようだ。

21/01/01に引越しして以来「googlebot.com・search.msn.com・search.line-apps.com」の巡回を確認したが、先日から「ap-northeast-1.compute.amazonaws.com」なる物が来始めた。
ボットが回遊する事について是非論があるらしいが、俺的にはサッパリわからない。
ボットにより、サーバーの処理能力がダウンするとかしないとかも聞くが．．．

いずれにしても、招かざる客は寄り付かないようにした方が望ましかろうと考えた。
ググってみたら、FC2ブログに限定した記事としてもヒットする。また、AMAZONAWS.COMに関する情報も散見できた。

• FC2ブログ　アクセス拒否する方法

• FC2ブログで閲覧拒否などをする方法（禁止設定） - FC2ブログ 公式ちゃんねる

• 【ブログ】ホスト名によるアクセス拒否ができるようになりました（β版） - FC2総合インフォメーション

• [総集編] コメント機能について FC2ブログのマニュアル

<<巷の参考記事>>

• AMAZONAWS.COMからの不穏なスパム的？アクセスがやって来た - Webテク倉庫

• 迷惑なアクセス(その2) amazonaws.comの正体：ホームページ余話 - 倉金家ホームページ
• UserAgentからOS/ブラウザなどの調べかたのまとめ - Qiita
  

• 【FC2や「はてな」などレンタルブログサービス】荒らしコメントのIPアドレス特定方法と拒否のやり方│ブログのblog

• ブログ運営に欠かせないアクセス解析機能とは？FC2・アメブロ・はてななど各ブログの基本機能と合わせて比較！｜ferret

<<FC5ホームページ>>

• fc2 ホームページにアクセス制限をかける｜めも352

このボットなる物の行為を無断リンクに近いとして扱うか、それとも無視しておくか。

21/01/09、俺の利用しているIPアドレスが変わった事に気が付いた。

• Windows10のネットワーク接続で固定IPを入れるなら設定アプリのほうが柔軟性あり | パソコンりかばり堂本舗(21/01.10)

*.googlebot.com
*.search.msn.com
*.search.line-apps.com
*.compute.amazonaws.com
*support.embed.ly
Cincraw Crawler　http://cincrawdata.net/bot/
*.ap-northeast-1.compute.amazonaws.com
*.googleusercontent.com
google-proxy-*
*.google.com
.bc.googleusercontent.comはスパム？アクセス禁止方法を解説 ｜ PHPラボ
Googlebot かどうかの確認 | Google 検索セントラル  |  Google Developers
サイトにアクセスしてきたクローラー・botの情報まとめ – Cosmos and Chaos
*.msd.spmode.ne.jp
spモード (sp49-98-133-248.msd.spmode.ne.jp) 49.98.133.248

※21/05/11夕、botのアクセスを感知するように変更する。
※21/05/12夕、前記変更を取り止め、

ICC-Crawler - ユニバーサルコミュニケーション研究所
BingPreview
Googlebot
support.embed.ly
googlebot.com
Googlebot-Image
oBot
HubSpot Crawler
bot

bc.googleusercontent.com
困ったものだ！bc.googleusercontent.com - ムーングレイ/moongray
.bc.googleusercontent.comはスパム？アクセス禁止方法を解説 ｜ PHPラボ
皆声.jp　クローラー
122x221x26x236.ap122.ftth.ucom.ne.jp[122.221.26.236] Mozilla/4.0 (compatible; RSSCrawler/1.00; ja; http://minakoe.jp/)

Google Developers Japan: Chrome の User-Agent 文字列削減のオリジン トライアルと今後の計画について(21/09/22)
GooglebotのIPアドレス一覧をGoogleが公開 | 海外SEO情報ブログ(21/11/12)

• Googlebot の IP アドレス
• そのほかのサービス/プロダクトで Google が使用している IP アドレス

過去記事:ネットアクセス識別メモ / IPアドレス履歴 / API キー控え /

• 検索エンジンのロボットとユーザーエージェント
• Bingのサービス
  

Bingbotとは - Visitor Analytics

Bingは5つの主要なクローラーを操作します。

• Bingbot。サイトのクロールとインデックス作成を担当する標準のクローラー
• MSNBot。Bingbotの前は標準のクローラー
• MSNBot-メディアBing検索エンジンのクロールされたサイト全体で画像とビデオを処理するクローラー。
• AdIdxBot。Bing Adsが広告をクロールし、品質管理の目的でそれらの広告からリンクされたWebサイトにフォロースルーするために使用するクローラー
• BingPreview。ページスナップショットの生成に使用されるクローラー

Google クローラの概要（ユーザー エージェント）  |  Google Developers

URL: https://www.visitor-analytics.io/ja/%E7%94%A8%E8%AA%9E%E9%9B%86/b/%E3%83%93%E3%83%B3%E3%82%B0%E3%83%9C%E3%83%83%E3%83%88/ © Visitor Analytics

Windows 10弄りメモ

23/01/08追記

Bingbotとは - Visitor Analytics
User Agent暗号プロトコル辞典 [Microsoft Bing] - Apache 2.4系でHTTP/2対応サーバを構築してみるテスト。
クローラ巡回拒否対策＆検証方法 - Qiita
検索エンジンクローラ一覧（2022年8月時点） - SEMリサーチ/

【2023 年】主要ウェブクローラー11選（＋SEOツールのクローラー）(23/02/16)
検索エンジンクローラ一覧（2022年8月時点） - SEMリサーチ

過去記事:本FC2ブログ改装録.新 / ネットのクローラ.学 / 「Firefox」のUA文字列

• サイトにアクセスしてきたクローラー・botの情報まとめ – Cosmos and Chaos
• ChatGPTのウェブクローラはGPTBot。robots.txtでブロック可能
• GPTBot - OpenAI API
  

23/10/01、Applebotの巡回を確認

• Applebot について - Apple サポート (日本)

もしかして

googleusercontent.comとは

• 不審な「googleusercontent.com」は、Googleではない？
• .bc.googleusercontent.comはスパム？アクセス禁止方法を解説 ｜ PHPラボ
• 「googleusercontent.com」からの不正アクセスにご注意を　2020年5月13日（追記あり） - 和歌山底辺　気まぐれブログ
  

関連記事:ネットのクローラ.学 / robots.txt:学 / Applebotの巡回を確認 / ChromeのUA文字列.学 / 生成AIは、対手を知る / ユーザーエージェント / Cookieブロック始まる

関連記事

• メールアプリの不調-解決 (2023/12/04)
• Microsoft Defenderメモ (2023/11/30)
• アバスト（Avast）.学 (2023/11/29)
• スタートアップ.設定 (2023/11/28)
• \Internet Explorerの削除? (2023/11/28)