クローラーの概要

読み: くろーらー 英語名: crawler

クローラーとは、世界中のWebページの内容を自動的に収集するプログラムのこと。Webサイトを這う=クロールすることからこの名前がついた。また、「ボット」、「ロボット」、「スパイダー」とも呼ばれている。
検索エンジンのデータベースやインデックスの作成などに用いられており、データベースに収録されていないWebページを発見して、それを追加登録してデータベースを更新する。クローラーがアクセスできるWebページやファイルは、その情報を発信する者の許可を得ることなく、自動的にデータベース化されて検索に引っかかるようになる。
検索サイトに公開したくないWebページを開設している人は、アクセス制限を設定するなどの注意が不可欠。近年は、Webページ作成者の多くがGoogleクローラーを意識したWebサイトの構築を心がけている。

2014年03月07日 更新


最近見た用語