クローラーとは
検索サイトが世界中のWebサイトをクローラー（ロボット）を使って閲覧し、情報を収集していることは、SEO対策とはでご説明しました。このロボットのことをクローラーと呼びます。クローラーはどの様にして、Webサイトの情報を収集してゆくのでしょうか？
クローラーの働き
Googleでは、このクローラーのことをGooglebotと呼び、何千台ものコンピューターを使い役割分担してサイトを閲覧し、情報をインデックスしています。 インデックスと呼ぶのは、検索の際に、「目次」となる情報を作っているからです。
では、どの様にインデックスされるのでしょうか？
サイトの内容は、まず単語に分けられ重要度が決定された上で中間コードに変換されてインデックスされます。 これにより、このページの位置(URL)と含まれるキーワードとその重要度がページランクなどの情報とともにデータベースに記憶されます。 クローラーはページにある他のページへのリンク情報も取得しながら、このリンクを辿り、次々とページをクロールしてゆきます。この際おおもとになるのが、サイト管理者から送られるサイトマップ情報であったり、サイト間のリンク情報ということになります。 こうしてインデックスされた情報は、検索要求があると参照され、ページに含まれるキーワードの重要度やページランクの順にリストが作られることになるのです。
ちなみに、日本ではYahooもGoogleの検索エンジンを使っていますので、Googlebotの収集する情報で、大半の検索サイトをカバーすることになります。
正しくクローラーに伝える
ホームページやWebサイトを制作する際に重要なのが、このクロールの際に、制作側が意図したキーワードとその重要度を正しくクローラーに伝えることになります。Webサイト構成のルールや記述言語であるHTMLやCSSが正しく使われていないと、正しく伝えることが出来ないどころか、ペナルティーを課せられることもあるのです。
東京都・神奈川県周辺でSEO対策をご検討されている方は、CREATIVE BRAINSへご依頼ください。既存のホームページ・Webサイトに対するSEO対策コンサルティングも承っておりますので、是非お任せください。
