Yahoo! Search Technology のクローラとインデックス更新について

Yahoo! Search Technology のクローラとインデックス更新について

Yahoo! Search Technology はデイリークロールとメインクロールの２つのクローラによりインデックスを運用管理しています。

■質問

Yahoo! Search Technology のクローラ巡回頻度やインデックス更新頻度について教えて下さい。

（質問者：回答）

■回答

Yahoo! の Tim Mayer がこの質問に答えていますので、彼の説明を話しましょう。Yahoo!の人間がお話することの方がより確実ですので。

Yahoo! は先日 Site Match と呼ばれる Paid Inclusion （ペイドインクルージョン）を開始しましたが、Yahoo! Search Technology のインデックスは基本的に随時インターネット上を巡回する Yahoo! Slurp crawler による”無料クロール”によって構築されます。

Yahoo! Search Technology のクロールはデイリークロールとメインクロールの２つに分類されます。メインクロールは１週間に２度、インデックスを増分追加でアップデートしつつ、デイリークロールにより頻繁に更新されるURLと新しく表れたWebページの情報を収集、インデックスに反映して行きます。

ということで、質問の答えとしては

クロール巡回頻度　頻繁に更新されるURLなら毎日、あるいはそれに準じる頻度、そうでなければ１～２週間に１回というところでしょうか。

なおペイドインクルージョンはこの無料クロールで構築されるインデックスを補完する目的で用意されているものです。インデックスの99% は無料クロールで、1% が Site Match によるペイドインクルージョンとなるそうです。