デフォルトでは、このコンテンツ・クローラは、自動クロールの設定が推奨されるページについて、Webサーバーの推奨値に従います。この推奨値以外の値を使用するには、「目的のサイトのロボット排除プロトコルに従う」チェック・ボックスの選択を解除します。
一般に、このような推奨値を設定することで、不要なコンテンツがポータルに取り込まれないようにできます。ただし、一部のサイトでは厳密な推奨値が設定されています。クローラがサイトからコンテンツをインポートしない場合は、このオプションの選択を解除してください。
デフォルトでは、このコンテンツ・クローラはWebサイトのソースで使用される場合、インポートされたWebページのURLを保存します。URLを小文字に変換するには、「すべてのURLを小文字に変換」を選択します。
あるWebサイトのエリアからコンテンツをインポートしないようにする、または特定のページをインポートしないようにするには:
インポートしないエリアを指定するには、
除外フィルタの追加をクリックした後、テキスト・ボックスに除外するWebサイトのエリアへのURLを入力します。
ワイルドカード表記（*）を使用すると、除外対象をより一般的に指定できます。たとえば、サイトの営業情報をクロールしない場合、http://mycompany.com*salesのように入力できます。これにより、このクローラでは、URLのどこかにsalesという単語が入ったmycompany.comのページは一切インポートされません。
注意: ワイルドカードは、テキストのどちら側にもあるものとして扱われます。たとえば、salesと入力した場合、クローラは、ターゲットURLからアクセス可能なあらゆるサイトのあらゆるページのうち、そのURLにsalesという語が入ったページをインポート対象から除外します。
重要:インポート対象からの除外と挿入（手順5を参照）の両方を指定した場合、除外は挿入対象のページにのみ適用されます。たとえば、salesを除外し、http://mycompany.comを挿入した場合、クローラは、URLのどこかにsalesが入ったページを除き、http://mycompany.comのすべてのページをインポートします。除外を削除するには、削除する除外のチェック・ボックスを選択して、
をクリックします。除外のチェック・ボックスをすべて選択または選択を解除するには、「除外」の左側にあるチェック・ボックスを選択または選択を解除します。
デフォルトで、このコンテンツ・クローラは除外で指定されたページをクロールまたはインポートしません。コンテンツ・クローラで、除外されたページのリンクから、除外されておらず、ページをインポートする必要があるページを選択する場合は、「除外されたページをクロールするが、インポートしない」を選択します。
クロールの対象をあるWebサイトのエリアまたは特定のページに制限するには:
このコンテンツ・クローラがクロールできる範囲を指定するには、
「挿入フィルタの追加」をクリックし、テキスト・ボックスに、クロールを許可するWebサイトのエリアへのURLを入力します。Webサイトには他のサイトへのリンクが含まれているので、場合によっては、挿入を指定してコンテンツ・クローラのクロール範囲を特定のサイトに制限する必要があります。他のサイトへのクロールを防止するため、挿入リストにはクロール対象のサイトのベースURLを、たとえば、http://mycompany.comのように指定します。
ワイルドカード表記（*）を使用すると、より一般的な挿入を指定できます。たとえば、シングル・サインオン（SSO）に関する情報のみをクロールする場合、http://mycompany.com*ssoのように入力します。これにより、このコンテンツ・クローラはmycompany.comのページのうち、URLのどこかにssoが入っているページのみをインポートします。
注意: ワイルドカードは、テキストのどちら側にもあるものとして扱われます。たとえばssoと入力した場合、コンテンツ・クローラは、ターゲットURLからアクセス可能なあらゆるサイトのあらゆるページのうち、そのURLにssoという語が入ったページをインポートします。
重要: 除外と挿入の両方を指定した場合、除外は挿入されたページにのみ適用されます。たとえば、http://mycompany.comを挿入し、ssoを除外すると、クローラは、URLのどこかにssoが入ったページを除き、http://mycompany.comのすべてのページをインポートします。挿入を削除するには、削除する挿入のチェック・ボックスを選択して、
をクリックします。挿入のチェック・ボックスをすべて選択または選択を解除するには、「挿入」の左側にあるチェック・ボックスを選択または選択を解除します。