Robots (auch Spider oder Crawler genannt) sind Programme, mit deren Hilfe Suchserver ihre Datenbasis (Index) generieren. Sobald eine Webseite bei einer Suchmaschine angemeldet wird, beginnt ein Robot, diese zu besuchen und die dort bereitgestellten Informationen zu indizieren.
