Ein Softwareprogramm, das automatisch das Web durchsucht und Websites analysiert. Web-Crawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder von anderen Informationen.
Ein Softwareprogramm, das automatisch das Web durchsucht und Websites analysiert. Web-Crawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder von anderen Informationen.