Als Crawler werden Programme bezeichnet, die wie Roboter das Internet durchforsten. Dies tun sie, indem sie durch Links von einer zur nächsten Website gelangen. Google benutzt Crawler zum Beispiel, um jede einzelne Website genau zu analysieren.
Mittlerweile gibt es bereits Dienstleister, die eigene Crawler Programme geschrieben haben und diese als SEO Maßnahme anbieten. Der Crawler durchforstet wie Google die Homepage und sucht dabei nach Dingen, die für Suchmaschinen optimiert werden können.
Anschließend können die Daten genutzt werden und SEO Maßnahmen eingeleitet werden. Zum Beispiel eine geringere Keywordddichte oder die Behebung einer falschen Verlinkung.
Xenu
Xenu ist eines der ältesten Programme zur Analyse von Websiten. Es zeichnet sich vor allem durch die einfache und schnelle Anwendung aus. Innerhalb kürzester Zeit sind die Daten gewonnen und können kinderleicht in eine Excel Tabelle übertragen werden.
Screaming Frog Spider SEO
Bei diesem Programm handelt es sich um etwas Spezielleres. Eine kostenlose Variante lädt bis zu 500 Objekte und läuft dann aus. Die Vollversion ist für etwa 125 Euro erhältlich. Neben der allgemeinen Analyse bietet das Tool weitere, nützliche Features. Es können beispielsweise vom Benutzer definierten Inhalte auf der Website gesucht werden. Somit ist es möglich, wirklich jedes Detail hundertprozentig zu optimieren. Das ideale Programm zur Fehlersuche.
Der SEO Crawler
Für seine Einfachheit ist der SEO Crawler bekannt. Er liefert in kürzester Zeit wertvolle Daten und ist zudem einfach in der Bedienung. Das Programm eignet sich für eine schnelle, grundlegende SEO Optimierung.