Das große Krabbeln: Was ist denn bitte Crwaling?
Für alle Fans der amerikanischen Band Linkin Park: Mit Crawling ist nicht etwa einer der bekanntesten Songs der alternativen Rock-Musiker gemeint. Wobei sich das Prinzip des Crawlings aus Marketing-Sicht zumindest im Beginn mit einer Zeile des besagten Liedes beginnen lässt:
Crawling in my Skin – zu deutsch: Krabbeln in meiner Haut …
Bei Crawlern handelt es sich nämlich um kleine Bots – auch Spider, also Spinnen genannt. Sie sind wahrlich fleißige Helferlein, die sich auf Websites tummeln und Daten sammeln. Besser haben als brauchen, ist das Motto der Bots. Natürlich lässt sich dieses Motto aber vom Herrn der Spinnen, nämlich vom Urheber der Crawler, genauer definieren. Manchmal kann es sogar ziemlich persönlich werden, denn manche Crawler speichern sensible Daten.
Dies wäre weniger ärgerlich, würden diese gesammelten Daten nicht an andere Anbieter weiterverkauft. Genau wegen dieser Sammlung an Daten nämlich, erhalten manche Menschen Anrufe, Nachrichten und Mails auf ihren Smartphones von Nummern, die uns suspekt und unbekannt sind.
Fernab dieser fragwürdigen Nutzung von Crawling-Daten, sind diese aber vor allem für Marketing-Maßnahmen nicht nur sinnvoll, sondern sehr nützlich. Wie könnte man besser checken, wo man mit seiner Website steht, was es zu verbessern gilt und was durch Anpassungen auf gut beziehungsweise besser läuft?
Man muss gestehen:
Die Kommunikation der kleinen Krabbler ist recht unverblümt und zeigt direkt Mängel einer Website auf, was vor allem dann schmerzt, wenn man sie über die eigene Website kreuchen lässt. Doch nur so können Anpassungen vorgenommen werden, die zu besseren Ergebnissen führen – vor allem zu einem verbesserten Ranking auf Suchmaschinen wie Google.
Das Prinzip ist einfach:
Umso höher ein Unternehmen bei Google gelistet ist (Ranking), desto eher klicken Interessenten auf die Website. Wer hat schließlich schon Lust, auf Seite acht der Google-Vorschläge fündig zu werden?
Ein regelmäßiges Crawling der eigenen Website hilft dabei, die effektivsten Verbesserungen vorzunehmen und so im besten Fall zu einer höheren Conversion-Rate zu gelangen. Dies bedeutet nichts anderes als den direkten Klick auf eine Website, und danach den Service oder die Produkte eines Dienstleisters in Anspruch zu nehmen.
Die technischen Krabbler sind über diverse Tools verfügbar. Begibt man sich in die Welt des Crwalings sollte auf diese Dinge unbedingt geachtet werden:
Vertrauliche Daten haben im Index einer Website nichts zu suchen, denn hier gilt es an den Mitarbeiter- und Unternehmensschutz zu denken. Sollte dies nicht zu vermeiden sein, sollten sensible Daten mit dem Tag „noindex“ entweder schon während der Programmierung oder nach dem Anlegen der Website-Struktur für die zu schützenden Daten angelegt werden. Dabei gilt: Immer schön das Crawl-Budget im Auge behalten. Dieses stellen Suchmaschinen jeder Website in einem bestimmten Kontingent zur Verfügung.
Man sagt ja: „Die Spinne hat mehr Angst vor dir als du vor ihr!“ Ob das wohl so richtig ist? Denn diese kleinen Spider-Bots sind schon ganz schön clever …
