Wie Suchmaschinen Daten sammeln

Wenn Ihre Webpräsenz einen ernsthaften kommerziellen Hintergrund hat, möchten Sie natürlich so viele potentielle Kunden wie möglich anlocken. Um von Suchmaschinenbenutzern gefunden zu werden, muss Ihre Webpräsenz aber zunächst einmal in den Suchmaschinen erfasst sein, in denen sich Webnutzer auch täglich bewegen und über entsprechende Suchbegriffe suchen. Klingt logisch… wie kommt man aber „in eine Suchmaschine“?

Nicht nur für die „Anmeldung“ von Seiten in Suchmaschinen sollten Sie ein wenig über die Arbeitsweise von Suchmaschinen wissen, sondern vor allem zum Verständnis dafür, warum bestimmte Techniken oder Rahmenbedingungen gefordert werden, um Inhalte für Suchmaschinen zu optimieren. Um die Arbeitsweise von Suchmaschinen zu verdeutlichen, soll hier als erster Schritt gezeigt werden, wie eine Suchmaschine Informationen im Internet einsammelt.

Die Erfassung von Seiten durch Suchmaschinen wird auch als „Indexierung“ bezeichnet, weil die Seiten erstens in den „Index“ – den Suchindex der Suchmaschine – übernommen und zugleich auch „verschlagwortet“ werden, indem die für eine Suchmaschine erkennbaren Begriffe nach verschiedenen Kriterien gewichtet werden – in welcher Form diese Gewichtung abläuft und welche Auswirkungen dieses Gewicht hat, soll für diese Einleitung in die Arbeitsweise erst einmal vernachlässigt werden. Auch sind die Verfahren und Auswirkungen in einzelnen Suchmaschinen durchaus unterschiedlich; das Prinzip ist aber überall gleich.

Grundsätzlich sollte also Ihre Internetpräsenz möglichst von allen großen Suchmaschinen „gut gefunden“ werden. Aber wie arbeitet so eine Suchmaschine und wie müssen Ihre Webseiten aussehen, dass sie von den Suchmaschinen gefunden wird?

Fleissige Datensammler

Suchmaschinen arbeiten mit besonderen Programmen – „Robots“, auch „Crawler“ oder „Spider“ genannt, weil diese spinnengleich „durch das „Netz krabbeln“ – welche das Web nach neuen oder geänderten Seiten und Inhalten durchfortsten. Diese Robots tragen alle unter einer Internetadresse gefundenen Inhalte zusammen. Verwertbarer Text; Details zu Formatierung, „Gewicht“ und räumlichem Abstand der Begriffe zueinander und die zugehörige Internetadresse werden (über ebenso hier zu vernachlässigende Umwege) in einer großen Datenbank abgespeichert… die wiederum auch nicht wirklich „eine große Datenbank“ ist. Zum Verständnis reicht aber die Vorstellung, dass es eine einzige Datenbank und einen einzigen Suchindex dazu gibt.

Anhand verschiedener Kriterien wird vom Robot – dem Datensammler – allerdings vorab schon entschieden, ob die Daten überhaupt aufgenommen und gespeichert werden. Je nachdem, wie wichtig der Suchmaschine die Webpräsenz und die zugehörigen Verlinkungen erscheinen, werden die Teile der Webpräsenz aufgenommen oder verworfen bzw. deren Erfassung auf später verschoben.

Wann werden meine Inhalte abgeholt?

Ob und wann neue Inhalte – oder Änderungen an bereits in Suchmaschinen bekannte Texte – von einer Suchmaschine wahrgenommen werden, kann zwar durch bestimmte Anreize und Techniken beeinflusst werden; schlussendlich entscheidet aber die Suchmaschine selbst über den genauen Zeitpunkt. Sie haben sicherlich schon mal gehört oder gelesen, dass Suchmaschinen wie Google bestimmte Domains lieben und andere eher selten besuchen. Das liegt an zahlreichen Faktoren wie

• dem Gesamtinhalt der Domain
• deren Alter und „Historie“ der Informationen
• Aktualisierungsrate
• „Suchmaschinenfreundlichkeit“ der Inhalte
• „Performance“ bereits bekannter Seiten in Suchergebnissen
• uvm.

Speziell der Punkt der Performance ist zwar schwer auf den ersten Blick nachvollziehbar, bedeutet aber nichts anderes, als dass Seiten, die zu bestimmten Suchbegriffen bereits viele Klicks erhalten haben, bessere Chancen in den Suchergebnissen haben als andere – und das eine Domain, die viele solcher Seiten bietet, auch oft und gern von Suchmaschinen besucht wird (vergessen Sie die Idee, die Ihnen gerade gekommen sein mag: Das schaffen Sie weder allein noch mit der Hilfe vieler Freunde!).

Wenn das nun klingt, als würde auch hier eine Zweiklassen-Gesellschaft herrschen, in der die Klickreichen immer klickreicher werden, dann ist das leider nicht ganz von der Hand zu weisen… Zum Glück gibt es aber mehr als nur dieses eine Kriterium; Aktualität, Themenauswahl, Einzigartigkeit der Inhalte und viele andere Dinge gehören ebenfalls dazu. Alle zusammen bilden einen „Einflussfaktor“, den eine einzelne Seite aus Sicht einer Suchmaschine hat. Eine Ebene darüber summiert sich dieser Wert für alle Seiten und die oben genannten weiteren Faktoren zu einer „Gesamtkraft“, die eine Webpräsenz entwickelt, um Einfluss auf Suchergebnisse nehmen zu können.

Eines der wichtigsten Messinstrumente für die „Kraft“ einer Seite, die auch oft mit dem Begriff „Relevanz“ umschrieben wird. Die Relevanz der einer einzelnen Seite aus Sicht der Suchmaschine Google wird in einem so genannten PageRank gemessen. Dieser PageRank ist ein Indikator dafür, wie viele Webseiten mit hoher Gewichtung auf die eigene Webseite verweisen – dazu in einem eigenen Beitrag mehr.

Woher aber bekommen Google und die anderen Suchmaschinen überhaupt mit, dass es unter der Adresse xyz irgendwelche Daten im Web gibt? Lesen Sie dazu mehr im Beitrag über die Sammlung von Links durch Suchmaschinen.