ZeitungSeit Anfang Juni ist die neue Microsoft-Suchmaschine Bing am Start und in meinem Juli-Rückblick habe ich sie mit immerhin 124 Treffern gelistet, daß heißt, 124 Besucher haben etwas mit Bing gesucht und sind von einem Treffer bei mir gelandet.
Etwas seltsam kam mir allerdings vor, daß der Anteil der Nicht-Bildersucher ungewöhnlich hoch war. Die übergroße Mehrheit kommen erfahrungsgemäß, egal mit welcher Suchmaschine, über die jeweilige Bildersuche auf eine meiner Seiten. Bei der normalen Textsuche habe ich kaum Treffer.
Das Verhältnis Text/Bild ist z.B. bei Google 1669/29880 (0,056), bei AOL 9/77 (0,117), bei Yahoo 39/98 (0,438), bei Bing aber 57/67 (0,851). Sollten Bing etwa meine Texte besser gefallen, als meine Bilder?
Bing von Anfang an
Um der Sache auf den Grund zu gehen, habe ich eine Statistik ab dem Start von Bing erstellt. Seit dem 03.06.2009 13:25 Uhr, dem ersten Treffer (Bildersuche), bis zum heutigen Tage kamen 445 Besucher von Bing und das Erstaunliche daran ist, daß es 298 von der normalen Suche aber nur 157 von der Bildersuche sein sollen. Da stimmt möglicherweise was nicht und so habe ich mir die Logfile-Einträge mal näher angesehen.
Da die Ergebnisse der Textsuche auch bei Bing noch klassisch seitenweise mit 10 Treffern je Seite ausgegeben werden, müßt ja bei Suchbegriffen, mit denen ich bestimmt nicht auf der ersten Seite zu finden bin, der Seitenparameter mit auftauchen. Bei Google ist es start=, bei Bing heißt der Parameter first=. Für die Suche nach gurke sieht das dann beispielsweise so aus:
http://www.bing.com/search?q=gurke&first=51
Meine Gurkenseite ist im Monent grad zwischen Position 51 und 60 zu finden. Wenn der Parameter first= fehlt würde das bedeuten, mein Seite wäre auf der ersten Treffreseite zu finden gewesen.
Seltsamerweise finden sich unter anderem solche Einträge in den Logdateien:
http://www.bing.com/search?q=google http://www.bing.com/search?q=reise http://www.bing.com/search?q=zeitung
Demnach müßte ich für diese, nun ja, im Web nicht gerade seltenen Begriffe mit einem Treffer auf der ersten Seite zu finden gewesen sein. Das ist natürlich Unsinn, für google kommen erstmal gaaanz viele Google-Domains. Und auch für die Begriffe reise und zeitung bin ich nicht unter den ersten 1000 Treffern bei Bing zu finden. Wer hat nun aber so unplausible Einträge erzeugt?
Der MSN-Bot war es
Als nächstes hab ich nachgesehen, wer denn nun diese Aufrufe produziert hat, also von welcher IP-Adresse sie ausgingen. Und siehe da, ein DNS-Reverse-Lookup liefert z.B. dieses Ergbnis bei den letzten Treffern:
msnbot-65-55-110-183.search.msn.com msnbot-65-55-110-187.search.msn.com
Es gibt da noch ein paar mehr Adressen, die in den Logs auftauchen.
Der MSN-Bot selbst simuliert diese Anfragen, er ruft meine Seiten auf und tut so, als käme er von einer Suchergebnisseite von Bing. Er meldet sich übrigens mit dem Useragent „Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; …“ Nur warum tut er das, warum simuliert er Abfragen? Oder habe ich irgend einen Fehler in meiner Auswertung?
Wenn ich die ganzen virtuellen MSN-Bot-Suchtreffer rausnehme, ist auch die Welt mit meiner Statistik wieder in Ordnung :-) Es bleiben dann zwar insgesamt nur noch 256 Treffer übrig, aber das erwartete Verhältnis Text/Bild mit 34/222 (0,153) stimmt zumindest wieder.
Ist mir auch schon aufgefallen.
Womöglich macht der MSNBot das, um eventuelle Spielereien in der .htaccess besser umgehen zu können (gesperrte Useragents z.b.).
Genau weiß ich das aber nicht.
Das Phänomen gab es außerdem schon vor Bing. Damals noch mit search.msn.com soweit ich mich erinnere.
Gut möglich, daß das bei MSN-Search auch schon so war. Da habe ich es nur nicht beachtet oder wahrgenommen. War einfach zu unbedeutend :-)
Aber jetzt nach dem Start-Getöse für Bing und der Suchpartnerschaft mit Yahoo schaue ich schon mal genauer hin, was da so an Suchanfragen reinkommt.
suchmaschinen gehen so vor, um normale seiten zugriffe zu simulieren.
es ist sonst möglich den suchmaschinenbots seiten zu zeigen, die extra für diese erstellt wurden und vom benutzer eigentlich nicht gesehen werden, um eine besser plazierung zu erzielen, da anderer oder veränderter content vorkommt.
daher kommt es vor das suchmaschinenbots webseiten als bot oder als „user“ betreten und dann die gewonnen ergebnisse und gesichteten seiten abzuglеісhen
mfg mch
Mag ja sein, aber dann stellt sich der MSN-Bot zumindest nicht besonders geschickt an. Bei Google oder Yahoo ist mir sowas zumindest noch nicht aufgefallen.
Zudem würde es ja auch reichen, die Seite ganz ohne simulierten Referer aufzurufen, wenn man nur sehen will, wie sich die Seite einem normalen User präsentiert. Durch den nicht stimmigen Referer bin ich ja erst drauf gekommen.
Naja, dann sollte Bing/MSN mal ihre User-Simulation zumindest etwas technisch überarbeiten. Oder besser doch nicht, so kann ich wenigstens einfach die falschen Anfragen bei der Statistik aussortieren :-)