Hallo,
ich versuche seit einiger Zeit die Analyseergebnisse für eine Seite zu Optimieren, die ihre Daten aus dem log-analytics Plugin bezieht.
Hierbei dreht es sich im Endeffekt darum, dass ich der Auffassung bin, dass über die Log Analyse sehr viele Bots mitgetrackt werden.
In ersten Versuchen habe ich erst mal die Bots über -enable bots mit hochgeladen, wodurch ca. 250.000 Visits generiert wurden über einen Zeitraum von 6 Monaten. Durch das entfernen des Zusatzes hat sich die Zahl der Visits bereits auf ca. 200.000 reduziert. Im Anschluss habe ich die Bots wieder enabled und über das Plugin BotTracker mit einer selbst erstellten Liste über 250 Bots wieder herausgefiltert, was zu ca. 180.000 Visits geführt hat.
Nun vermutete ich allerdings, dass weitere Bots auf der Seite aktiv sind, da z.b. der am häufigsten getätigte Download die Datei robots.txt als Ziel hatte. nach einiger Recherche konnte ich keine Hinweise darauf finden, warum ein Mensch diese Datei aufrufen sollte oder wie er sie “versehentlich nebenbei” öffnen könnte, sodass ich gerne alle Visitor herausfiltern würde, die eben diese Datei herunterladen.
Eben hierbei bin ich leider auf ein Problem gestoßen.
Probiert habe ich es über einen Segment, bei dem ich folgende Einstellung getroffen habe:
Download URL does not cntain Seitenname/robots.txt
Dies führt jedoch dazu, dass sich die Ergebnisse drastisch reduzieren und ausschließlich Visitor angezeigt werden, die auch Downloads getätigt haben. Um dies aufzufangen habe ich folgendes als “oder” Bedingung eingeführt:
Action Type does not contain downloads.
Dies führt wiederum dazu, dass ca. 5.000 weitere Visits wegfallen, allem Anschein nach handelt es sich hierbei um Visits, bei denen ausschließlich die Robots.txt heruntergeladen wurde.
Im Downloadbericht ist die robots.txt nun auch als Download verschwunden, allerdings werden im Visitor Log weiterhin Visitors angezeigt, bei denen die robots.txt heruntergeladen wurde. Dies führt mich zur Annahme, dass die Datei zwar aus den Berichten entfernt wird, die entsprechenden Visitors, sofern sie weitere Aktionen durchgeführt haben jedoch weiterhin aufgenommen sind und ihre Aktionen betrachtet werden. Da ich die Bots jedoch weitestgehend vollständig herausrechnen möchte, wäre es mir am liebsten, wenn die kompletten Aktionen des Visitors nicht gezählt würden.
Ich habe noch viele weitere Einstellungen ausprobiert und verschiedene Regeln eingesetzt, konnte dieses Problem jedoch nicht umgehen und würde mich freuen, wenn jemand einen Lösungsansatz hat um ein besseres aussortieren zu ermöglichen.
Vielen Dank im vorraus.