Hallo Leute,
seit einigen Tagen habe ich ein sehr hohes Traffic-Aufkommen aus den USA…alles per Safari-Browser (Linux). Meine Shop-Sprache ist deutsch…meine Domain ist .de…Werbung schalte ich per Facebook nur für den deutschsprachigen Raum…und die Zugriffe werden auch alle als Direktzugriffe angezeigt…kommen also nicht per Facebook-Werbung.
Hat jemand ne Ahnung was da läuft? Die aufgerufenen Seiten sind auch total unterschiedlich. Ist das evtl. eine falsche Zuordnung (Lokalisierung) der Zugriffe? Es wird auch immer nur eine Seite aufgerufen…jeweils von unterschiedlichen IP´s.
Kann mir keinen Reim drauß machen was da abläuft!?
Falls alle Englischsprachigen Nutzer in der USA angezeigt werden, liegt das daran, dass GeoIP/GeoIp2 nicht eingerichtet ist. Schau daher mal die Einstellungen dazu an.
Ich glaube aber eher, dass das Bots sind. Ich habe auf meinen eigenen Seiten auch schon einige Safari-unter-Linux-Nutzer gesehen und vermute, dass das damit zusammenhängt, dass seit einigen Versionen Chrome und Firefox headless verwendet können. Damit kann man auf einem Server ohne grafischer Oberfläche ganz leicht einen Crawler schreiben kann, der Chrome/Firefox verwendet und somit auch das Matomo-JS wie ein normaler Besucher aufruft.
Leider sind meine Webseiten zu klein für statistisch signifikante Aussagen und ich habe erst sehr vereinzelt derartige Aufrufe gesehen.
Hast du Zugriff auf das Serverlog? Kannst du den User Agent der Aufrufe dort herausfinden und hier posten? Schau auch nach, ob du zu den IP-Adressen etwas findest. Vielleicht kommen sie alle von AWS oder einer anderen Serverfarm.
gibt es denn da ein Tool, um dass zu prüfen…oder die IP´s einfach googeln? Was mir einfällt…bringt ja nichts, da ich ja seitens Piwik eingestellt habe, dass die IP´s anonymisiert werden!
Unter Linux einfach whois <IP> eingeben. Aber für mich klingt das auch sehr sehr doll nach Bots. Die einfache Gegenmaßnahme dafür hab ich da beschrieben:
Wobei das in dem Fall nicht wirklich viel bringt. Wenn der User Agent sich als Bot identifiziert, erkennt Matomo das und wenn nicht, kann eine Fail2Ban Regel es auch nicht erkennen.
# Fail2Ban configuration file
#
# Author: http://www.go2linux.org
#
[Definition]
# Option: failregex
# Note: This regex will match any GET entry in your logs, so basically all valid and not valid entries are a match.
# You should set up in the jail.conf file, the maxretry and findtime carefully in order to avoid false positives.
failregex = (?i)^<HOST> - .*"(GET) (?!.*\.css|.*\.js|.*\.gif|.*\.jpg|.*\.jpeg|.*\.ico|.*\.png).*HTTP\/.*
^<HOST> -.*"(POST).*
# Option: ignoreregex
# Notes.: regex to ignore. If this regex matches, the line is ignored.
# Values: TEXT
#
ignoreregex =
Jail
[http-get-dos]
enabled = true
port = http,https
filter = http-get-dos
logpath = /var/log/apache*/*access*log
# maxretry is how many GETs we can have in the findtime period before getting narky
maxretry = 300
# findtime is the time period in seconds in which we're counting "retries" (300 seconds = 5 mins)
findtime = 300
# bantime is how long we should drop incoming GET requests for a given IP for, in this case it's 5 minutes
bantime = 3600
banaction = iptables[name=HTTP, port=http, protocol=tcp]
Jetzt fällt mir was ein…habe mich vor 1 Woche bei “Webinterpret - Plug & Play International Ecommerce” angemeldet. Ist eine Art Übersetzungsdienst für Shop + Ebay + Amazon…habe mich erst einmal per Ebay verbunden.
Ich glaube Matomo sollte explizite Headless Browser ignorieren, da deren Besuche fast immer automatisiert sind.
Ich habe auch vor kurzem viel zu lange gebraucht um zu merken, warum hunderte Seitenaufrufe von meiner IP kommen, bis mir eingefallen ist, dass ich mithilfe eines Headless Chrome eine statische Kopie meiner single-page-application mache und somit alle URLs aufrufe.
