Problem beim LogFile Import

Deutschsprachiges Forum (German)
1

Hi,
ich versuche mit folgendem Script einen Logfile zu importieren :


python /srv/www/htdocs/piwik/misc/log-analytics/import_logs.py --url=http://10.2.0.66/piwik /srv/www/htdocs/piwik/log_files/fresenius-netcare.de-access_log20120730.log
--idsite=2 --recorders=4 --enable-http-errors --enable-http-redirects --enable-static
--enable-bots

er wirft dann ein Ergebnis aus , dass jeweils 0 Zeilen etc. importiert worden sind. Eine Fehlermeldung erscheint nicht, es wird einfach nichts importiert.
Hab es auch ohne Variablen getestet und mit anderen Logfiles.
Wo könnte der Fehler liegen ?

Grüße
Dennis

2

Hallo,

könntest Du mal ein paar Zeilen des Logifiles hier parsen (IPs bitte unkenntlich machen!)?

Grüße

3

gibt es denn eine Konvention wie die LogFiles aussehen müssen? Wenn ja wäre es nicht gut dies in dem Wiki Beitrag zu veröffentlichen?

4

Die gibt es und diese sind im Log-Import Skript auch integriert (Apache, Nginc, IIS,…). Es kann aber auch passieren, dass das Logfile / die Einstellung sich nicht an die Standardkonfig hält / geändert wurde. Daher gibt es auch eine manuelle Einsteuerung (Parameter) für das Log-Format.

Hier wäre es, wie gesagt, interessant, einen kleinen AUsschnitt aus dem Logfile zu sehen.

5

Hallo,

hier mal ein paar Zeilen aus einem unserer Access LOG Files


xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:01:15:19 +0200] "GET /robots.txt HTTP/1.1" 404 5648 "-" "-" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:01:15:20 +0200] "GET / HTTP/1.1" 200 6124 "-" "rbbot" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:02:27:26 +0200] "GET /robots.txt HTTP/1.1" 404 1859 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:02:27:26 +0200] "GET / HTTP/1.1" 200 1768 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:02:39:10 +0200] "GET /20.htm HTTP/1.1" 200 2273 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:02:48:06 +0200] "GET /24.htm HTTP/1.1" 200 2282 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 ( .NET CLR 3.5.30729)" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:02:58:24 +0200] "GET /79.htm HTTP/1.1" 200 2740 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 ( .NET CLR 3.5.30729)" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:03:24:25 +0200] "GET / HTTP/1.1" 200 1768 "-" "Sosospider+(+http://help.soso.com/webspider.htm)" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:03:51:36 +0200] "GET /robots.txt HTTP/1.1" 404 5648 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:04:09:15 +0200] "GET /46.htm HTTP/1.1" 200 2566 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:04:31:57 +0200] "GET /146.htm HTTP/1.1" 200 2671 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 ( .NET CLR 3.5.30729)" "-"
xx.xxx.xx.xxx xxxxxxxxx-xxxxxxx.de - [02/Aug/2012:05:00:27 +0200] "GET /45.htm HTTP/1.1" 200 2251 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.0; de; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 ( .NET CLR 3.5.30729)" "-"

Grüße
Dennis

6

und hier ein Auszug aus dem Error Log file


[Sun Jul 29 19:38:30 2012] [error] [client xxx.xxxx.xxx.xxx] proxy: error processing body, referer: http://www.xxxxx-.xxxxx.de/45.htm
[Sun Jul 29 19:38:30 2012] [error] proxy: dialog to [::1]:8009 (localhost) failed
[Sun Jul 29 21:51:19 2012] [error] [client xx.xx.x.xxxx] proxy: error processing body, referer: http://www.xxxxx-xxxxx.de/25.htm
[Sun Jul 29 21:51:19 2012] [error] proxy: dialog to (null) (localhost) failed
7

Was ist das für ein Feld hinter dem User-Agent? Dieses finde ich im referenz-Logfile nicht. Können Sie einmal probieren, ein kleines Beispiel-Logfile ohne das letzte “-” zu parsen?

Grüße

8

ja damit funktioniert es , wenn ich das letzte “-” rauseditiere

9

In der Apache-Konfiguration steht, was für daten für diesen Bereich vorgesehen sind, das würde mich interessieren, denn das habe ich so noch nicht gesehen. Um die bisher gesammelten Logs zu parsen, bitte im import_logs.py das Format anpassen, oder das eigene Format inkl. dem letzten “-” übergeben.

10

haben ein neues Format ins import script eingefügt, für den letzten Bereich, der die Probleme verursacht hatte, sind die cookie Daten vorgesehen.
unser neues Format schaut so aus :


_NCSA_LOG_FORMAT_WITH_COOKIE = (_NCSA_EXTENDED_LOG_FORMAT +
' "(?P<cookie>.*?)"')