Ok, habe es gelöst. Ich habe gelernt (Invalid log lines with common_complete log format · Issue #197 · matomo-org/matomo-log-analytics · GitHub), dass man 2x --debug angeben kann um angezeigt zu bekommen was ihn genau stört (Ist das irgendwo dokumentiert?). Danach war es recht einfach, man muss einfach ein Datumsformat angeben welches die Millisekunden enthält 
Um erfolgreich haproxy Logs zu importieren benötigt man also folgende 2 Optionen:
--log-format-regex='.*:\ (?P<ip>[\w*.]+).*\[(?P<date>.*)\].*\ (?P<status>\b\d{3}\b)\ (?P<length>\d+)\ -.*\"(?P<method>\S+)\ (?P<path>[\S]+).*' --log-date-format='%d/%b/%Y:%H:%M:%S.%f'