Piwik misst nur die Zeit zwischen den Aufrufen der verschiedenen Unterseiten. Wenn jemand deine Seite besucht und keinen weiteren Unterpunkt anklickt, dann hat Piwik keine Daten wie lange der Besucher die Seite geöffnet hatte.
Was die direkten Seitenaufrufe betrifft, gehe ich davon aus, dass du viele Besucher hast die deine Seite noch in einem eigenem Tab geöffnet lassen und der Browser diese beim nächsten Neustart auch wieder neu abruft. Ab einem bestimmten Zeitabstand wird ein Seitenaufruf als neuer Besuch gewertet. (Eine angebliche Besuchslänge von mehreren Tagen würde dir ja auch nichts bringen.) Daher dann viele direkten Seitenaufrufe mit Null Sekunden.
Wenn dich das zu sehr stört, gibt es (so weit ich weiß) auch eine Javascript-Lösung, mit der auf der Seite dann alle paar Sekunden an Piwik ein Signal gegeben wird, um auch bei einzelnen Seitenaufrufen eine Zeitmessung zu haben. Das habe ich aber selbst nie ausprobiert.