Entwicklung

End-to-End-Monitoring Tools im Vergleichstest!

Wenn man herausfinden will, wie sich die Performance einer Anwendung verhält, gibt es in aller Regel zwei Möglichkeiten. Variante A - man setzt Tester vor den Bildschirm und lässt sie wiederholt dieselben Klicks ausführen und misst die Performance im Hintergrund oder Variante B - man lässt diese Tests vollautomatisiert mithilfe geeigneter Software-Tools ablaufen. Wobei Variante B die im Enterprise-Segment deutlich häufiger anzutreffende Methode sein dürfte. Daher gehen wir der Frage auf den Grund, welche Tools diese Ansprüche erfüllen und wo spezifische Vor- bzw. Nachteile liegen.

 

Für die Messung nichtfunktionaler Anforderungen wie zum Beispiel Antwortzeiten oder Hardware-Dimensionierung - nichts anderes ist ein Performance Test - gibt es auch noch zahlreiche andere Werkzeuge im Application Performance Management. Bekannte Vertreter sind zum Beispiel JMeter, BMC EUEM. Wir beschränken uns auf den Vergleich zweier Software-Lösungen, die in der Praxis unterschiedliche Bedeutung haben.

David gegen Goliath - die Konkurrenten im Schnell-Check

Wie in der Sage vom Kampf der Philister gegen die Israeliten stehen sich in unserem Vergleich zwei sehr unterschiedliche Kontrahenten gegenüber. Zum einen „LoadRunner“, ein etabliertes Werkzeug von HP, das in die HP Business Service Management-Produktfamilie integriert ist. Der direkte Konkurrent heißt „Citratest“ und kommt von der auf Application Performance Management spezialisierten amerikanischen Softwareschmiede Tevron.

 

HP LoadRunner unterstützt vielfältige Protokolle wie HTML 5, .NET oder Java, es können aber auch GUI-basierte Anwendungen überwacht werden. Die Funktion im GUI-Monitorung und der damit einhergehenden Validierung der Anwendung durch Bitmap-Vergleiche basiert auf statischen Klicks mit Bildschirmkoordinaten. Diese sind jedoch anfällig für Pixelverschiebungen, Farbtiefenänderungen oder geänderter Auflösungen. Somit entsteht ein hoher Wartungs-/Kostenaufwand bei Oberflächenvergleichen.


CitraTest konzentriert sich ausschließlich auf die GUI und verarbeitet ebenfalls Bildschirminhalte und Anwendungen, die mit Tastatur und Maus bedient werden. Anders als LoadRunner sucht die Software jedoch nach festgelegten Bildausschnitten, unabhängig von deren Position und führt die Klicks relativ in den gewählten Bildausschnitten durch. Ebenfalls können Toleranzen für den Suchbereich oder die Farbtiefe festgelegt werden.

Live-Einsatz beim Kunden

Um den Test unter realistischen Bedingungen durchzuführen, sind wir bei unserem Kunden, einem großen deutschen Logistikunternehmen, aktiv geworden. Es soll eine Windows Terminal Server-Applikation überwacht und das Monitoring in Bezug auf die Wartungsaufwände optimiert werden. Um eine Vergleichbarkeit zu gewährleisten, wird ein fachlicher Testfall mit HP Loadrunner und Citratest verskriptet, sowie die Anbindung an eine Auswertungs-Software realisiert. Innerhalb der nächsten vier Wochen wird sich zeigen, wer in folgenden Kriterien die Nase vorn hat:

 

  • Zeitaufwand für Skripterstellung
  • Antwortzeiten
  • Fehlerquote
  • Wartungsaufwand
  • Usability des Testtools

 

Der Vergleich soll die Robustheit der Skripte gegenüber Änderungen der Applikationen aufzeigen - bei Beibehaltung des Status Quo im Reporting.

 

Es treten also zwei Software-Werkzeuge gegeneinander an, die dasselbe Ziel mit unterschiedlichen Systematiken verfolgen – die Performance der Anwendungen laufend zu überprüfen und verlässliche Aussagen über deren Zustand abzugeben. Sobald die Ergebnisse validiert sind berichten wir, wer sich wie in unserem Vergleich geschlagen hat.