Evaluierungsmethoden (EVALU)

Forschungsbefunde

Gappmaier/Häntschel berichten über die Evaluierung von Workflow-Management-Systemen (WFMS) u. a. Folgendes (Hypothesenprüfung in zwei Laborstudien an drei Softwareprodukten, Untersuchungszeitraum 1994-1995): Die Befunde erlauben die Schlussfolgerung, dass WFMS mit Laborstudien anhand betriebswirtschaftlich relevanter Kriterien, wie sie für Entscheidungen über den Technologieeinsatz in der Praxis verwendet werden, evaluiert werden können. Die Anforderungen, die an Laborexperimente gestellt werden müssen, konnten allerdings nicht voll erfüllt werden (z. B. konnte Objektivität, insbesondere Durchführungsobjektivität, nicht immer gesichert werden). Trotz dieser Einschränkung wird behauptet, mit Laborstudien Informationen über WFMS erarbeiten zu können, die mit gleicher Qualität mit keiner anderen Untersuchungsmethode gewonnen werden können. Es kann angenommen werden, dass diese Aussage auch für andere Softwareprodukte gilt.

Gappmaier, M. / Häntschel, I.: Die Evaluierung von Workflow-Management-Systemen in Laborstudien. In: Grün, O. / Heinrich, L. J. (Hrsg.): Wirtschaftsinformatik – Ergebnisse empirischer Forschung. Wien/New York1997, 63–77

Goldberg untersuchte die Anwendung der Fehlerbaumanalyse (FBA) in fehlertoleranten Systemen und erarbeitete eine Reihe von Anwendungsproblemen, u. a. die Schwierigkeit der Vorhersage der Fehlerwahrscheinlichkeit von Basisereignissen (Art und Zeitpunkt der Untersuchung nicht bekannt).
Goldberg, J.: A Survey of the Design and Analysis of Fault-Tolerant Computers. In: Proceedings of the Conference an Reliability and Fault Tree Analysis, Berkeley/CA 1974, 687-732

Fryer untersuchte die Anwendung der Fehlerbaumanalyse (FBA) bei Hardware-/Softwaresystemen; er bezeichnet die FBA als eine brauchbare Methode zur Bestimmung der Zuverlässigkeit von derartigen Systemen und sieht in der FBA insbesondere ein ergänzendes Instrument zum traditionellen Testen von Softwareentwürfen (Art und Zeitpunkt der Untersuchung nicht bekannt).
Fryer, O. M.: Risk Assessment of Computer Systems. In: IEEE Transactions on Software Engineering, Vol. Se-11 No. 1, January 1985, 125-129

Heinrich/Roithmayr berichten über die Ergebnisse von Benchmarktests, bei denen lokal vernetzte PCs Evaluierungsobjekte waren. Die Messergebnisse führten u. a. zu einer Veränderung der geplanten Organisation der Arbeitslast, um das Leistungspotenzial der optimalen Alternative besser nutzen zu können. Derartige Aussagen seien nur mit empirischen Verfahren wie dem Benchmarktest zu gewinnen.
Heinrich, L. J. / Roithmayr, F.: Leistungsmessung mit Benchmarks. In: Information Management 3/1986, 46-49

Miller et al. berichten über Ergebnisse von Benchmarktests, mit denen die Zuverlässigkeit des Betriebssystems UNIX gemessen wurde. Im Ergebnis wird festgestellt, dass über 24 % der 90 getesteten Systemprogramme zum Absturz gebracht werden konnten.
Miller, B. P. / Fredriksen, L. / So, B.: An Empirical Study on the Reliability of UNIX Utilities. In: Communications of the ACM 12/1990, 32-44

Herring berichtet über Ergebnisse von Benchmarktests mit dem TPC-A, deren Zweck es war, verschiedene DEC-Systeme (Hardware und Systemsoftware) zu evaluieren.
Herring, J. B.: TPC Benchmark A – An Industry standard performance test. In: Duisterhout, J. S. / de Moel, E. J. P. M. (Eds.): Proceedings of the Fifteenth Annual Meeting of the MUMPS User´s Group Europe, Rotterdam 1990, 111-115

Dirlewanger berichtet über die Anwendung des Verfahrens nach DIN 66271 zur Evaluierung von Rechnern mit Betriebssystemen verschiedener Hersteller u. a., dass das Betriebssystem BS2000 bei einer für Mainframes typischen Arbeitslast erhebliche Leistungsvorteile gegenüber MSV hat. Für vergleichbare Hardware-Konfigurationen ergab sich nach DIN eine bis zum Faktor 3 höhere Arbeitslast. Das Verfahren sei für alle Systemarten – vom Mainframe bis zum Minirechner – einsetzbar und vergleicht die Systeme mit einer bisher nicht möglichen Objektivität. Im Gegensatz zu bisherigen herstellerspezifischen Leistungsangaben stellt das Verfahren eine neutrale Messlatte dar.
Dirlewanger, W.: Messung und Evaluierung der DV-Leistung auf Basis der Norm DIN 66273. Heidelberg 1993

Die Forschungsgruppe Leistungsmessung der Universität Kassel (Leitung Dirlewanger) befasst sich u. a. mit der Entwicklung und Erprobung von Verfahren zur Messung und Bewertung der IT-Leistung sowie der Softwareeffizienz. In einem aktuellen Projekt erfolgt eine vergleichende Untersuchung von Verfahren zur Messung der Intranet-Performance. Untersucht werden in der Praxis verwendete Netz-Performance-Messverfahren und einem Betriebstest unterzogen. Es werden mehrere Verfahren zur Vermessung eines Versuchnetzes im Labor implementiert und Messserien durchgeführt. Auf diese Weise soll die Aussagekraft der Verfahren bezüglich ihrer Fähigkeit zur Quantifizierung der Netz-Performance ermittelt werden. Die Verfahren werden mit dem Kriterium Messaufwand verglichen, um Anforderungen an ein neu zu entwickelndes Verfahren abzuleiten. Kennzeichnend für das Projekt ist der interdisziplinäre Ansatz, insbesondere die Verwendung von Erkenntnissen der Wirtschaftsinformatik, um neben den technischen Merkmalen von Rechnerlast-Modellen auch betriebswirtschaftliche Ziele (z. B. IT-Kosten) zu berücksichtigen.
Dirlewanger, W.: Lastsimulation; Normenlast; Benutzerorientierte DV-Leistungsmessung nach dem DIN-Verfahren. iX – Magazin für professionelle Informationstechnik 12/1994, 172-174

Thong et al. evaluierten vier Sets von Rahmenbedingungen für die Implementierung von Informationssystemen in Klein- und Mittelbetrieben (schriftliche Befragung, N = 114), die mit den Dimensionen Top Management Support (high vs. low) und External Expertise (high vs. low) gebildet wurden; sie fanden, dass das Set „Top Management Support high / External Expertise high“ den größten Beitrag zur Effektivität der IT leistet.
Thong, Y. L. / Yap, Ch. S. / Raman, K. S.: Environments for Information Systems Implementation in Small Business. In: Jour¬nal of Organizational Computing and Electronic Commerce 4/1997, 253-278

Lewe leitet aus den Ergebnissen der Evaluierung von computerunterstützter Teamarbeit mit GroupSystem und anderen Versuchsanordnungen (Laborstudien, Untersuchungszeitraum 1993 bis 1995) folgende Empfehlung ab: „Soll die Produktivität von Sitzungen nachhaltig verbessert werden, dann sollte nicht allein auf Moderation, sondern auch auf Computerunterstützung gesetzt werden. Sie ist in der Lage, dem Leistungsabfall nicht nur zu begegnen, sondern zusätzliches Leistungspotenzial aus der Beteiligung weiterer Personen zu erschließen.“
Lewe, H.: Messung der Produktivitätswirkung einer Computerunterstützung in Sitzungen. In: Grün, O. / Heinrich, L. J. (Hrsg.): Wirtschaftsinformatik – Ergebnisse empirischer Forschung. Sprin¬ger, Wien/New York 1997, 79-89

Miller/Dunn stellen bezüglich der Ex-post-Evaluierung von IT-Projekten mit einer in Großbritannien durchgeführten Feldstudie (schriftliche Befragung, N = 150, Rücklaufquote 22 %, Befragungszeitraum 2+3/1996) fest, dass 85 % der befragten Unternehmen Ex-post-Evaluierungen durchführen und dass die Größe der IT-Abteilung (IS/IT department) der entscheidende Einflussfaktor ist. Dies führt zu folgender Hypothese: Je kleiner die IT-Abteilung, desto weniger wahrscheinlich ist die Durchführung von Ex-post-Evaluierungen. 61 % der Befragten vertreten die Meinung, dass das Ausmaß, in dem Ex-post-Evaluierung in ihrem Unternehmen durchgeführt wird, zu gering ist.
Miller, K. / Dunn, D.: Post-Implementation evaluation of information systems/technology: a survey of UK practice. In: Berghout, E. W. / Remenyi, D. S. J. (Eds.): Evaluation of Information Technology. Delft 1997, 47-55

Demonstrationsbeispiel

Es wird das Gewichten der Evaluierungskriterien mit einem Verfahren des paarweisen Vergleichs gezeigt. Bei jedem Vergleich werden zehn Punkte vergeben (vgl. Abbildung 1). Das Ergebnis wird in Abbildung 2 dargestellt. Es wurde wie folgt vorgegangen (EVK = Evaluierungskriterien):

• Vergleich von „1 anwenderbezogene EVK“ mit „2 systemtechnische EVK“. Die anwenderbezogenen EVK werden als sehr viel wichtiger beurteilt als die systemtechnischen EVK; Ergebnis: 9 Punkte für die anwenderbezogenen EVK und 1 Punkt für die systemtechnischen EVK.
• Vergleich von „1 anwenderbezogene EVK“ mit „3 anbieterbezogene EVK“. Beide EVK werden als gleich wichtig beurteilt; Ergebnis: 5 Punkte für die anwenderbezogenen EVK, 5 Punkte für die anbieterbezogenen EVK.
• Vergleich von „2 systemtechnische EVK“ mit „3 anbieterbezogene EVK“. Die systemtechnischen EVK werden als weniger wichtig beurteilt als die anbieterbezogenen EVK; Ergebnis: 4 Punkte für die systemtechnischen EVK, 6 Punkte für die anbieterbezogenen EVK.

Abb. 1: Gewichtung der Evaluierungskriterien (Quelle: nach SVD)

Abb. 2: Beispiel für die Gewichtung eines Kriterienbereichs (Quelle: nach SVD)

Quelle

Schweizerische Vereinigung für Datenverarbeitung (Hrsg.): Evaluation von Informatiklösungen. Bern/Stuttgart 1985, 101-188