Ausgangssituation

Das Material dieser Fallstudie stammt aus dem Projekt Messung von ASP-Qualität, das 2002/2003 vom ipo – Institut für Personal- und Organisationsentwicklung in Wirtschaft und Verwaltung an der Universität Linz durchgeführt wurde; Auftraggeber war die ASP Group Austria. Ziel des Projekts war es, ein Messmodell zu entwickeln, das potenziellen Kunden die Bestimmung von ASP-Qualität ermöglicht. Verfügt ein potenzieller Kunde über Qualitätsinformationen, ist die Entscheidung über die Auswahl eines Anbieters leichter zu treffen, weil die Qualitätsunsicherheit niedrig ist.

Im Mittelpunkt der Fallstudie steht, zu zeigen, wie die Erfolgsfaktorenanalyse (vgl. Lerneinheit ERFAN) so adaptiert werden kann, dass sie zur Messung von ASP-Qualität verwendet geeignet ist. Im Folgenden werden die Charakteristika des Messmodells erläutert. Davon ausgehend wird die Vorgehensweise bei Modellanwendung beschrieben. Abschließend wird über Erfahrungen beim Einsatz des Messmodells im Feld berichtet; sie geben Aufschluss über seine Praxistauglichkeit.

ASP ist eine Dienstleistung bzw. ein Dienstleister, der Kunden gegen Entgelt Standardsoftware ohne bzw. mit einem geringen Umfang an Customizing zur Verfügung stellt (so genannter one-to-many-approach) und in einem Service-Rechen-zentrum betreibt (also eine Form des Software-Outsourcing, vgl. Lerneinheit STRAT). Der Dienstleister sorgt für die Software-Lizenz, die Wartung und die Aktualisierung der Software und stellt in geeigneter Form Unterstützung zur Verfügung. Der Zugriff durch die Benutzer erfolgt über verschiedene Verbindungen (insbesondere Internet und Standleitungen sowie Satellitenverbindung).

Messmodell

In der Fachliteratur werden verschiedene Verfahren zur Messung von Dienstleistungsqualität vorgeschlagen; das hier beschriebene Modell verwendet ein multiattributives Messverfahren. ASP-Qualität setzt sich aus den Teilqualitäten verschiedener Qualitätsmerkmale zusammen, die auf einer ordinalen Doppelskala – bestehend aus Prioritäts- und Leistungsskala – gemessen werden. Auf der Prioritätsskala wird die Wichtigkeit (Bedeutung oder Relevanz), auf der Leistungsskala die aus Kundensicht wahrgenommene Leistung des Anbieters gemessen. Analog zur Erfolgsfaktorenanalyse werden folgende Skalen verwendet (es sind nur ganzzahlige Werte zugelassen):

Von der Auslagerung betroffene Benutzer des potenziellen Kunden beurteilen die Priorität der Qualitätsmerkmale auf der Skala P(M). Priorität drückt die Anforderung an die Leistung der Qualitätsmerkmale aus. Mitarbeiter von Referenzkunden von ASPs – deren Qualität bestimmt werden soll – beurteilen die Leistung auf der Skala L(M). Damit drücken sie ihre subjektive Zufriedenheit mit der Leistung aus. Annahme ist, dass Personen, die empirische Erfahrung mit der ASP-Qualität eines bestimmten Anbieters haben (das sind die Benutzer der vom Referenzkunden ausgelagerten Applikation), Leistung besser beurteilen können als IT-Experten, die keine empirische Erfahrung haben. Als Voraussetzung für die Gültigkeit dieser Annahme müssen die Qualitätsmerkmale so definiert werden, dass sie durch die genannte Personengruppe beurteilt werden können, und so erklärt werden, dass alle urteilenden Personen unter den verwendeten Bezeichnungen die gleichen realen Phänomene verstehen. Priorität und Leistung werden mit zwei Fragebögen gemessen.

• Für die Messung der Priorität wird ein Fragebogen verwendet, der folgende Frage enthält: Wie beurteilen Sie die Priorität der im Folgenden genannten Qualitätsmerkmale? Im Fragebogen folgen die Qualitätsmerkmale (mit Bezeichnung und Erklärung), jedes mit der vierstufigen ordinalen Skala P(M) versehen.
• Für die Messung der Leistung wird ein Fragebogen verwendet, der folgende Frage enthält: Wie beurteilen Sie die Leistung der im Folgenden genannten Qualitätsmerkmale? Im Fragebogen folgen die Qualitätsmerkmale (mit Bezeichnung und Erklärung), jedes mit der vierstufigen ordinalen Skala L(M) versehen.

Im Folgenden werden 26 Qualitätsmerkmale genannt und erklärt, die durch empirische Untersuchungen am Institut für Wirtschaftsinformatik – Information Engineering der Universität Linz sowie durch Analyse der englisch- und deutschsprachigen Fachliteratur und einschlägiger Websites identifiziert wurden. Die Nennung der Qualitätsmerkmale innerhalb der drei Schlüsselbereiche Applikation, Sicherheit und Services erfolgt in alphabetischer Reihenfolge.

Schlüsselbereich Applikation

• Benutzerfreundlichkeit
  
  • Damit wird die Steuerbarkeit der Applikation durch den Benutzer beurteilt (z.B. Gestaltung der Benutzeroberfläche).
• Customizing
  
  • Damit wird die Anpassungsfähigkeit der Applikation an die betrieblichen Geschäftsprozesse beurteilt.
• Funktionalität
  
  • Damit wird der Grad der Übereinstimmung zwischen der von der Applikation angebotenen Problemlösung und der vom Kunden vorgegebenen Problemstellung beurteilt.
• Leistungsfähigkeit
  
  • Damit wird die Fähigkeit der Applikation beurteilt, eine bestimmte Anzahl an Transaktionen pro Zeiteinheit auszuführen.
• Multimandanten- und Multiuserfähigkeit
  
  • Damit wird die Fähigkeit der Applikation beurteilt, für mehrere Kunden (Mandanten) bzw. Benutzer (User) simultan identische Dienste zu leisten. Mehrere Kunden bzw. Benutzer können simultan Daten abfragen und bearbeiten.
• Skalierbarkeit
  
  • Damit wird die Anpassbarkeit der IT-Systemkomponenten an veränderte quantitative Anforderungen (z.B. Rechnerleistung, Speicherkapazität, Datenübertragungskapazität) unter Beibehaltung ihrer qualitativen Eigenschaften beurteilt.
• Systemintegration
  
  • Damit wird die Zusammenführung intern betriebener Softwaresysteme mit der ausgelagerten Applikation beurteilt.
• Web-Fähigkeit
  
  • Damit wird die Fähigkeit der Applikation beurteilt, ohne spezielle Client-Software (z.B. Citrix MetaFrame), Informationen über Internet abzurufen und am Client darzustellen.

Schlüsselbereich Sicherheit

• Bestandsdauer
  
  • Damit werden die bisherige Lebensdauer des ASPs und die Wahrscheinlichkeit des zukünftigen Fortbestandes des ASPs beurteilt.
• Datenrückführung
  
  • Damit wird die Art und Weise der Rückführung ausgelagerter Daten zum Kunden aufgrund geplanter (z.B. Vertragsende) und ungeplanter Ereignisse (z.B. Insolvenz) beurteilt.
• Ergebnisverfügbarkeit
  
  • Damit wird das Zeitverhalten bei der Lieferung von Auswertungen, beim Ausdruck von Dokumenten oder beim Zugriff auf Ergebnisse beurteilt (z.B. Verfügbarkeit von aktuellen Daten für Abfragen, Antwortzeitverhalten, Bearbeitungsdauer).
• Integrität
  
  • Damit wird der Zustand der IT-Infrastruktur beurteilt, der ein unbefugtes Verändern an ihren Komponenten nicht zulässt. Alle sicherheitsrelevanten Objekte (z.B. Datenbestände) sind vollständig, unverfälscht und korrekt.
• Maximaler Datenverlust
  
  • Damit wird die Datenmenge beurteilt, die bei einem Zusammenbruch der gesamten IT-Infrastruktur bzw. einer ihrer Komponenten (z.B. Server, Datenübertragungseinrichtung) nicht wiederherstellbar ist.
• Service Level Agreement
  
  • Damit werden die Vertragsvereinbarungen zwischen Kunde und ASP beurteilt, in denen die Parameter der Dienstleistung und deren Qualitätsniveau festgelegt sind, einschließlich der Preisvereinbarungen und weiterer Nebenabreden wie z.B. Vertragsstrafen bei Nichteinhaltung des vereinbarten Qualitätsniveaus (vgl. Lerneinheit SEVER).
• Verbindlichkeit
  
  • Damit wird die Nichtabstreitbarkeit einer gültigen Transaktion in der Datenbank der Applikation beurteilt.
• Verfügbarkeit
  
  • Damit werden die Ausfallszeiten der IT-Systemkomponenten (z.B. Hardware-Ausfall, Software-Absturz, Unterbrechung der Datenübertragungseinrichtung) im Verhältnis zur Arbeitszeit beurteilt.
• Vertraulichkeit
  
  • Damit wird der Schutz von Daten vor unautorisiertem Lesen beurteilt.

Schlüsselbereich Services

• Ansprechpartner
  
  • Damit wird beurteilt, ob der ASP dem Kunden einen bestimmten Mitarbeiter als Kontaktperson zur Verfügung stellt.
• Benutzerschulung
  
  • Damit werden der Umfang und die Qualität der Schulung und Weiterbildung der Benutzer sowie die dabei verwendeten Methoden beurteilt.
• Implementierung
  
  • Damit wird die technische Einführung der IT-Systemkomponenten (z.B. der Applikation) beim Kunden beurteilt.
• Monitoring
  
  • Damit wird die Fähigkeit des ASPs beurteilt, das Leistungsverhalten verschiedener Systemkomponenten (z.B. Server, Datenübertragungseinrichtung) werkzeuggestützt zu überwachen.
• Pre-Sales-Services
  
  • Damit werden der Umfang und die Qualität der vom ASP angebotenen Leistungen beurteilt, auf deren Basis potenzielle Kunden eine Auswahlentscheidung treffen können (z.B. Demozugang zur Applikation).
• Problemmanagement
  
  • Damit wird die Fähigkeit des ASPs (z.B. Help-Desk-Mitarbeiter) beurteilt, Probleme der Benutzer rasch zu bestimmen und zu beheben.
• Projektmanagement
  
  • Damit wird die Fähigkeit des ASPs beurteilt, den reibungslosen Übergang der Applikation vom Kunden zum ASP durchzuführen.
• Reporting
  
  • Damit wird die Fähigkeit des ASPs beurteilt, das Leistungsverhalten verschiedener Systemkomponenten (z.B. Server, Datenübertragungseinrichtung) benutzergerecht darzustellen (z.B. durch Grafiken).
• Technologiemanagement
  
  • Damit wird die Fähigkeit des ASPs beurteilt, zukünftige Technologien mit erheblichem Veränderungspotenzial erfolgreich in das eigene Leistungsportfolio zu integrieren (vgl. Lerneinheit TECHM).

Vorgehensweise

Der Prozess der Qualitätsbestimmung wird von einem Projektbegleiter – ein Mitarbeiter des potenziellen Kunden oder ein Externer – organisiert, der über ASP-Fachwissen und Fachwissen hinsichtlich der Methodenanwendung verfügt. Er ist auch für die Auswertung der Fragebögen sowie für die Interpretation und Präsentation der Ergebnisse zuständig. Der Prozess besteht aus neun Arbeitsschritten:

1. Identifikation von ASPs und Referenzkunden
2. Identifikation der Qualitätsmerkmale
3. Festlegung der Teilnehmer an der Befragung
4. Formulierung des Fragebogens
5. Messung der Priorität der Qualitätsmerkmale beim potenziellen Kunden
6. Messung der Leistung der Qualitätsmerkmale bei Referenzkunden
7. Auswertung der Erhebungsergebnisse
8. Darstellung und Interpretation der Erhebungsergebnisse
9. Präsentation der Erhebungsergebnisse

1. Identifikation von ASPs und Referenzkunden. Diese wird durch Suchfunktionen einschlägiger Websites (z.B. www.asperado.com) erleichtert. Die Identifikation wird auch durch Interessensverbände – z.B. aspkonsortium Deutschland (www.asp-konsortium.de), aspkonsortium Schweiz (www.aspswiss.ch) und ASP Group Austria (www.ispa.at) – erleichtert, da ihre Mitglieder in der Regel ASPs und ASP-Enablers (z.B. Hardware-Hersteller) sind.

2. Identifikation der Qualitätsmerkmale. Beim potenziellen Kunden wird eine Arbeitsgruppe gebildet, die aus Vertretern der drei Interessensgruppen Benutzer, IT-Abteilung und Geschäftsführung besteht. Durch Diskussion in der Arbeitsgruppe sollen folgende Fragen beantwortet werden:

• Beschreiben die 26 Qualitätsmerkmale alle Eigenschaften, die Einfluss auf die ASP-Qualität haben?
• Welche der Qualitätsmerkmale sind von geringer oder ohne Bedeutung und sollten daher im Fragebogen nicht enthalten sein?
• Welche Qualitätsmerkmale mit erheblicher Bedeutung fehlen und müssen im Fragebogen ergänzt werden?
• Entsprechen die Bezeichnungen und Definitionen der Qualitätsmerkmale den fachsprachlichen Ausdrücken, die in der Praxis verbreitet und bekannt sind?
• Ist es möglich, mehrere – zunächst einzeln definierte – Qualitätsmerkmale zusammenzufassen?
• Müssen Qualitätsmerkmale durch Zerlegung präzisiert werden?

3. Festlegung der Teilnehmer an der Befragung. Teilnehmer an der Befragung sind Personen der drei Interessensgruppen Benutzer, IT-Abteilung und Geschäftsführung des potenziellen Kunden und Benutzer von Referenzkunden.

4. Formulierung des Fragebogens. Die Fragebögen werden mit den oben formulierten Fragen eingeleitet. Am Deckblatt des Fragebogens zur Messung der Priorität werden zur besseren Identifikation das Unternehmen, die Interessensgruppe und der Name der befragten Person angegeben. Am Deckblatt des Fragebogens zur Messung der Leistung wird der ASP, dessen Referenzkunde sowie die Stellung der befragten Person im Unternehmen angegeben.

5. Messung der Priorität der Qualitätsmerkmale beim potenziellen Kunden. Benutzer, Mitarbeiter der IT-Abteilung sowie Mitarbeiter der Geschäftsführung beurteilen die Priorität. Sie sollten über den Erhebungszweck informiert werden und Instruktionen zur Beantwortung des Fragebogens erhalten. Um Absprachen zu vermeiden, sollte die Beantwortung des Fragebogens durch alle Teilnehmer an einem bestimmten Arbeitstag erfolgen.

6. Messung der Leistung der Qualitätsmerkmale bei Referenzkunden. Mehrere Benutzer beurteilen die Leistung, weil sie empirische Erfahrung haben. Auch dafür sollte die Beantwortung des Fragebogens durch alle Teilnehmer an einem bestimmten Arbeitstag erfolgen.

7. Auswertung der Erhebungsergebnisse. Die Priorität eines Qualitätsmerkmals resultiert aus den Urteilen der Interessensgruppen, die ihrerseits durch die Urteile der befragten Personen gebildet werden. Die Priorität des potenziellen Kunden resultiert aus den Prioritäten aller Qualitätsmerkmale (vgl. Abbildung FMASP-1).

8. Darstellung und Interpretation der Erhebungsergebnisse. Die Untersuchungsergebnisse werden in Prioritäts-Leistungs-Portfolios (kurz: PLP) dargestellt, zuerst alle Qualitätsmerkmale durch Eintragung der Wertekombinationen (Priorität und Leistung).

Die Leistung des ASPs resultiert aus den Urteilen der Referenzkunden. Die Urteile der Referenzkunden resultieren aus den Urteilen der Benutzer (vgl. Abbildung FMASP-2).

 Dienstleistungsqualität ist die Fähigkeit eines Anbieters, die Beschaffenheit einer primär intangiblen und der Kundenbeteiligung bedürfenden Leistung gemäß den Kundenerwartungen auf einem bestimmten Anforderungsniveau herzustellen; sie ergibt sich aus der Summe der Eigenschaften bzw. Merkmale der Dienstleistung, bestimmten Anforderungen gerecht zu werden (vgl. DIN EN ISO 8402). Daraus folgt, dass bei Qualitätsmerkmalen, die auf bzw. über der 45°-Diagonalen liegen, ein ASP die Anforderungen eines potenziellen Kunden an die Leistung erfüllt (vgl. Abbildung FMASP-3). Eine Qualitätsbetrachtung bei Merkmalen mit einer Priorität kleiner drei (P(M) = 3: eventuell nützlich) und einer Leistung kleiner drei (L(M) = 3: ausreichend) ist nicht zweckmäßig. Die 45°-Diagonale entspringt daher nicht im Ursprung, sondern im Punkt (3/3).

Bei Qualitätsmerkmalen, die unter der 45°-Diagonalen liegen, erfüllt ein ASP die Leistungsanforderungen nicht. Der vertikale Abstand eines Qualitätsmerkmals zur 45°-Diagonalen visualisiert die Abweichung der Leistung von der Priorität. Mit zunehmendem vertikalen Abstand von Qualitätsmerkmalen, die unter der 45°-Diagonalen liegen, vergrößert sich das Qualitätsdefizit. Zur besseren Visualisierung von Qualitätsdefiziten wird empfohlen, Priorität und Leistung auch in Polaritätsprofilen darzustellen. In Abbildung FMASP-3 sind beispielhaft die Qualitätsmerkmale Customizing (CU), bei dem die Leistung die Priorität übersteigt, und Systemintegration (SY), bei dem die Priorität die Leistung übersteigt (Qualitätsdefizit) dargestellt. Im PLP werden zudem die Priorität des potenziellen Kunden und die Leistung aller ASPs dargestellt. Schneidet die horizontale Leistungslinie eines ASPs die vertikale Prioritätslinie auf bzw. über der 45°-Diagonalen, so entspricht die Leistung der Priorität (siehe dazu die Ergebnisse der Feldstudien).

9. Präsentation der Erhebungsergebnisse

Diese erfolgt durch den Projektbegleiter. Das Auditorium besteht aus Vertretern der drei Interessensgruppen des potenziellen Kunden. Aufgrund der Ergebnisse wird der Anbieter identifiziert, dessen Qualität am höchsten ist. Die gewonnenen Qualitätsinformationen sind – neben dem Preis der Leistung – die Entscheidungsgrundlage bei der Auswahl eines ASPs.

Feldstudien

Untersuchungsgegenstand waren zwei potenzielle Kunden sowie Referenzkunden von zwei ASPs, die ERP-Systeme im ASP-Modell betreiben. Die Unternehmensprofile sind in Abbildung FMASP-4 dargestellt. Ziel der Untersuchung war es, die Praxistauglichkeit des Messmodells durch Erprobung im Feld zu beurteilen, um gegebenenfalls Verbesserungsmaßnahmen vorzunehmen.

Gemäß Arbeitsschritt 8 wird zur Darstellung und Interpretation der Erhebungsergebnisse ein PLP mit allen untersuchten ASPs angefertigt (vgl. Abbildung FMASP-5). Die von ASP1 angebotene Leistung entspricht aus Sicht beider potenzieller Kunden den Anforderungen. Die Leistungslinie von ASP1 schneidet die beiden Prioritätslinien der potenziellen Kunden über der 45º-Diagonalen. Die von ASP2 angebotene Leistung entspricht lediglich aus Sicht des potenziellen Kunden1. Die Leistungslinie von ASP1 schneidet die Prioritätslinie des potenziellen Kunden1 oberhalb und die des potenziellen Kunden2 unterhalb der 45º-Diagonalen.

Bisher wurde angenommen, dass beide potenzielle Kunden risikofreudig sind. Daraus folgt, dass die Streuung der Werte, auf deren Basis die Werte der Leistungslinien errechnet wurden, keine Bedeutung haben. Für risikoaverse Kunden ist die Streuung der Werte von Bedeutung. Unter der Annahme, dass die bei den Referenzkunden ermittelte Leistung normal verteilt ist, kann für jeden ASP die Wahrscheinlichkeit ermittelt werden, mit der die Leistung unterhalb der Qualitätsgrenze liegt.

Anwendungsbeispiel

Für ASP1 ergibt sich eine Leistung von 5,47 (ø); die zugehörige Standardabweichung beträgt 1,24 (S). Für ASP2 ergibt sich eine Leistung von 4,85 (ø) bei einer Standardabweichung von 0,95 (S). Im Folgenden wird der Lösungsweg für Fragen dargestellt, deren Beantwortung in der Praxis für potenzielle Kunden von Interesse ist. Für den potenziellen Kunden1 ist folgende Frage von Interesse: Wie groß ist die Wahrscheinlichkeit, dass die Leistung von ASP1 bzw. ASP2 kleiner als 4,58 ist? Es sei in Erinnerung gerufen, dass der Wert 4,58 die Priorität vom potenziellen Kunden1 ist. Man könnte die Frage auch anders formulieren: Wie groß ist die Wahrscheinlichkeit, dass die Leistung von ASP1 bzw. ASP2 unter die Qualitätsgrenze (= 45°-Diagonale) fällt?

Gesucht ist die Wahrscheinlichkeit P (x < 4,58) der Variablen „x = Leistung von ASP1“. Durch Transformation wird die standardisierte Normalverteilung: P (x < 4,58) = P () = P (< - 0,72). Der Normalverteilungstabelle (eine solche ist in vielen Statistik-Lehrbüchern enthalten) kann entnommen werden, dass dem Argument k = 0,72 der Wert F(k) = 0,764238 zugeordnet ist. Aufgrund des Zusammenhangs F(-k) = 1 - F(k) ergibt sich F(- 0,72) = 1 - 0,764238 = 0,235762. Die Wahrscheinlichkeit, dass die Leistung von ASP1 unter die Qualitätsgrenze fällt, beträgt daher 23,5762 %. Gesucht ist weiters die Wahrscheinlichkeit P (y < 4,58) der Variablen „y = Leistung von ASP2“. P ( ) = P (< - 0,28). Dem Argument k = 0,28 ist der Wert F(k) = 0,610261 zugeordnet. F(- 0,28) = 1 - 0,610261 = 0,389739. Die Wahrscheinlichkeit, dass die Leistung von ASP2 unter die Qualitätsgrenze fällt, beträgt daher 38,9739 %. Als Fazit wird festgehalten, dass die Leistung von ASP2 im Vergleich zu ASP1 mit einer 15,3977%igen höheren Wahrscheinlichkeit unter der Qualitätsgrenze liegt.

Praxistauglichkeit

Die Praxistauglichkeit des Messmodells kann anhand von Testgütekriterien beurteilt werden, die sich aus der Klassischen Testtheorie ableiten. Auf eine Erklärung der Testgütekriterien wird verzichtet; es wird auf die einschlägige Fachliteratur verwiesen. Im Folgenden werden die aus den Feldstudien resultierenden Erkenntnisse dargestellt.

Anzahl und Güte der Qualitätsmerkmale. Ein quantitatives Maß zur Beurteilung der Güte gibt es nicht. Aus diesem Grund wurden im Juni und Oktober 2003 an der Universität Linz Management-Foren mit ASP-Experten, Anbietern von ASP-Lösungen und potenziellen Kunden veranstaltet. Unter den Teilnehmern bestand Einvernehmen darüber, dass die 26 Qualitätsmerkmale ASP-Qualität ausreichend genau abbilden.

Beurteilbarkeit. Diese wird mit der Anzahl der missing items gemessen, die mit 2,65 % bei der Priorität vernachlässigbar klein, bei der Leistung mit 15,08 % jedoch hoch ist. In beiden Fragebögen zur Messung der Priorität und Leistung wurden die Beurteiler ausdrücklich angehalten, keine Beurteilung vorzunehmen, wenn die Erklärung eines Qualitätsmerkmals nicht ausreichend verständlich ist oder wenn sie sich als Beurteiler überfordert fühlen. Inwieweit dieser Aufforderung nachgekommen wird, lässt sich nicht feststellen.

Eine Einschränkung der Praxistauglichkeit liegt in dem derzeit geringen Nutzungsgrad von ASP-Lösungen; die errechneten Leistungen beruhen auf den Urteilen weniger Referenzkunden. Bei den Feldstudien war nur ein Mitarbeiter je Referenzkunde bereit, die Leistung zu beurteilen. Durch die Befragung nur eines Informanten kann ein Messfehler entstehen, der zu Einschränkungen der Validität der Messergebnisse führen kann. (In Arbeitsschritt 6 ist vorgesehen, dass mehrere Benutzer die Leistung beurteilen.) In der Fachliteratur wird ein solcher Messfehler als Informant Bias bezeichnet. Befunde einer empirischen Untersuchung zu den Erfolgsfaktoren für Innovationen zeigen, dass der Informant Bias die Konstruktvalidität von Messinstrumenten dermaßen reduzieren kann, dass ein Hypothesentest unmöglich wird; daraus folgt, dass viele Konstrukte (hier die Leistung des ASPs) auf Basis einzelner Informanten nicht valide gemessen werden können. In der Fachliteratur wird deshalb gefordert, dass die Befragten kompetent sind, um den jeweiligen Sachverhalt zu beurteilen. Dadurch wird der durch Wissensdefizite entstehende Messfehler reduziert.

Für das Messmodell folgt daraus, dass darauf zu achten ist, dass der Befragte über empirische Erfahrung mit der Leistung des ASPs verfügt. Im Allgemeinen haben IT-Leiter und Leiter der Abteilung Rechnungswesen Kontakt zu den Benutzern des ausgelagerten ERP-Systems, folglich sind ihnen die Erfahrungen der Benutzer über die Leistung der Qualitätsmerkmale bekannt. Es kann daher angenommen werden, dass solche Key Informants zuverlässige Angaben zur Leistung machen können.

Befunde der erwähnten empirischen Untersuchung zu den Erfolgsfaktoren für Innovationen zeigen jedoch, dass durch die Befragung von Key Informants das Auftreten eines Informant Bias nicht verhindert werden kann. Der Grund hierfür ist, dass Kompetenz oft direkt mit Verantwortung für den zu beurteilenden Sachverhalt zusammenhängt, was die Wahrscheinlichkeit des Auftretens eines aus der persönlichen Betroffenheit resultierenden Messfehlers erhöht. Daraus wird der Schluss gezogen, dass komplexe Sachverhalte von mehreren Informanten beurteilt werden sollten, um die Validität der Messergebnisse zu gewährleisten.

Da die Beurteilung der Leistung eines ASPs als komplexer Sachverhalt eingestuft werden kann, reduziert die Tatsache, dass in den Feldstudien nur ein Mitarbeiter je Referenzkunde bereit war, die Leistung zu beurteilen, die Validität der Messergebnisse.

Validität der Doppelskala. Dichtl/Müller haben 1986 die These formuliert, dass bei der Erfassung idealtypischer Zustände auf Ordinalskalen mit einheitlich hohen Werten zu rechnen ist. Die in Abbildung FMASP-5 dargestellten Prioritäten von 4,58 (potenzieller Kunde1) und 5,13 (potenzieller Kunde2) sind als Bestätigung der These zu werten. Lediglich die bekannte Scheu von Probanden, Extremkategorien zu verwenden, steht einer deutlicheren Manifestation dieses Urteilseffekts entgegen. In der Fachliteratur wird aufgrund der Anspruchsinflation die Validität der hier verwendeten Doppelskala kritisiert.

Durchführungszeitraum / Zeitaufwand. Der gesamte Prozess der Qualitätsbestimmung dauerte in etwa einen Monat. Bei der Ermittlung des Zeitaufwandes für den Projektbegleiter ist zu berücksichtigen, dass die Leistungsmessung (d.h. der Zeitraum von der Versendung der Fragebögen bis zur Retournierung) zwei bis drei Wochen beansprucht, der Projektbegleiter in dieser Zeit jedoch keine Tätigkeiten zu verrichten hat. Der Zeitaufwand des Projektbegleiters beträgt eine Woche.

Kosten. Die Kosten für einen Projektbegleiter berechnen sich aus dem Zeitaufwand, bewertet mit dem vereinbarten Honorarsatz. Unter der Annahme, dass das Honorar eines externen Projektbegleiters oder die Opportunitätskosten eines Mitarbeiters 1000 € pro Tag betragen, entstehen Kosten in der Höhe von 7.000 €. Nicht eingerechnet sind die Kosten der Datenerhebung, die je nach Erhebungsmethode (Hardcopy-Fragebogen, Telefon- oder Online-Befragung) variieren. Für den Einsatz in Kleinst- und Kleinunternehmen ist das Messmodell aus Kostengründen nicht geeignet. Es kann angenommen werden, dass die Einsatzwahrscheinlichkeit mit zunehmender Unternehmensgröße der potenziellen Kunden steigt.

Nützlichkeit. Ein Test ist dann nützlich, wenn er ein Merkmal misst oder vorhersagt, für dessen Untersuchung ein praktisches Bedürfnis besteht. Ein Test hat folglich eine hohe Nützlichkeit, wenn er in seiner Funktion durch keinen anderen Test substituiert werden kann, und er hat eine geringe Nützlichkeit, wenn er ein Merkmal prüft, das mit einer Vielzahl anderer Tests ebenso gut untersucht werden könnte. Trotz umfangreicher Recherchen konnte kein Messmodell identifiziert werden, das die Bestimmung von ASP-Qualität ermöglicht. In der Fachliteratur werden nur Checklisten beschrieben, anhand derer die Leistungsfähigkeit von ASPs beurteilt werden soll. Eine Messung im wissenschaftlichen Sinn (vgl. dazu die Definition im Wirtschaftsinformatik-Lexikon) liegt nicht vor. Die Nützlichkeit des dargestellten Messmodells ist daher hoch.

Aufgaben- und Methodenverweise

Strategieentwicklung (STRAT)

Technologiemanagement (Lerneinheit TECHM)

Erfolgsfaktorenanalyse (Lerneinheit ERFAN)

Serviceebenen-Vereinbarungen (Lerneinheit SEVER)

Literatur

Heinrich, L. J. / Riedl, R.: ASP-Qualität – Entwicklung eines Messmodels In: HMD – Praxis der Wirtschaftsinformatik 237/2004, 80-89

Riedl, R.: Application Service Providing – Entwicklung eines Modells zur Qualitätsmessung. Deutscher Universitäts-Verlag, Wiesbaden 2005

Normen

DIN EN ISO 8402

Websites

http://www.aspnews.com/

http://www.asptoyou.de/