ROI Magazin

Das Fachmagazin für Messbarkeit in der Personalentwicklung

Inhalt

Evaluation Excellence – Der ROI-Prozess™

Qualitäts- und Prozessverbesserungstool. Seminarfeedback, teilweise Wissenstest am Ende des Seminars oder auch eine Abfrage am Arbeitsplatz sind schon gute Lernbetrachtungen, aber leider fehlt immer noch die Nutzenbetrachtung auf den Geschäftskennzahlen. Wie viel monetären Wertbeitrag leistet das Training für uns? Das ist die entscheidende Kennzahl für die meisten Manager. Der ROI-ProzessTM gibt Ihnen Tools und bewährt Methoden die Lernbetrachtung und die Nutzenbetrachtung zu vereinen und unterstützt Sie bei Ihrer Qualitäts- und Prozessverbesserung. Wie der ROI-ProzessTM Ihnen helfen kann, schildert Ihnen der Return on Investment (ROI)-Experte und Buchautor Dipl.-  Ing. Frank C. Schirmer, Geschäftsführer von Success Analytics.

Im Artikel „Evaluation Excellence – Die Auswirkungskette“ wurde erläutert, „warum“ viele erfolgreiche Unternehmen den Trainingsnutzen professionell auf den 5 Evaluationsstufen analysieren. Der hier erläuterte ROI-Prozess zeigt Ihnen Schritt für Schritt „wie“ Sie Ihre Weiterbildungsmaßnahmen professionell planen und analysieren können. Ein spezieller Fokus wird auf die  Methoden zur „Isolierung der Trainingseffekte“ und die Methoden zur „finanziellen Bewertung“ gelegt. 

Erreichung hoher ROI-Werte bei Ihren Weiterbildung-Maßnahmen mit dem ROI-ProzessTM

Der ROI-ProzessTM ist in die 4 Phasen „Planen, Datenerfassung, Datenanalyse und Berichten“ und in mehrere logisch aufgebaute Prozessschritte gegliedert, die hier kurz erläutert werden:

Im ersten Prozessschritt „Lösungen entwickeln und abstimmen“  werden die Basisdaten erhoben: Warum wird überhaupt trainiert? Gibt es andere Möglichkeiten einen notwendigen Wissensaufbau am Arbeitsplatz zu gewährleisten? Wie viel Training ist notwendig? Wie viel schneller kann ein Wissenszuwachs erreicht werden, wenn trainiert wird? Was würde passieren, wenn kein Training umgesetzt wird?

Im zweiten Prozessschritt „Evaluationsplanung“ werden mit der Personalentwicklung und dem Auftraggeber (und ggf. dem internen Controlling) die Ziele und Evaluationsmethoden festgelegt. Dabei unterstützen Tools wie Training Scorecards, Datenerfassungsplan und ROI-Analyseplan zur pragmatischen Planung und Umsetzung. 

Im dritten Prozessschritt „Datenerfassung während des Trainings“ und im vierten Prozessschritt „Datenerfassung nach dem Training“ werden die Daten zu den 4 Evaluationsstufen erfasst. 

Im fünften Prozessschritt „Isolierung der Effekte“ wird der Anteil des Trainings an der Gesamtverbesserung anhand der erfassten Daten isoliert und im sechsten Prozessschritt „finanzielle Bewertung“ wird der monetäre Wert dieses Anteils ermittelt. Somit ist der Nutzen des Trainings analysiert. Durch Berechnung der Kosten kann der Return on Trainings-Investment (ROI) ermittelt werden. Wenn Daten nicht glaubwürdig analysiert werden können, werden diese Daten als „immaterielle Daten“ aufgeführt. Alle 6 Datenarten (5 Evaluationsstufen und immaterielle Daten) fließen in den Ergebnisbericht ein. (Hinweis: Eine detaillierte Beschreibung des ROI-ProzessesTM können Sie hier anfordern)

Der Prozess hat sich aufgrund von Erfahrungen entwickelt und stellt den Best-Practic-Prozess zur Erreichung von hohen ROI-Werten bei Ihren Maßnahmen dar. Sie messen nicht nur die Ergebnisse, allein durch die zielorientierte und ergebnisorientierte Vorgehensweise erhöhen sie die Wirksamkeit Ihrer Maßnahme immens. 

Ohne Isolation kein Nutzen

Folgende 4 von 9 praxiserprobten Methoden stehen zur Isolierung der Trainingseffekte zur Verfügung:

  • Kontrollgruppen
  • Trendlinien-Analyse
  • Prognose-Methoden
  • Bewertung/Einschätzung

Die oben aufgeführten Methoden haben sich in den letzten 30 Jahren bewährt und sind nach Genauigkeitsgrad sortiert. Ohne die Verwendung einer dieser Methoden kann kein seriöser Trainingsnutzen ermittelt werden und die Glaubwürdigkeit von Trainingsmaßnahmen kann verloren gehen – insbesondere aus Sicht des Managements/Auftraggebers.  

Welche Methode bei welcher Maßnahme und bei welcher Unternehmenskultur  und ‑situation eingesetzt werden sollte, kann im Rahmen der „Zertifizierung“ erlernt werden. Folgende Kriterien sind dabei insbesondere zu beachten: Umsetzbarkeit, Genauigkeit der Ergebnisse im Vergleich zur benötigten Genauigkeit, Akzeptanz der Methode bei der Zielgruppe, spezifische Kosten der Implementierung, die Störung der normalen Arbeit bei der Implementierung und Zeitaufwand von Teilnehmern, Personalentwicklung und Management. Die wichtigsten Methoden werden kurz erläutert:

Kontrollgruppen – Die genaueste Methode

Die genaueste Methode zur Isolierung der Trainingsauswirkungen ist der Einsatz von Kontrollgruppen. Diese besteht aus einer Experimentiergruppe (wird trainiert) und einer Kontrollgruppe (wird nicht trainiert). Ca. ein Drittel aller Auswirkungsstudien werden mit Kontrollgruppen durchgeführt. 

Trendlinien-Analyse – einfach und kosteneffektiv

Eine weitere nützliche Technik, die Auswirkungen eines Trainings zu messen, ist die Trendlinien-Analyse. Bei dieser Methode wird aufgrund früherer Daten eine Trendlinie in die Zukunft verlängert. Rund 15 % aller weltweiten Auswirkungsstudien verwenden die Trendlinien-Analyse. 

Prognose-Methoden anwendbar bei vorhandenen Korrelationen

Verfügt das Unternehmen über umfangreiche Korrelationen, d. h. Abhängigkeiten von Kennzahlen, kann diese Methode angewendet werden. Dabei wird aufgrund von historischen Daten für jede Kennzahl, die einen Einfluss hat, eine Prognose in die Zukunft gestellt. Die Summe dieser Prognose wird von dem tatsächlich erreichten Geschäftsergebnis abgezogen, der Rest kann dem Training zugeordnet werden. Schätzungsweise 5 % aller weltweiten Auswirkungsstudien verwenden die Prognose-Methode.

Bewertung/Einschätzung – subjektiv und genau

Informationen, direkt vom Teilnehmer oder Experten zu beziehen, ist eine leicht umzusetzende Methode, die Trainingseffekte zu isolieren. Ihre Effektivität beruht auf der Annahme, dass die Teilnehmer sagen können, wie viel ihrer Leistungssteigerung direkt aus dem Training resultiert. Um glaubwürdige Daten zu erhalten, geben die Teilnehmer auch einen entsprechenden Unsicherheitsfaktor an. Beginnen Unternehmen erst einmal damit, diese Methode professionell einzusetzen, wird sie schnell zur bevorzugten Isolierungsmethode. Aus diesem Grund verwenden 50 % der weltweit durchgeführten Auswirkungsstudien die Methode Einschätzungen. 

Methodeneinsatz in der Praxis

Beginnen Unternehmen mit der Ermittlung von Trainingsnutzen, stehen Sie meist vor der Herausforderung, welche Isolationsmethode verwendet werden soll. Die Methode der Kontrollgruppen gibt die genauesten Daten, aber ist aufwendig und die Kontrollgruppe wird nicht trainiert. Dadurch entsteht kein Effektivitätsgewinn bei der Kontrollgruppe. Auf der anderen Seite sind Fragebögen zwar kostengünstig in der Umsetzung, aber liefern sie auch objektive Daten? 

Welche Methoden bei welcher Unternehmenskultur wie professionell geplant und umgesetzt wird, können Sie bei der „Zertifizierung“ erlernen. 

Finanzielle Bewertung

Die Methode zur Isolierung der Trainingseffekte sollte immer in Verbindung mit der Methode zur finanziellen Bewertung gesehen werden. Jedes Unternehmen verfügt über ein bestimmtes Kennzahlensystem und deren Korrelationen. Welche der folgenden 10 Methoden eingesetzt werden kann, bestimmt ihr Kennzahlensystem. Typische Methoden sind:

  • Erlöse/Einsparungen durch Produktionsdaten
  • Qualitätskosten
  • Arbeitszeiteinsparungen
  • Vergangenheitsdaten
  • Expertenbewertungen
  • Externe Statistiken
  • Verknüpfungen mit anderen Parametern
  • Bewertung/Einschätzungen der Teilnehmer
  • Bewertung/Einschätzungen der Vorgesetzten
  • Bewertung/Einschätzungen des Projektteams

Mit diesen Methoden in Kombination mit den Methoden zur Isolation der Trainingseffekte lässt sich der tatsächliche Nutzen des Trainings für die analysierte Maßnahme glaubwürdig nachweisen. Welche Methode bei welcher Lernkultur und welcher Weiterbildungsmaßnahme sinnvoll angewendet wird, erfahren Sie bei unser Zertifizierung. 

Inhalt

Weitere interessante Artikel

Frank C. Schirmer

Frank Schirmer, Dipl. Ing., ist Geschäftsführer von Success Analytics und zertifizierter Trainer und Berater für Führungskräfteentwicklung, Teamentwicklung, Vertrieb, Service und Qualitätsmanagement. Seine Erfahrungen beruhen u. a. auf erfolgreiche Projektleitung vom Einzelseminar bis zur weltweiten Strategieumsetzung für 6.000 Führungskräfte mit 20 Trainern. Er betreut seit über 25 Jahren Fortune 500 Unternehmen als Experte zur Konzeption und Implementierung von Trainingsmaßnahmen und deren Evaluation. Frank Schirmer ist Autor des erfolgreichen Buches „Return on Investment in der Personalentwicklung“ und von diversen Veröffentlichungen in „managerSeminare“ und „Wirtschaft und Weiterbildung“. Er ist international als Experte zur Messung von High-Impact-Konzepten anerkannt.