LEERDOEL: HOE KUNNEN WE COACHING EFFECTIVITEIT METEN:
Ely, Boyce, Nelson, Zaccaro, Hernez-Broome, Whyman:
evaluating leadership coaching: A review and intergrated
framework.
Summative evaluation framework Formative evaluation framwork
Achteraf meten Tijdens meten
Reaction = subjectieve beoordeling Zoeken naar informatie om de coaching interventie
echt te snappen
Learniing = hoe werd het geleerd en wat Focus op process
voor gevolgen had dat
Behaviour = wat was de invloed op
leiderschap of gedrag
Result = wat voor invloed had het op de
doelstelling
, BELANGRIJKE ADVIEZEN UIT HET SUMMATIEVE FRAMWORK:
1. De evaluatie zou moeten verkregen worden uit meerdere data-sources (bronnen),
vooral bij data die veranderingen in gedrag laat zien.
2. In plaats van alleen te kijken naar de uitkomsten moet er een multi-level perspectief
van coaching komen die bestaat uit veranderingen in gedrag, veranderingen in
prestatie en de retentie hiervan.
3. Evaluatie moeten meer distale uitkomsten meten om zo uitkomsten / resultaten
die nog langer effect zouden hebben includeren in de evaluatie.
CONCLUSIE:
→ Net als ander training uitkomsten is er een summative component nodig om de
effectiviteit van coaching weer te geven. Het summative evaluation framework geeft
een basis voor vervolgonderzoek om de invloed van voorspellers van training
uitkomsten te onderzoeken. Zonder deze formative evaluation zouden coaches
wellicht niet de volle potentie van de coaching interventie benutten.
→ Er is bijna geen bewijs of onderzoek die systematisch formatieve evaluatie heeft
uitgevoerd. Er was waarschijnlijk nooit consistentie over welke tussentijdse maten je
zou moeten onderzoeken. Deze review laat dan ook systematisch een gat in de
markt zien wat betreft formatieve evaluatie.
IMPLICATIES:
→ Veel van de resulaten die ze hebben onderzoek bleken toch self-reports wat een
grote limitatie met zich meebrengt.
KRITISCHE VRAAG: WELKE UITKOMSTMAAT ZAGEN ZE ALS MEEST
ONDERZOCHT?
Self-report of change in client leadership behaviour
KRITISCHE VRAAG: WAT VOEGT FORMATIEVE EVALUATIE DAADWERKELIJK
TOE?
Het zou de kwaliteit van de training interventie gedurende/tijdens de training verbeteren
door te kijken welke elementen meer aandacht nodig hebben en zo de kans vergroten dat
coachee de gestelde doelen behaald.
Ely, Boyce, Nelson, Zaccaro, Hernez-Broome, Whyman:
evaluating leadership coaching: A review and intergrated
framework.
Summative evaluation framework Formative evaluation framwork
Achteraf meten Tijdens meten
Reaction = subjectieve beoordeling Zoeken naar informatie om de coaching interventie
echt te snappen
Learniing = hoe werd het geleerd en wat Focus op process
voor gevolgen had dat
Behaviour = wat was de invloed op
leiderschap of gedrag
Result = wat voor invloed had het op de
doelstelling
, BELANGRIJKE ADVIEZEN UIT HET SUMMATIEVE FRAMWORK:
1. De evaluatie zou moeten verkregen worden uit meerdere data-sources (bronnen),
vooral bij data die veranderingen in gedrag laat zien.
2. In plaats van alleen te kijken naar de uitkomsten moet er een multi-level perspectief
van coaching komen die bestaat uit veranderingen in gedrag, veranderingen in
prestatie en de retentie hiervan.
3. Evaluatie moeten meer distale uitkomsten meten om zo uitkomsten / resultaten
die nog langer effect zouden hebben includeren in de evaluatie.
CONCLUSIE:
→ Net als ander training uitkomsten is er een summative component nodig om de
effectiviteit van coaching weer te geven. Het summative evaluation framework geeft
een basis voor vervolgonderzoek om de invloed van voorspellers van training
uitkomsten te onderzoeken. Zonder deze formative evaluation zouden coaches
wellicht niet de volle potentie van de coaching interventie benutten.
→ Er is bijna geen bewijs of onderzoek die systematisch formatieve evaluatie heeft
uitgevoerd. Er was waarschijnlijk nooit consistentie over welke tussentijdse maten je
zou moeten onderzoeken. Deze review laat dan ook systematisch een gat in de
markt zien wat betreft formatieve evaluatie.
IMPLICATIES:
→ Veel van de resulaten die ze hebben onderzoek bleken toch self-reports wat een
grote limitatie met zich meebrengt.
KRITISCHE VRAAG: WELKE UITKOMSTMAAT ZAGEN ZE ALS MEEST
ONDERZOCHT?
Self-report of change in client leadership behaviour
KRITISCHE VRAAG: WAT VOEGT FORMATIEVE EVALUATIE DAADWERKELIJK
TOE?
Het zou de kwaliteit van de training interventie gedurende/tijdens de training verbeteren
door te kijken welke elementen meer aandacht nodig hebben en zo de kans vergroten dat
coachee de gestelde doelen behaald.
