Wickedness & Beleidsevaluaties

In dit rapport staat de volgende vraag centraal: In welke mate speelt de gradatie van wickedness van problemen een rol bij beleidsevaluaties uitgevoerd door externe, commerciële adviesbureaus? Aan de hand van een kwalitatieve documentenanalyse van twaalf beleidsevaluaties uitgevoerd door vijf externe, commerciële adviesbureaus ben ik tot de conclusie gekomen dat de mate van wickedness een rol speelt bij de inrichting van het rapport, het gehanteerde evaluatieproces, de gehanteerde instrumenten, en de mate waarin een uitspraak wordt gedaan over de doelmatig- en doeltreffendheid van het geëvalueerde beleid. Deze conclusie is gebaseerd op de analyses van onderstaande deelvragen: 1. Hoe kunnen twaalf beleidsevaluaties uitgevoerd door vijf externe, commerciële adviesbureaus worden ingedeeld op een schaal van wickedness? Aan de hand van de mate waarin kennis beschikbaar is, er consensus aanwezig is, en de betrokken actoren bekend zijn, zijn de evaluaties ingedeeld in de gestructureerde, slecht, matig, of ongestructureerde categorie. Een overzicht van de categorisering is afgebeeld in figuur 2. Deze categorisering is de basis voor de analyse van de overige deelvragen. Figuur 2 Beleidsevaluaties op een schaal van wickedness 3 2. In welke mate speelt de gradatie van wickedness en rol bij de inrichting van de rapportage van de geselecteerde beleidsevaluaties? In de inrichting van de rapportage speelt wickedness een rol bij de plek die betrokken actoren krijgen: in de inleiding of in het resultatenonderdeel. De mate van wickedness speelt ook een rol bij het wel of niet bespreken van het leerproces van de beleidsvoerende organisatie: dit gebeurt enkel bij een hoge mate van wickedness. Ten derde speelt de mate van wickedness een rol bij de plaats en vormgeving van de conclusies en aanbevelingen: hoe meer wicked, hoe meer hiermee wordt gevarieerd. 3. In welke mate speelt de gradatie van wickedness een rol bij het evaluatieproces gehanteerd in de geselecteerde beleidsevaluaties? Betreffende het evaluatieproces speelt de mate van wickedness een rol bij het moment waarop de dataverzameling, data-analyse, en de beoordeling plaatsvinden. Hoe hoger de mate van wickedness, hoe later in het evaluatieproces deze stappen plaatsvinden. Ten tweede speelt de mate van wickedness een rol bij het al dan niet lineaire verloop van dit proces. Hoe hoger de mate van wickedness, hoe minder lineair dit proces verloopt. Ten derde speelt wickedness een rol bij het gebruik van kwalitatieve data en het gebruik van evaluatievragen. Hoe meer wicked, des te vaker deze elementen opzichzelfstaand worden gebruikt, zonder kwantitatieve data of evaluatiekader. Ten vierde speelt de mate van wickedness een rol bij het betrekken van actoren bij de analyse: dit gebeurt alleen in de ongestructureerde categorie. Tot slot kan er een fase worden geïdentificeerd die niet terugkomt in de literatuur: de toetsfase. De mate van wickedness speelt een rol bij de frequentie waarin deze fase wordt toegepast: hoe meer wicked het probleem, hoe vaker een toetsfase plaatsvindt. 4. In welke mate speelt de gradatie van wickedness een rol bij de instrumenten gehanteerd in de geselecteerde beleidsevaluaties? Bij de gehanteerde instrumenten speelt de mate van wickedness een rol bij het gebruik van praktijkbezoeken, dit gebeurt enkel bij een lage mate van wickedness. Ten tweede worden klankbordgroepen en validatie sessies alleen toegepast bij een gemiddelde mate van wickedness. De mate van wickedness speelt ook een rol bij het gebruik van de feiten scan, dit wordt enkel gebruikt in de categorie met de hoogste mate van wickedness. Tot slot speelt de mate van wickedness een rol bij reflectiesessies en het expertpanel, deze worden enkel toegepast in de twee categorieën met een hogere mate van wickedness. 4 5. In welke mate speelt de gradatie van wickedness en rol bij de mate waarin de geselecteerde beleidsevaluaties een uitspraak doen over de doelmatig- en doeltreffendheid van het beleid? Tot slot speelt de mate van wickedness een rol bij het vaststellen van de doelmatig- en doeltreffendheid. Bij een lage mate van wickedness wordt altijd een oordeel geveld over de doelmatig- en doeltreffendheid wanneer dit als doel wordt gesteld. Terwijl bij een gemiddelde mate van wickedness geen uitspraak wordt gedaan over de doelmatig- en doeltreffendheid, ondanks dat dit wel als doel van de evaluatie wordt gesteld. Bij een hoge mate van wickedness wordt geconcludeerd dat het niet mogelijk is om een uitspraak te doen over de doelmatig- en doeltreffendheid. Op basis van bovenstaande conclusies doe ik de volgende aanbevelingen. Ten eerste, aan externe, commerciële adviesbureaus, adviseer ik om de mate van wickedness vast te stellen zodat de evaluatie hierop kan worden aangepast. Ten tweede is het gebruik van kwalitatief onderzoek in toenemende mate van belang naarmate wickedness toeneemt. Adviesbureaus zouden daarom moeten investeren in de kwaliteit en het gebruik hiervan. Ten derde, bespreek bij beleidsevaluaties met een hogere mate van wickedness de verwachtingen en perspectieven van de betrokken actoren. Ten vierde, houdt rekening met een wederkerig evaluatieproces inclusief toetsfase, naarmate wickedness toeneemt. Ten vijfde, bij problemen met een hogere mate van wickedness is het evalueren van de doelmatig- en doeltreffendheid nagenoeg onmogelijk. Het leerproces en het proces waarmee het beleid tot stand is gekomen, zouden onderwerp moeten zijn van de evaluatie. Tot slot, een managementsamenvatting is essentieel, neem dit onderdeel altijd op in rapportages van beleidsevaluaties. Aan opdrachtgevers van beleidsevaluaties adviseer ik om bij de evaluatievraag meer nadruk te leggen op het proces waarmee het beleid tot stand is gekomen, in plaats van enkel te focussen op doelmatig- en doeltreffendheid. Tot slot adviseer ik om in toekomstig wetenschappelijk onderzoek de bevindingen uit dit onderzoek op een grotere schaal en met andere methoden te toetsen. Daarbij kunnen externe en interne evaluatoren worden vergeleken en kan worden gekeken naar andere elementen van beleidsevaluaties, zoals het evaluandum of het evaluatiemotief. Ook kan toekomstig onderzoek focussen op de toegevoegde waarde van praktijkbezoeken bij problemen met een hoge mate van wickedness. Aangezien deze problemen zeer contextafhankelijk en uniek zijn, zou dit instrument bij kunnen dragen aan het begrip van het probleem.