De lessen van Hakim Ziyech en Dafne Schippers over weten en doen wat werkt in het sociaal domein
18 Oct 2019 , Floris Lazrak ,
Zouden we een voorbeeld moeten nemen aan Hakim Ziyech die na de halve finale Champions League, waarin hij op de paal schiet, meteen zijn verantwoordelijkheid neemt? Of zijn ze we meer als sprintster Dafne Schippers die na een valse start op de 100 meter op het Nederlands Kampioenschap glashard ontkent dat zij zelf een fout heeft gemaakt? Voor sporters is winst het uiteindelijke doel en bepaalt de scheidsrechter de kaders.
Wie is in het sociale domein de scheidsrechter die bepaalt wie er wint? Binnen het sociaal domein is het vaak onduidelijk wanneer er sprake is van winst of verlies; en hoe we resultaten kunnen verbeteren. Bij onverwachtse uitkomsten bestaat vaak de neiging om te wijzen naar externe factoren. Inzet van datagedreven monitoring maakt het mogelijk om daadwerkelijk causale patronen te herkennen. Daardoor ontstaat ruimte om in de toekomst duurzamer te leren. Datagedreven monitoring vormt zo een randvoorwaarde voor weten wat werkt en kunnen sturen op menselijk rendement. Gemeenten kunnen doelmatige en doeltreffende oplossingen inzetten voor problemen van inwoners rondom armoede, schulden, psychische problematiek, dak- en thuisloosheid, ouderdom, participatie, eenzaamheid etc. Het resultaat is dat gemeenten binnen de begroting blijven en duidelijk is welke middelen en interventies noodzakelijk zijn om inwoners, uitvoerders, beleidsmakers en bestuurders te laten winnen in het sociaal domein.
Inleiding
Ons sociaal domein staat voor zware financiële opgaven. Dit artikel biedt inwoners, uitvoerders beleidsmakers en bestuurders lessen uit de topsport voor een beter en betaalbaarder sociaal domein. In het seizoen 2018 - 2019 staat Ajax in de halve finale Champions League. De uitwedstrijd is gewonnen. In de thuiswedstrijd die volgt schiet Hakim Ziyech in de 79ste minuut op de paal, geen 3 -- 2 waarmee Ajax zo goed als zeker de finale zou hebben gehaald. Het uiteindelijke fatale tegendoelpunt valt in de allerlaatste minuut van de wedstrijd en leidt dan ook tot Amsterdamse tranen. Meteen na de wedstrijd geeft Hakim Ziyech een interview: ``Als je ziet hoeveel kansen ik nog krijg. [...] Waar ik één van die drie móét maken. Dan is het klaar eigenlijk. En dan komt de mokerslag op het laatst. [...] Dat neem ik mezelf zeker kwalijk.''
Op het Nederlands Kampioenschap atletiek in 2018 zet Dafne Schippers enkele stappen op de 100 meter sprint, als opnieuw het startpistool klinkt. De scheidsrechter oordeelt dat ze een valse start heeft. Bij het weglopen van de baan zegt ze tegen de NOS-camera: ``ik weet zeker dat ik niet vals ben.'' In het interview dat volgt, herhaalt ze dat en voegt daar aan toe: ``Ik denk dat ze de blokken niet goed hebben ingesteld.'' Als de interviewer haar confronteert met haar reactietijd, die sneller is dan toegestaan, geeft ze aan dat haar gevoel voor haar leidend is. Welke lessen leren Hakim Ziyech en Dafne Schippers ons over weten en doen wat werkt in het sociaal domein?
Winnen in het sociaal domein
In tegenstelling tot de sport is het binnen het sociaal domein veelal onduidelijk wanneer sprake is van winst. Dat heeft verschillende redenen. Gemeenten maken doelstellingen en daarmee samenhangende objectieve indicatoren vaak onvoldoende concreet. Wat nodig is om specifieke problemen op te lossen is dan moeilijk te bepalen. Een voorbeeld van zo'n minder concreet doel in verschillende beleidsnota's bij meerdere gemeenten: een effectieve en efficiënte aanpak van armoede en schulden. Een andere reden waardoor moeilijk te bepalen is wanneer er sprake is van winst, is dat problemen in het sociaal domein vaak niet op zichzelf staan maar sterk met elkaar verweven zijn. Het aanpakken van een hulpbehoefte gaat vaak gepaard met onverwachte en dikwijls ongewenste neveneffecten. Zo zal iedereen het als winst zien als een dakloze inwoner de maatschappelijke opvang verlaat en een eigen woning heeft. Dat verandert als het resulteert in meer meldingen van overlast van een verwarde of overspannen persoon. En als diezelfde inwoner vervolgens een spoor van schulden achterlaat en een beroep doet op de gemeentelijke schuldhulp zien we dat ook niet als winst. Daarnaast geldt voor veel interventies in het sociaal domein dat niet bewezen is of deze doeltreffend zijn. Dat komt doordat interventies zijn gebaseerd op `een gevoel' dat ze werken, vanuit de gedachte dat ze goed zijn bedoeld en inwoners daarom helpen. Als een interventie dan niet blijkt te werken verwijzen gemeenten graag naar externe factoren die ze niet in de hand hebben of hadden. In andere gevallen bestrijdt een interventie alleen succesvol de symptomen van een probleem zonder het onderliggende probleem echt op te lossen of rekening te houden met andere onverwachtse externe neveneffecten.
Ondanks dat het sociaal domein soms complexer lijkt dan de sportwereld, zijn er dingen te leren van Ziyech en Dafne. Zo is winnen alleen mogelijk als je weet wanneer je wint. Zorg dus dat doelstellingen toetsbaar bijdragen aan het oplossen van het maatschappelijk probleem. Leren van fouten is geen doel, maar een middel om uiteindelijk verlies om te zetten in winst. Ondanks dat de valse start van Dafne ervoor zorgt dat ze verliest, levert het ook informatie op om het in de toekomst beter te doen. Een andere les is dat in het sociaal domein vooraf duidelijk moet zijn welke spelregels we hanteren om uiteindelijk te kunnen winnen. Voor Dafne is duidelijk dat een te snelle reactietijd resulteert in een valse start. Ziyech weet dat het geen doelpunt is als de bal op de paal gaat. Tot slot blijkt wijzen naar externe factoren verleidelijk, alleen draagt dat niet bij aan de winst op lange termijn. Je kijkt dan namelijk nooit naar wat je zelf kunt doen. Als we vaker de juiste keuze maken om het juiste instrument in te zetten dan is het mogelijk om met hetzelfde budget meer inwoners beter te helpen.
Scoren met maatschappelijke effecten
De algehele verwachting dat de uitgaven aan het sociaal domein na de decentralisaties minimaal gelijk zouden blijven en in het positieve geval zouden dalen, komt op dit moment niet uit. De financiële tekorten van gemeenten en het interen op de algemene reserve in begrotingen en jaarrekeningen illustreren dit. Financiën kunnen dan snel leidend zijn in het sociaal domein. Maar deze mogen niet de enige scheidsrechter zijn. Om de hulpverlening en ondersteuning aan inwoners centraler te zetten, is het noodzakelijk dat gemeenten sturen op maatschappelijke effecten die concreet en toetsbaar zijn. Inzicht in de doelmatigheid en doeltreffendheid van interventies helpt dan om onderbouwde keuzes te maken. Inhoudelijk, maar ook financieel. Door vanuit maatschappelijk perspectief te rederenen, kunnen gemeenten verschillende alternatieven beter met elkaar vergelijken.
De scheidsrechter
Een aanname bij de decentralisaties was dat gemeenten beter in staat zouden zijn om in te schatten welke ondersteuning inwoners nodig hebben. Ook werd gedacht dat financiële middelen eenvoudiger ontschot en integraal waren in te zetten. Daardoor werd verondersteld dat ondersteuning doeltreffender en doelmatiger zou zijn te organiseren en daardoor minder zou kosten. De werkelijkheid blijkt helaas anders. Verschillende gemeenten denken daarbij dat zij zelf geen of maar beperkt invloed hebben op de hogere zorgconsumptie van hun inwoners. De argumenten hiervoor zijn divers. Zo zijn er gemeenten die het toenemende beroep op jeugdzorgvoorzieningen wijten aan extra instroom via de `medische verwijsroute'. Voor anderen ligt de oorzaak naar eigen zeggen in een toename van jeugdbeschermingsmaatregelen. Sommige gemeenten betogen dat bij de verdeling van het budget het Rijk onvoldoende rekening houdt met de sociaaleconomische samenstelling van hun bevolking, waardoor ze onvoldoende worden gecompenseerd voor hogere kosten. Een analyse van het beroep op de jeugdhulp bevestigt de invloed van verwijsstromen niet. De aanname dat een verkeerde verdeling op basis van sociaaleconomische status de oorzaak is van de tekorten lijkt niet aannemelijk. In dat geval zouden namelijk gemeenten die een tekort hebben, moeten kunnen worden gecompenseerd vanuit overschotten bij andere gemeenten. Nu bijna geen enkele gemeente uit lijkt te komen met het beschikbare budget -- twee derde meer dan 20 procent tekort komt en één op de vijf gemeenten zelfs meer dat 40 procent -- lijkt er naast een eventueel verdelingsprobleem toch ook iets anders te spelen. Een aanwijzing daarvoor is te vinden in het gebruik van jeugdzorg waar tussen 2015 en 2017 het volume een gemiddelde toename kende van maar liefst 12 procent. Sociaaleconomische omstandigheden van inwoners veranderen te langzaam om een zodanige snelle toename te verklaren. Denk daarbij aan geleidelijk veranderende factoren zoals de samenstelling van het woningaanbod en het aantal kinderen of scheidingen.
Het Centraal Planbureau en wijkteams
In het sociaal domein is weinig onderbouwd empirisch onderzoek voorhanden naar de invloed van de decentralisaties op de omvang van de zorgconsumptie en naar effectieve interventies. Het recente CPB-rapport `De wijkteambenadering nader bekeken' slaagt erin om causale verbanden te leggen over de invloed van wijkteams op het aantal doorverwijzingen naar Wmo-voorzieningen. Het rapport concludeert dat gemeenten met een wijkteam 14 procent meer doorverwijzen naar Wmo-maatwerktrajecten dan gemeenten zonder wijkteam. Bij de presentatie van het CPB-rapport, waar ik als lid van de klankbordgroep aanwezig was, werd door de voorzitter van Divosa in zijn slotwoord als verklaring geopperd dat wijkteams mogelijk beter zijn om problemen (eerder) te signaleren. Het rapport biedt aanknopingspunten om dat te kunnen toetsen. Te zien is dat bijna de hele toename van het aantal doorverwijzingen voor rekening komt van wijkteams waarin zorgaanbieders een rol spelen. Dat zou betekenen dat de toename niet samenhangt met de `outreachende aanpak' van wijkteams maar met de organisatievorm van het wijkteam. Het CPB kreeg na de presentatie vanuit vele hoeken te maken met forse, bijna persoonlijke kritiek. Om te leren en te verbeteren moet je in de spiegel durven kijken. Onafhankelijk onderzoek zoals van het CPB biedt daartoe een kans. Het is de vraag of we net als Hakim Ziyech naar onszelf durven te kijken of dat we meer zijn zoals Dafne, die bij het weglopen na een valse start meer vertrouwt op haar eigen gevoel dan de gemeten reactietijd door de scheidsrechter.
Datagedreven zorgprognose Eindhoven
Afgelopen jaar klopte de gemeentesecretaris van Eindhoven aan bij AEPB Onderzoek en Advies voor een onderbouwde zorgprognose voor de tweedelijns ondersteuning van Wmo en jeugdzorg. Eindhoven koerste af op een omvangrijk tekort op het sociaal domein dat op termijn de algemene reserve zou uitputten. De gemeentesecretaris wilde dat voorkomen en op basis van een onderbouwde en datagedreven zorgprognose de juiste beheersmaatregelen treffen. Op die manier hoopte hij de tekorten in het sociaal domein tijdig te beteugelen. Net als veel andere gemeenten, had Eindhoven het probleem dat voor het sociaal domein de uiteindelijke jaarrekening structureel afweek van de begroting. De werkelijkheid haalde tussentijds opgestelde prognoses steeds weer in. Daarmee ontbrak de noodzakelijke sturingsinformatie voor bestuurders om grip te krijgen op de uitgaven van de Wmo en jeugdzorg. De omvang van het tekort had (te) grote onzekerheidsmarges en het bleef onduidelijk welke beheersmaatregelen welk effect zouden hebben.
Eindhoven had sterk de behoefte om te weten hoe de zorgconsumptie zich zou ontwikkelen en welk deel zij zelf daadwerkelijk – nog – kon beïnvloeden. Om daar antwoord op te geven zijn er door ons twee analyses gemaakt. De eerste analyse richtte zich op de ontwikkeling van de zorgconsumptie van Eindhoven. De tweede analyse vergeleek Eindhoven met Den Bosch, Venlo, Maastricht, Apeldoorn, Rotterdam en Tilburg en verklaarde welk deel van de toekomstige zorgconsumptie typisch voor Eindhoven was en welk deel generiek. Door vervolgens op basis van populatiekenmerken de bandbreedte van de zorgconsumptie te schatten, maakten we inzichtelijk welk deel Eindhoven in ieder geval kon beïnvloeden. De informatie die dat opleverde onderbouwde mede de opbrengst van de verschillende beheersmaatregelen. De tekorten zorgde voor de bestuurlijke urgentie die er anders niet was geweest. Tijdens coalitieonderhandelingen, die volgden op de gemeenteraadsverkiezingen, was er een grotere behoefte om te weten hoe het écht zat. Eindhoven wilde zijn als Hakim Ziyech, en verantwoordelijkheid nemen voor het resultaat en leren voor de toekomst. Dit naast een gemeentesecretaris die beter wilde begrijpen welke lessen hij uit de data kon trekken.
Datagedreven sturen
Om te (be)sturen moet je weten wat je wilt. Afgaande op de kluwen aan ambities, uitgangspunten, (beleids)doelstellingen, resultaten en te bereiken effecten in collegeakkoorden, kadernota's en beleidsplannen lijken gemeenten voor het sociaal domein heel goed te weten wat ze willen bereiken. Helaas voldoen al deze kluwen niet aan de noodzakelijke randvoorwaarde om doelstellingen te concretiseren en te onderbouwen met gedegen probleemanalyses. Gemeenten legitimeren doelen namelijk veelal op basis van nieuwsberichten, incidenten, niet generaliseerbare casussen, anekdotisch bewijs of persoonlijke ervaringen, waarbij zij aannemen dat de inzichten die daaruit voortkomen structurele patronen zijn. Elke nieuwe hype is meteen een wenkend perspectief, zonder dat zij voldoende stilstaan bij de vraag of het echt een oplossing biedt voor problemen waar inwoners tegenaan lopen. Gemeenten zetten nieuwe instrumenten in zonder inzicht in de doelmatigheid en doeltreffendheid, waardoor onduidelijk is of inwoners van de gemeente en de maatschappij als geheel hier echt bij gebaat zijn. Het zorgt er ook voor dat gemeenten doelen (te) weinig formuleren in termen van het oplossen van maatschappelijke problemen . Het draagt eraan bij dat doelen niet, te weinig, of op een verkeerde wijze aan –- eventueel geformuleerde -- indicatoren zijn gekoppeld. Het gevolg is dat monitoring, evaluatie en leren onvoldoende goed in de beleidscyclus zijn verankerd en dat bestuurders moeite hebben om –- tijdig -– bij te sturen omdat ze zich richten op verkeerde waarschuwingssignalen.
Data als coach
Hakim Ziyech en Dafne Schippers zijn dagelijks bezig om zichzelf zo te verbeteren dat ze uiteindelijk winnen. Bij hun leer- en ontwikkelproces en de inzet van trainingsprikkels helpt een coach. Doelen die zij binnen een bepaalde termijn moeten bereiken op het vlak van resultaten, prestaties of proces zijn een hulpmiddel om uiteindelijk te winnen. Hiervoor is het belangrijk om te weten in hoeverre de huidige situatie afwijkt van de gewenste situatie. Zo kunt u de Champions League willen winnen of zoals Dafne 200 meter kunnen sprinten in 21,63 seconde – 33,3 km/u – maar dergelijke doelen liggen op dit moment vermoedelijk buiten uw bereik. Om te toetsen of doelen haalbaar zijn gebruiken sporters continu nieuwe informatie. Diezelfde informatie gebruiken zij en hun coaches om te beoordelen of trainingsprikkels doeltreffend en doelmatig zijn.
In het sociaal domein denkt iedereen meteen de Champions League te kunnen winnen. Het ontbreken van een goede probleemanalyse zorgt ervoor dat gemeenten te ambitieuze doelen vaststellen. Het is daardoor te laat duidelijk dat met de ingezette `trainingsprikkels' de gemeente de Champions League niet gaat winnen, maar zelfs blij mag zijn om niet te degraderen uit de 6e klasse. Door een goede probleemverkenning te koppelen aan de in te zetten beleids- en uitvoeringskeuzes, is het mogelijk om met behulp van data te kiezen voor oplossingen die doeltreffender en doelmatiger zijn. Zo kunnen gemeenten scherper sturen op maatschappelijke effecten en de uitgaven die daarmee gepaard gaan, waardoor er een minder groot risico is dat de gemeenten de begroting overschrijden.
Datagedreven evaluatie
Een valse start van Dafne kan je niet vaststellen als je de loopsnelheid meet. Om datagedreven te kunnen evalueren is het vaststellen, bijhouden en rapporteren van juiste indicatoren van belang om inzicht te krijgen in het bereiken van maatschappelijke effecten. Losse data en willekeurige indicatoren leveren een nietszeggende cijferbrij op. Data is pas informatie als de gegevens een betekenis hebben. Dat gebeurt als je data ordent en analyseert binnen de beleidscontext. Zo kan bijvoorbeeld het aantal bijstandsgerechtigden van 45 jaar en ouder als indicator waardevol zijn om inzicht te krijgen in de omvang van een probleem, maar zegt dezelfde indicator niets over de oorzaak van het probleem. Laat staan dat het inzicht verschaft over het succes van een gevoerde 45-plusaanpak. Daarvoor dient de gemeente de omvang te relateren aan andere indicatoren zoals instroom en uitstroom zodat ze de causaliteit laten zien in plaats van de correlatie.
Inwoners hebben recht op een werkend sociaal domein. Het is verleidelijk om te zwichten voor het enthousiasme en de energie van een nieuwe hype. Dan wel om door te gaan met een beleidsinterventie waarvan onduidelijk is of deze werkt, alleen omdat iedereen het gevoel heeft dat het werkt. Of om door te gaan omdat sommige belanghebbenden beter in staat zijn om bestuurlijke steun te organiseren. Het inzetten van schaarse publieke middelen aan interventies die niet doelmatig en niet doeltreffend zijn leidt niet het overwinnen van maatschappelijke problemen. Dit alles pleit voor meer kennis over wat nu werkt in het sociaal domein. Ambities moeten een vertaling krijgen naar concrete doelen die menselijk rendement centraal stellen. Het is dan ook duidelijk welke doelen gemeenten niet kunnen bereiken als (bij)sturen op de begroting noodzakelijk is. Dit pleit voor kennis over de werking van het sociaal domein in plaats van simpele indicatoren of correlaties, zodat we het mogelijk maken om te anticiperen op maatschappelijke problemen en te (be)sturen op maatschappelijke effecten. Toen Louis van Gaal coach was van Ajax hing naar verluidt in zijn kantoor een bordje met de tekst: `Kwaliteit is het uitsluiten van toeval'. Het sociaal domein is erbij gebaat als bestuurders meer kennis hebben en minder overgeleverd zijn aan toeval. Datagedreven sturen is investeren in de kwaliteit van het sociaal domein.
Conclusie
Wie is de scheidsrechter? Wie beoordeelt of het doelpunt geldig is? Wie bepaalt of de start van de sprint niet vals is? Het voetbal werkt sinds kort met de Video Assistant Referee (VAR). In atletiek zijn reactietijden en fotofinish hulpmiddelen voor de scheidsrechter. Na de decentralisaties is de raad de nieuwe scheidsrechter in het sociaal domein. Hoe kunnen we de verschillende belangen in het sociaal domein tegen elkaar afwegen? Een domein waarin het `gevoel' dat iets werkt soms belangrijker lijkt te zijn dan daadwerkelijk doeltreffende of doelmatige keuzes. Er bestaat de angst dat sturen op `cijfers' leidt tot een kille afrekencultuur waarin we de menselijke maat uit het oog verliezen. Het tegendeel is waar, menselijk rendement staat centraal. Datagedreven sturing maakt het mogelijk om inwoners juist die hulp en ondersteuning te bieden die ze nodig hebben door te helpen met voorzieningen die echt werken. Het maakt het mogelijk om meer inwoners te ondersteunen omdat gemeenten zuiniger omgaan met de beschikbare middelen. Daarnaast geeft het bestuurders, beleidsmakers en uitvoerenden kennis over welke doelen realistisch zijn en zij ook echt kunnen bereiken. In elke fase van de beleidscyclus kan datagedreven sturing een bijdrage leveren aan het verkrijgen van meer inzicht en zo afwegingen en besluiten objectiveren. Leren is erop gericht om doelen te bereiken en om lessen in de praktijk te brengen, en zo in de toekomst vermijdbare fouten te voorkomen. Dafne ontkent haar eigen fouten en wijst naar externe factoren en laat daarmee zien dat onze emoties ons soms in de weg kunnen zitten. Hakim Ziyech geeft het voorbeeld door te laten zien dat hij naar zichzelf kan en durft te kijken.
Voorafgaand aan de decentralisaties dachten gemeenten dat zij de ondersteuning aan hun inwoners goedkoper konden organiseren. In de praktijk blijkt die ondersteuning duurder te zijn. Echte transformatie in het sociaal domein wordt alleen mogelijk als beleidsmakers en bestuurders besluiten om datagedreven te (be)sturen. Dat begint bij een goede probleemanalyse op basis waarvan zij realistische en concrete doelen formuleren met betrekking tot de maatschappelijke effecten die zij willen bereiken. Door goede prestatie-indicatoren op te stellen die causale relaties monitoren en rapporteren is het mogelijk om beleidsuitvoering structureel te evalueren en te leren van fouten. Fouten maken is heel erg waardevol. Niet leren van fouten is erg kostbaar. Zowel in euro's als in vermijdbaar menselijk leed. Goede bestuurders en beleidsmakers durven te leren van gemaakte fouten. Daarom is vakmanschap voor beleidsmakers noodzakelijk. In het sociaal domein is meer behoefte aan een goede coach die weet wat werkt dan aan een juichende supporter.
Archief
- Hervorm met inzicht
- MKBA lumpsumbekostigde jeugdzorg
- Sociale bank check
- Samenwerken voor burgers
- Impressie wijkteams en sociale dienst
- Symposium Almere 2019
- Vacature (junior) kwantitatief (beleids)onderzoeker
- Vacature werkstudent econometrie/economie
- Vacature (junior) onderzoeker sociale wetenschappen
- Stagiair econometrie/economie
Nieuws
Waar werken wij aan
- GGZ in de wijk. Maatschappelijke business case naar de EPA-aanpak in Zwolle
- Integrale samenwerking tussen sociale dienst en wijkteam in Drechtsteden
- De maatschappelijke meerwaarde van de samenwerking tussen onderwijs en jeugdzorg in Enschede
- Maatschappelijke meerwaarde van de samenwerking tussen onderwijs en jeugdzorg in Almere
- Evaluatie van een klantgerichte aanpak tegen niet-gebruik van voorzieningen in Almere
- Jaarmonitor bijstand 2018. Jongvolwassenen met een bijstandsuitkering
- Second opinion businesscase onderwijs-jeugdhulparrangementen Almere
- Rekentool voor budgetplafonds in Eindhoven
- Maatschappelijke opbrengst van het maatwerkbudget in Almere
- Grip op de uitgaven in de tweedelijn: een prognosemodel voor sturing en bekostiging in Eindhoven
- Eindhoven wil grip op de kosten in de tweede lijn van Wmo en jeugdzorg
- Effectmeting Sociale Wijkteams Apeldoorn: vervolgmeting
- Sociale verhuur van monumenten: Philipsdorp nader in beeld
- Sociale verhuur van monumenten, asociaal?
- Evaluatie van de samenwerking tussen wijkteam en sociale dienst in Almere
- Sociale wijkteams Apeldoorn, getallen achter de mensen
- Sociale verhuur van monumenten. Een maatschappelijke taak voor wooncorporaties?
- Meten, weten, doen en betalen wat werkt?
- Monitoring Sociale wijkteams
- De jongere achter de schulden
- Effectgerichte monitoringstool sociale wijkteams Apeldoorn
- MKBA naar de sociale verhuur van monumenten
- De (on)tastbaarheid van maatschappelijk rendement
- Met een economische bril kijken naar erfgoedbeleid: lunchlezing Monumenten & Archeologie
- Effectevaluatie van schuldhulpverlening bij meervoudige problematiek in Amsterdam Zu
- Colleges post-hbo 2014-2015: economische en maatschappelijke waarde van erfgoed
- Quantifying the Economic Value of Cultural Heritage
- Maatschappelijke waarde van inwonersparticipatie in Amsterdam
- Effectevaluatie wijkteam Amsterdam: advies onderzoeksopzet Samen DOEN
- MKBA's in het sociaal domein: evaluatie MKBA Zaanstad
- Eindhovens erfgoed van (on)zichtbare waarde
- Colleges economische en maatschappelijke waarde van erfgoed 2013-2014
- Decentralisaties sociaal domein