Evaluatie van wijkteams, fundament voor beleid?

Door Fuusje de Graaff.

De waarde van evaluaties

Kun je beleidsmaatregelen in een complexe maatschappelijke context op een ideale manier evalueren? Die vraag werd mij voorgelegd naar aanleiding van het uitkomen van twee studies over de effectiviteit van de inzet van wijkteams. Drie onderzoekers van het CPB en één onderzoeker die in opdracht van de Associatie van wijkteams (de koepelorganisatie van WMO-wijkteams) werkte, hebben in twee afzonderlijke studies de waarde van wijkteams geëvalueerd. Het CPB concludeert dat de inzet van wijkteams niet de beoogde effecten oplevert en adviseert gemeenten minder gebruik te maken van wijkteams, terwijl het onderzoek voor de Associatie heel positief is over de waarde van wijkteams en gemeenten adviseert ‘de wijkteams tijd, ruimte en vertrouwen te geven om door te bouwen op de gelegde basis’.

Hoe is zo’n groot verschil te verklaren?  Daartoe zal ik in deze blog eerst kort weergeven wat de bevindingen zijn van beide studies en waarom zij tot verschillende aanbevelingen komen. Dan wordt ook duidelijk dat het idee van ‘een ideale evaluatie van wijkteams’ ter onderbouwing van complex beleid mijn inziens een illusie is en dat ik op grond van deze evaluaties geen uitspraak zal doen over de waarde van wijkteams.

Het ene onderzoek...

Het eerste onderzoek, van Van Eijkel, Gerritsen & Vermeulen verscheen in 2019 onder de titel: De wijkbenadering nader bekeken: het effect van de inzet van wijkteams op WMO-gebruik. De aanleiding voor het onderzoek van het CPB is de onvrede bij bepaalde gemeenten over de vormgeving en het functioneren van hun wijkteams: De onderzoekers willen gemeenten handvatten voor verder beleid geven en focussen daarbij op één van de doelen van de decentralisatie van beleid van Rijk naar Gemeenten, namelijk afschaling, zoals verwoord in de Memorie van Toelichting: “Gemeenten kunnen door een groter beroep te doen op de eigen mogelijkheden van mensen en hun sociale netwerk en door gebruikmaking van algemene voorzieningen en maatwerkvoorzieningen, de ondersteuning met een beperkter budget uitvoeren dan de Rijksoverheid.” .

De onderzoeksvragen zijn gerelateerd aan die doelstelling:

1) Vertoont het gebruik van tweedelijnszorg een sterkere daling (of minder grote stijging) in gemeenten met wijkteams dan in gemeenten zonder wijkteams?

2)Maakt het voor het aantal doorverwijzingen naar de tweede lijn uit of zorgaanbieders onderdeel uitmaken van het wijkteam?

De a priori verwachtingen worden expliciet uitgeschreven: ‘Waarom zouden we op voorhand verschillen verwachten tussen gemeenten met wijkteams en gemeenten zonder? We verwachten dat de achtergrond van degene die over de toegang tot de tweede lijn gaat (de ‘indicatiesteller’), een rol speelt. Het opnemen van ‘externe’ professionals in het wijkteam maakt het mogelijk om expertise, afkomstig uit verschillende zorgterreinen, te benutten…..Dit betekent ook dat deze professionals een grotere invloed krijgen op de toegang tot de tweede lijn, zeker als de indicatiestelling binnen het wijkteam is belegd. …Wijkteams die integraal werken, zien wellicht sneller dat escalatie van een hulpvraag dreigt en schalen eerder op naar zwaardere zorg om erger te voorkomen. Wijkteams die actief in de wijk op zoek gaan naar verborgen problematiek, zullen naar verwachting meer doorverwijzen dan wijkteams die niet zo werken.’. Deze vooronderstellingen komen voort uit eerder kwalitatief onderzoek (Bredewold e.a., 2018) en analyses van Movisie en Vilans. Gemeenten worden op basis van hun vormgeving van de WMO ingedeeld in type A (Gemeentelijk WMO loket), B (Wijkteam zonder zorgaanbieders) en C (wijkteam met zorgaanbieders)’.

Omdat de wijkteams niet alleen qua personele bezetting maar ook qua taken divers zijn en veel activiteiten niet goed gebudgetteerd kunnen worden, beperkt de studie zich tot de bekostiging van de voorzieningen ‘individuele begeleiding’ en ‘dagbesteding’. De daarbij behorende begrippen en meetinstrumenten worden duidelijk gedefinieerd.  Bovendien is er vergelijking mogelijk met hoe deze voorzieningen voor 2015 werden geïndiceerd en betaald door de Zorgkantoren: De indicering, financiering en uitvoering waren toen landelijk geregeld en onafhankelijk van elkaar.

Met behulp van ingenieuze en goed onderbouwde statistische berekeningen van de data van het CBS, CIZ etc. en van de enquête onder 167 gemeenten (42%  van alle gemeenten in 2015) worden eerder genoemde vooronderstellingen bevestigd. De statistische analyses van de gevonden data laten zien dat de inzet van wijkteams niet leidt tot afschaling van het aantal Wmo-cliënten, maar tot een stijging (van 13%) en dat die stijging het hoogst is in gemeenten met wijkteams waarin ook zorgverleners zitten van zorgaanbieders van maatvoorzieningen.

De gevonden samenhang bewijst nog geen causaliteit. Daarom vergelijken de onderzoekers de gevonden trends met de cijfers van voor 2015. Het betreffen ingewikkelde statistische analyses (bijvoorbeeld over de mate waarin maatwerkvoorzieningen zijn stopgezet, de mate waarin naar zwaardere zorg wordt verwezen, de mate waarin het aantal uren zorg is afgeschaald), maar die leveren geen significante verschillen op tussen gemeenten met wijkteams met zorgaanbieders en gemeenten met wijkteams zonder zorgaanbieders.

Kortom de onderzoekers concluderen dat de inzet van wijkteams niet leidt tot de beoogde afschaling, maar juist tot meer doorverwijzingen naar Wmo-maatwerktrajecten als dagbesteding en begeleiding. De stijging is het grootst in gemeenten waarin zorgaanbieders deel uit maken van het wijkteam. Om de kosten te beteugelen kunnen gemeenten dus o.a.:

• Toeleiding voor simpele hulpvragen via het WMOloket laten verlopen en niet via wijkteams
• In de wijkteams de invloed van zorgaanbieders terugdringen
• Zorgen dat de WMOconsulenten (van de gemeente zelf) wel goed opgeleid zijn en kennis hebben van het veld.
• Zorgen dat wijkteammedewerkers goed opgeleid zijn en kostenbewustzijn ontwikkelen.

Het andere onderzoek

Het andere onderzoek is van Van der Zwaan  (2022). Het betreft een literatuuronderzoek van 34 jaarverslagen, 18 cliëntervaringsonderzoeken en 27 lokale evaluaties. Aanleiding voor dit onderzoek was de wens van de Associatie, om als ‘netwerkorganisatie van wijkteams door het hele land vanuit het perspectief van wijkteams en een bijdrage leveren aan de maatschappelijke debatten en ontwikkelingen, en noodzakelijke verbeteringen in het sociaal domein’.  In opdracht van de Associatie heeft de onderzoeker een breed beeld van de huidige resultaten van het werk van wijkteams geschetst en de resultaten afgezet tegen de transformatiedoelen van de decentralisatie, namelijk

• Preventie en eigen kracht versterken
• Eerder juiste hulp op maat bieden
• Voorkomen van de inzet van specialistische hulp
• Meer samenhang in de hulp en ondersteuning

Daarnaast worden de interne uitdagingen van de wijkteams belicht en de werkzame elementen beschreven, wat uitmondt in aanbevelingen voor de Associatie, individuele wijkteams en gemeenten.

Het onderzoek betreft zowel de activiteiten uitgevoerd in het kader van de Jeugdwet als van de Wet Maatschappelijke ondersteuning. Het eerst beschreven transformatiedoel is: Het aanspreken van eigen kracht en kracht van het netwerk. De onderzoeker schrijft daarover:

‘De onderzochte literatuur laat zien dat inwoners, gezinnen en huishoudens die met deze werkwijze te maken krijgen, veelal hun eigen verantwoordelijkheid erkennen en begrijpen waarom er wordt gekeken naar eigen kracht. Zij ervaren dit dan ook geregeld als positief. Niet alle inwoners, gezinnen of huishoudens zijn overigens tevreden over deze werkwijze, blijkt uit de praktijkvoorbeelden. Soms zijn grenzen aan eigen kracht en inzet netwerk al bereikt. Een gesprek over eigen kracht en netwerk kan dan als onprettig worden ervaren’.

En:

‘Of de inzet op eigen kracht daadwerkelijk leidt tot het (meer) benutten van de eigen kracht van de inwoner, het gezin, het huishouden en het netwerk, lijkt aannemelijk maar kunnen wij niet met zekerheid vaststellen’.

Een tweede transformatiedoel is om de juiste hulp op maat te bieden, o.a. door vroegtijdige signalering en een tijdige aanpak ook voor wijkbewoners wier problemen niet snel in beeld zijn (outreachend werken).  Volgens de onderzoeker geven vooral de clientervaringsonderzoeken indicaties dat de wijkteams laagdrempelig zijn. De bekendheid van de wijkteams zou zijn toegenomen van 57% in 2016-2017 tot 75% in 2020-2021.  Deze cijfers komen voort uit eigen berekeningen, gebaseerd op een onconventionele rekenmethode die in de verantwoording aan het eind van het rapport wordt toegelicht.

Het derde transformatiedoel betreft verminderen van specialistische hulp, om zo tot kostenbesparingen te komen. Anders dan in de  CPB-studie wordt hier bepleit dat wijkteams zelf hulp bieden, in ieder geval in de basisfuncties. Net als in die eerste studie wordt geconstateerd dat er verschillen zijn tussen wijkteams die zelf hulp bieden en wijkteams die alleen mogen doorverwijzen. Alleen wordt het eerste nu als positief element gezien, bijvoorbeeld omdat het escalatie van problemen in de jeugdzorg lijkt te voorkomen.  “In 2020 is landelijk gemiddeld 3,7% van de jeugdhulptrajecten gestart vanuit een crisissituatie. Dit blijkt uit cijfers in CBS. Bij wijkteams die zelf hulp bieden is dit 2,3% en bij wijkteams die niet/beperkt hulp bieden is dit 3,6%. Kijkend naar de ontwikkeling t.o.v. 2017 is te zien dat het aantal trajecten dat vanuit een crisissituatie is gestart bij wijkteams die zelf hulp bieden met circa 40% is afgenomen. Bij wijkteams die niet/beperkt hulp bieden is sprake van een afname met 10%. Op basis van deze cijfers kunnen we concluderen dat wijkteams die zelf hulp bieden een toegevoegde waarde hebben in het voorkomen van escalatie”.

Onder verwijzing naar de CBS gegevens over ambulante jeugdhulp op locatie aanbieder, ambulante jeugdhulp in netwerk jeugdige en daghulp wordt berekend dat wijkteams vanaf 2019 bijdragen aan het terugdringen van specialistische hulp. Of dit een corona-effect is, blijft onzeker.          

Het vierde besproken transformatiedoel betreft het bevorderen van samenhang tussen welzijn, zorg en ondersteuning op wijkniveau. Uit de literatuur blijkt dat professionals een meerwaarde ervaren doordat de wijkteams een multidisciplinaire samenstelling kennen, waarin generalistische en specialistische expertise gebundeld worden. In de verschillende overleggen in de wijk, gezamenlijke casuïstiek besprekingen, gezamenlijke bureaudiensten en  gezamenlijke wijkplannen en wijkprojecten, werken de wijkteams aan het bevorderen van samenhangende hulp.

Het streven van één gezin, één plan, één regisseur per client of huishouden, blijkt echter vaak niet gehaald te worden, bijvoorbeeld door privacy wetgeving, onvoldoende regie over de grenzen van de eigen organisatie heen, de werkdruk, geen gedeelde visie & taal en diverse organisatiebelangen, etc.

Tot slot worden in het laatste hoofdstukken werkzame elementen die de literatuur noemt opgesomd en nader toegelicht. Op professioneel niveau worden verbeterpunten geformuleerd voor de relatie professional-client, de relatie professional-partnerorganisaties, het signaleren, oppakken en afhandelen van hulpvragen, het handelen met een brede blik, het samen leren en verbeteren. Op organisatieniveau wordt ingegaan op de samenstelling van de teams, het mandaat, leiderschap en als belemmeringen worden wisselingen in personeel, onvoldoende capaciteit, en wachtlijsten besproken. Op al deze punten worden aanbevelingen geformuleerd.

Overeenkomsten en verschillen

Wie deze samenvattingen leest, ziet al snel dat de onderzoekers voor beide studies ontzettend veel werk hebben verzet. Beide rapporten zijn ook zeer toegankelijk geschreven.

Maar ze verschillen qua vraagstelling en komen daardoor tot zeer verschillende conclusies. Eigenlijk worden beide evaluaties te zeer gestuurd door de vragen en belangen van de opdrachtgever.  Dit euvel kleeft aan veel beleidsgericht onderzoek: de a priori veronderstellingen worden hard gemaakt, zodat beleidsmakers hun politieke keuzen kunnen maken onder het motto: ‘Uit onderzoek blijkt’.

Daarnaast zijn de gebruikte onderzoeksmethoden elkaars tegenhanger: terwijl de CPB-onderzoekers gedegen en diepgaand enkele parameters meten omdat die wat meetbaar zijn, maar daarbij belangrijke niet meetbare informatie buiten beschouwing laten, wil de Associatie alles wat in de ogen van de professionals kwalitatief belangrijk is op basis van een literatuuranalyse in kaart brengen, waarmee een breed palet van nauwelijks te verifiëren ervaringen en meningen wordt gepresenteerd.  Deze methodische bezwaren mijnerzijds vergen mogelijk meer toelichting: Bij het CPB heeft men om zinvol vergelijkingen tussen gemeenten te maken, de studie beperkt tot de voorzieningen individuele begeleiding en dagbesteding. De vraag is of het adagium ‘pars pro proto’  in deze wel opgaat. De onderzoekers beamen expliciet dat de kwaliteit van de zorg en de effecten van de wijkteams niet gemeten wordt. Toch wordt in hoofdstuk 5 van Effectstudies gesproken en adviseert men op basis daarvan gemeenten. Blijkbaar heeft men de tekst van de memorie van Toelichting ingekort tot : “Gemeenten kunnen de ondersteuning met een beperkter budget uitvoeren dan de Rijksoverheid.”. De onderliggende motivatie voor de decentralisatie was echter de gedachte dat gemeenten beter gebruik zouden kunnen maken van de kwaliteiten van de lokale infrastructuur. Dat wordt even vergeten?  Ik hoop nog steeds dat gemeentelijke bestuurders daar wel oog voor hebben.  

De onderzoeker van de Associatie poogt dan wel een brede kijk te bieden op de problemen en mogelijke oplossingen waarbij de literatuurstudie tot doel heeft in beeld te brengen hoe de verschillende transformatiedoelen zijn ingelost, maar de analyses van de literatuur zijn moeilijk te volgen (mede door het uitblijven van een eenduidige definiëring en operationalisering van begrippen, gebrekkige bronvermelding en onnavolgbare becijferingen) waardoor de conclusies niet stevig overkomen. Ook zijn soms aanbevelingen gedaan die niet voortkomen uit de gepresenteerde data. Ter illustratie daarvan:  de onderzoeker concludeert onder andere:

• Wijkteams dragen zichtbaar bij aan het inzetten op het benutten en versterken van de eigen kracht van inwoners, gezinnen en huishoudens en hun netwerk.
• Wijkteams vergroten de zelfredzaamheid van inwoners, gezinnen en huishoudens
• Circa de helft van de wijkteams zet in op preventie: grootste belemmering is tijd.

Op basis daarvan wordt aanbevolen:  

“Zorg voor voldoende ruimte en tijd voor het uitvoeren van en/of bijdragen aan preventieve taken, het inzetten en versterken van de eigen kracht, kracht van het sociaal netwerk, de wijk en/of informele zorg. Het kan hierbij helpend zijn om hiervoor een functie in het leven te roepen; één of meerdere professionals binnen het wijkteam die dit als specifieke taak heeft en daarbij ook als “expert” door de andere professionals kan worden geraadpleegd’.

De formulering van de conclusies getuigt meer van wensdenken dan van data-presentatie en de aanbeveling bevat naast te algemene uitspraken, een concrete suggestie die niet voortvloeit uit eerder gepresenteerde bevindingen. Deze studie wordt zwak omdat er te veel, te vaag en te weinig onderbouwde beleidssuggesties worden gedaan.

Wat levert dit op?

1. Besef dat beleid evalueren een tricky aangelegenheid is, omdat opdrachtgevers deze evaluaties vaak vooral laten uitvoeren om eerdere politieke keuzen te verantwoorden of nieuwe politieke keuzen te verkopen. Probeer dus altijd breder te kijken dan het perspectief van de opdrachtgever: juist dan kunnen evaluaties de besluitvorming in de politiek helpen.
2. Besef dat de keuze van de onderzoeksvragen en te gebruiken methoden in beleidsonderzoek nooit ‘ideaal’ zijn. Erken de beperkingen van elk type onderzoek.
3. Volgens mij is het ideale van evalueren dat het mensen dwingt en leert nieuwsgierig te zijn en zich open te stellen voor het onbekende. In dat opzicht is het proces van onderzoek minstens zo belangrijk voor alle betrokkenen (incl. onderzoeker en opdrachtgever) als het evaluatieverslag als product.
4. Besef dat tijdens [en door] de uitvoering van het onderzoek de realiteit van zorg en welzijn al verandert: een onderzoek over de ontwikkelingen van wijkteams tussen 2014 en 2017 zal tot andere conclusies leiden dan een onderzoek over de ontwikkelingen tussen 2017-2020.  Beleid en evaluaties in deze sector kunnen bovendien niet los gezien worden van andere actuele ontwikkelingen. Heel concreet werd het functioneren van wijkteams tussen 2014 en 2022 echt niet alleen bepaald door de gemeentelijke budgetten of de opgetekende ervaringen van professionals en cliënten van het wijkteam. Waarschijnlijk was er ook meer jeugdzorg nodig omdat de scholen steeds meer kampen met een tekort aan leraren, waren er meer en andere vormen van maatschappelijke ondersteuning nodig omdat er een corona-epidemie uitbrak en werd het participeren van zwakke wijkbewoners beïnvloed door veranderingen op de arbeidsmarkt en de snelle digitalisering van onderlinge contacten.