Een meetbaar leefklimaat: onderzoek naar een meetinstrument om het leerklimaat te meten op de afdelingen van het Martini Ziekenhuis vanuit het perspectief van studenten verpleegkunde

In de inleiding van dit onderzoek zijn een onderzoeksvraag en een drietal deelvragen geformuleerd. In deze conclusie staat een antwoord op de drie deelvragen beschreven en vervolgens is er antwoordgegeven op de centrale vraagstelling van dit onderzoek. Deze luidt: Hoe valide en betrouwbaar is de Clinical Learning Environment Inventory (CLEI) voor het meten van leerklimaat in de context van hetMartini Ziekenhuis? De conclusie wordt gevolgd door een kritische reflectie op het onderzoek in de vorm van de discussie. In de discussie zijn de theoretische relevantie, de praktische relevantie,beperkingen van het onderzoek en suggesties voor vervolgonderzoek beschreven.ConclusieDe eerste deelvraag in dit onderzoek is: Welke schalen uit de CLEI zijn valide en betrouwbaar in de context van het ziekenhuis? Op basis van de steekproef in dit onderzoek is door middel van defactoranalyse naar voren gekomen dat de oorspronkelijke schalen van de CLEI over verschillende componenten in de factoranalyse zijn verdeeld. De originele schalen personalisatie, individualisatie,innovatie, taakoriëntatie, betrokkenheid en studenttevredenheid, met in elke schaal zeven items uit de CLEI, lijken in de context van het Martini Ziekenhuis niet valide te zijn. De zeven items in elke schaalmeten niet het kenmerk dat ze behoren te meten zoals in de door Chan (2001a) ontwikkelde CLEI.Uit de factoranalyse met de verzamelde data in het Martini Ziekenhuis zijn 31 items van de 42 items uit de originele CLEI overgebleven en onderverdeeld in 12 schalen (tabel 4 tot en met 6). Debetrouwbaarheid, berekend in Cronbachs alfa, varieerde op de 12 schalen tussen de 0.27-0.80. Bij slechts vier schalen bleek de waarde van de Cronbachs alfa hoger dan 0.6. Dit zijn de schalen eigenmening, werktempo, empathie en hulp werkbegeleiders en organisatie stage. De schaal empathie en hulp werkbegeleiders bestaat uit vier items uit de schaal personalisatie uit de originele CLEI en heefteen Cronbachs alfa van 0.8. Deze vier items uit de schaal personalisatie vormen in deze steekproef een valide en betrouwbare schaal. De schalen eigen mening, werktempo en organisatie stage bevattenitems uit verschillende schalen uit de originele schaalindeling van de CLEI. De items komen uit de schalen studentbetrokkenheid, individualisatie, tevredenheid en taakoriëntatie. Opvallend is dat ergeen enkel item uit de schaal innovatie in een redelijk betrouwbare schaal naar voren komt.De twee nieuwe schalen betrokkenheid en taaktevredenheid hebben beiden een Cronbachs alfa van hoger dan 0.5. De schaal taaktevredenheid bestaat uit drie items uit de schaal taakoriëntatie vanChan (2001a). Deze waarde van betrouwbaarheid en drie items uit dezelfde schaal wijzen erop dat een deel van de schaal taakoriëntatie redelijk valide en betrouwbaar is in de context van het MartiniZiekenhuis. De schalen onderhandelingsruimte, variatie begeleiding, dienstinhoud, verheugen stage/einde stage, innovatieve activiteiten en taakvariatie zijn in deze steekproef onvoldoendebetrouwbaar met een lagere Cronbachs alfa dan 0.5. Op de schalen taakvariatie, variatie begeleiding en dienstinhoud zijn na de factoranalyse enkele statistisch significante verschillen gevonden tussen leer- en niet leerafdelingen, mbo- en hbostudentenen tussen mannen en vrouwen. Deze drie schalen hebben een Cronbachs alfa variërend tussen de 0.27-0.39. Deze waarden worden als onvoldoende betrouwbaar bevonden om uitspraken tekunnen doen over deze verschillen.Concluderend zijn uit de factoranalyse nieuwe schalen naar voren gekomen en enkele van deze schalen hebben sterke tot redelijke betrouwbaarheid in de context van het Martini Ziekenhuis. Deoriginele schalen personalisatie en taakoriëntatie zijn in studies naar de CLEI tevens aangewezen als betekenisvolle schalen (Chan, 2002; Hendersons, Twentyman, Heel & Lloyd, 2006; Perli enBrugnolli, 2009). Dit wijst erop dat deze schalen of in ieder geval bepaalde items uit deze schalen samen universele kenmerken meten van het leerklimaat in verschillende klinische contexten. Drenthen Sijtsma (2006) stellen dat een meting betrouwbaar kan zijn en tegelijkertijd niet valide, maar dat een onbetrouwbare meting per definitie niet valide is. Een groot deel van de nieuwe schalen blijkt nietbetrouwbaar. De mogelijke oorzaak daarvoor kan dus zijn dat de items niet valide zijn. De kwalitatieve bevindingen van dit onderzoek wijzen erop dat bepaalde items uit de vragenlijst nietvalide zijn. Validiteit is dat een instrument meet wat het behoort te meten (Drenth & Sijtsma, 2006).De betrouwbaarheid is de mate van herhaalbaarheid van de meting onder bepaalde gelijkblijvende omstandigheden. De kwalitatieve bevindingen wijzen erop dat bepaalde item voor verschillendeinterpretaties vatbaar zijn. Hierdoor zal bij een herhaling van de meting veel variatie zijn over verschillende onafhankelijke metingen. De meting zal beïnvloed worden door toevallige foutenwaardoor de betrouwbaarheid laag is (Drenth & Sijtsma, 2006).De tweede deelvraag in dit onderzoek luidt: Welke verschillende interpretaties en betekenissen geven derdejaars mbo-studenten en vierdejaars hbo-studenten aan bepaalde items uit de CLEI? Bijacht van de 12 items die in de focusgroepen zijn bevraagd zijn er verschillen in interpretatie te herkennen tussen derdejaars mbo-studenten en vierdejaars hbo-studenten. Bij drie van deze acht itemsis een duidelijk verschil gevonden in de interpretatie tussen derdejaars mbo-studenten en vierdejaars hbo-studenten. Dit geldt als eerst voor het item ‘de werkbegeleiders houden rekening met mijngevoelens’. Dit item wordt door de mbo-studenten geïnterpreteerd in hoeverre de werkbegeleiders rekening houden met gevoelens over gebeurtenissen binnen de stage en de werkzaamheden. Devierdejaars hbo-studenten trekken dit item breder over het algemeen. Dit kan volgens hen gevoelens over het werk gaan, de eigen grenzen die de stagiair kan aangeven binnen de stage of dat dewerkbegeleiders geïnteresseerd zijn in de stagiair als persoon. Bij het tweede item ‘de werkbegeleiders helpen mij bij problemen’ geven sommige derdejaars mbo-studenten aan het item te interpreteren opproblemen die stage gerelateerd zijn en daarnaast interpreteren enkele andere mbo-studenten het item op het gebied van problemen in de privésituatie. De hbo-studenten noemen bij dit item enkelproblemen die stage gerelateerd zijn. Het laatste item met een verschil tussen mbo- en hbo-studenten heeft betrekking op het item ‘routineactiviteiten worden helder uiteengezet’. dit item door de mbo-studenten niet begrepen. Dit wijst erop dat de score die deze groep respondenten aan dit item toekent niet representatief is. De hbo-studenten herkenden deze routineactiviteiten binnende stage, maar vonden de formulering van het item onduidelijk. Routineactiviteiten worden volgens hen niet helder uiteengezet, maar hierover worden afspraken gemaakt. Er wordt bij dit item tevensaangegeven dat het verschilt tussen afdelingen of er op een bepaalde afdeling veel routinematige handelingen worden uitgevoerd. Het is afhankelijk van de aard van de werkzaamheden op een afdelingof deze routineactiviteiten te herkennen zijn.Bij vijf items is er tevens verschil in interpretaties tussen mbo- en hbo-studenten. Daarnaast is er bij deze items tevens verschil tussen de mbo- en hbo-studenten onderling over de interpretatie enbetekenis. Deze items blijken voor verschillende interpretatie vatbaar. Het eerste item is ‘ik kan onderhandelen over mijn werkbelasting’. Bij dit item zijn elementen genoemd die betrekking hebbenop de inhoud van het werk, het aantal stage-uren en de mate waarin rekening gehouden wordt met bijbanen en andere activiteiten buiten de stage. Het tweede item is ‘de werkbegeleiders praten met mijpersoonlijk’. Dit item is op drie verschillende manieren geïnterpreteerd door de respondenten. Er is genoemd dat het item betrekking heeft op het roddelen van werkbegeleider over de stagiair, één-opééngesprekken over de stage en gesprekken over de persoonlijke situatie van de stagiair. Bij het derde item ‘nieuwe ideeën worden zelden uitgeprobeerd’ wordt gedacht aan nieuwe systemen en de HIXtraining.Er is onduidelijkheid over van wie deze nieuwe ideeën afkomstig moeten zijn. Enkele respondenten dachten enkel aan ideeën van stagiairs en anderen dachten dat deze ideeën van allebetrokkenen op de afdeling afkomstig kunnen zijn. Het vierde item is ‘de werkbegeleiders plannen vaak interessante activiteiten’. Een groot aantal respondenten geeft aan geen beeld te hebben bij dezegeplande interessante activiteiten. Er wordt daarbij aangegeven dat veel interessante activiteiten zich spontaan aandienen op de afdeling en dat deze activiteiten niet te plannen zijn. Er wordt hierin eigeninitiatief van de stagiair verwacht om bij dit soort activiteiten mee te kijken. Er wordt niet herkent dat dit door de werkbegeleider gepland wordt. Het laatste item is ‘voor mij worden altijd innovatieveactiviteiten georganiseerd’. Bij dit item worden enkele activiteiten genoemd, maar daarbij wordt aangegeven dat het onduidelijk is welke activiteiten er in dit item bedoeld worden. Twee respondentengeven aan het gevoel te hebben dat dit item dezelfde stelling is als ‘de werkbegeleiders plannen vaak interessante activiteiten’.Kortom, zijn er door derdejaars mbo-studenten en vierdejaars hbo-studenten bij bepaalde items verschillende interpretatie gegeven en is de interpretatie van bepaalde items tevens tussen dembo-studenten en hbo-studenten onderling verschillend. Doordat er tussen de groepen niet een eenduidig verschil in interpretatie is bij de meeste items zijn deze items niet betrouwbaar. Dit is tevenshet geval bij de items die door verschillende respondenten niet begrepen zijn. Deze verschillende interpretaties zorgen namelijk bij herhaling van de vragenlijst voor toevallige fouten (Drenth &Sijtsma, 2006). Een meting die afhankelijk is van toeval is minder betrouwbaar dan een test die niet gebaseerd is op toeval (Baarda et al., 2012). De items die in een meetinstrument voor leerklimaat worden opgenomen zullen voor zowel mbo- als hbo-studenten te begrijpen moeten zijn. Daarnaast moeten de items door de respondenten in de context van de afdeling waarin de stage plaatsvindtherkenbaar en begrijpelijk zijn.De derde deelvraag is: Welke overeenkomstige interpretaties en betekenissen geven derdejaars mbo-studenten en vierdejaars hbo-studenten aan bepaalde items uit de CLEI? Er zijn vieritems waar mbo- en hbo-studenten dezelfde betekenis en interpretatie aan geven. Daarnaast zijn er twee zaken benoemd met betrekking tot de vragenlijst die bij elke focusgroep naar voren kwamen. Teneerste geeft de meerderheid van de respondenten aan een antwoordmogelijkheid van ‘soms’ of ‘neutraal’ te missen in de vragenlijst en tevens zouden respondenten een mogelijkheid tot het plaatsenvan een opmerking bij de items willen zien. Ten tweede geven veel respondenten aan de items met betrekking tot de werkbegeleiders lastig te beantwoorden vinden. Iedere stagiair heeft meerderewerkbegeleiders wat het lastig maakt één score aan te geven die representatief is voor alle werkbegeleiders. werkbegeleider is als persoon anders en daarmee ook verschillend alswerkbegeleider.Zoals hierboven genoemd zijn er vier items waar het merendeel van de studenten een vergelijkbare interpretatie aan geven. Het eerste item is ‘ik ben tevreden over deze stage’. In deoriginele schaalindeling van de CLEI valt dit item in de schaal tevredenheid, die dient als uitkomstmaat. Alle items in deze schaal zijn breed geformuleerd omdat dit een algemeen beeld over detevredenheid van de stage dient te meten. Alle respondenten denken aan zaken met betrekking tot de werksfeer, begeleiding, verwachtingen, leerproces en goede afronding van de stage. Deze elementengeven een algemeen beeld van de tevredenheid over de stage. Het tweede item waar weinig verschil in interpretatie in te herkennen is ‘ik mag normaal gesproken zeggen hoe de dienst eruit zou moetenzien’. Er is bij dit item genoemd dat de stagiair kan aangegeven aan de werkbegeleider wat de stagiair wil doen, waarom een bepaalde handeling gedaan moet worden en hoe de stagiair van plan is dit aan tepakken. Het derde item is ‘de werkbegeleiders doen hun uiterste best om mij te helpen’. Over het algemeen denken de mbo- en hbo-studenten aan de hulp die zij krijgen van de werkbegeleiders om deopdrachten, activiteiten en handelingen in de stage te kunnen uitvoeren. Veel respondenten vinden het woord ‘uiterste’ in dit item te overdreven gesteld en daarbij wordt aangegeven dat per persoon kanverschillen wat voor betekenis daaraan wordt gegeven. Het laatste item is ‘de werkbegeleiders gebruiken verschillende methoden om mij te begeleiden. In de originele CLEI is dit item positiefgelabeld, echter in de secundaire analyse komt naar voren dat dit item omgepoold moet worden naar een negatief geformuleerd item. Dit kwam in de focusgroepen tevens sterk naar voren. De meesterespondenten gaven aan het vervelend of irritant te vinden dat de werkbegeleiders ieder een andere manier van werken hebben en dus daarbij de stagiair op verschillende manieren begeleiden. Andererespondenten geven aan dat de werkbegeleiders allemaal dezelfde methode gebruiken en zien dat als positief. De secundaire analyse en kwalitatieve resultaten laten overeenkomstige resultaten zien metbetrekking tot dit item.Het blijkt dat er items in de originele CLEI waar respondenten in deze steekproef dezelfde interpretatie aan geven. Het wijst erop dat deze items door de respondenten binnen de stage wordenherkend en begrepen. Echter komt de interpretatie van bepaalde items niet overeen met hoe het item volgens het meetinstrument is bedoeld. Een manier op deze responsbias te voorkomen is om ieder itempositief te formuleren en meetfouten door onoplettendheid en verwarring te voorkomen (Sonderen et al., 2013).Tot slot is er een antwoord geformuleerd op de centrale vraag in dit onderzoek: Hoe valide en betrouwbaar is de Clinical Learning Environment Inventory (CLEI) voor het meten van leerklimaat inde context van het Martini Ziekenhuis? De bevindingen in dit onderzoeken wijzen erop dat de items uit de vertaalde vragenlijst van de CLEI in het Martini Ziekenhuis niet worden begrepen zoals dezebedoeld zijn vanuit de gedachten van de originele CLEI. Uit de secundaire analyse blijken de schalen uit de originele CLEI in de context van het Martini Ziekenhuis niet valide te zijn. De kwalitatievebevindingen ondersteunen de bevindingen uit de secundaire analyse. Tevens zijn er in de literatuur factoranalyses uitgevoerd op de originele CLEI. De resultaten van deze studies laten zien dat er uitdeze factoranalyses andere schalen geconstrueerd zijn dan de schalen in de CLEI die door Chan (2001a) is ontwikkeld (Newton et al., 2010; Salamonson et al., 2011). Door de complexe omgevingvan een ziekenhuis en de vertaalde vragenlijst zijn veel items in de vragenlijst voor verschillende interpretaties vatbaar. Hierdoor zijn deze items niet valide in deze context. De items meten niet wat zebehoren te meten, omdat blijkt uit de kwalitatieve bevindingen dat enkele items niet een eenduidige betekenis hebben. In dat geval zijn de items tevens niet betrouwbaar, aangezien een item die nietvalide is per definitie niet betrouwbaar is (Drenth & Sijtsma, 2006).Voor een groot aantal items geldt dat deze voor verschillende interpretaties vatbaar zijn en dat de interpretatie van stagiairs van de verschillende afdelingen niet met elkaar overeenkomen. Debevindingen wijzen in de richting van dat de leeromgevingen op de verschillende afdelingen in het ziekenhuis een divers karakter hebben. In het Martini Ziekenhuis is getracht door middel van de CLEIhet leerklimaat universeel te meten. Echter het lijkt erop dat door dit diverse karakter de aspecten van het leerklimaat in het Martini Ziekenhuis niet universeel te meten zijn. Een valide en betrouwbaarmeetinstrument voor het leerklimaat zal aan de ene kant kenmerken moeten meten die in het gehele ziekenhuis te herkennen zijn. Aan de andere kant zal het meetinstrument variaties moeten bevatten diekenmerken identificeert die in specifieke situaties en afdelingen van belang zijn.