Als voldoende mate van validiteit en betrouwbaarheid is gevonden in andere (vergelijkbare) populaties, bedenk dan of er argumenten zouden kunnen zijn waarom deze resultaten niet zouden gelden in de beoogde doelgroep.
Als er vragen bij zijn die echt niet relevant zijn voor de doelgroep, kan overwogen worden om een custom short form te maken door niet-relevante vragen te vervangen door andere vragen uit de onderliggende item bank.
De terugvraagperiode kan, na toestemming van het Dutch-Flemish PROMIS National Center, eventueel worden aangepast.
anders geïnterpreteerd zouden kunnen worden, kan Differential Item Functioning (DIF) worden onderzocht (zie structural validity hieronder).
https://www.healthmeasures.net/explore-measurement-systems/promis/measure-development-research/validation
Er is veel onderzoek gedaan naar de meeteigenschappen van PROMIS instrumenten in diverse landen, patiëntengroepen, en mensen uit de algemene bevolking. Welke psychometrische eigenschappen precies zijn onderzocht en in welke populaties, verschilt per instrument.
Is PROMIS gevalideerd in mijn doelgroep?
Zie Nederlands/Vlaamse publicatielijst voor validatiestudies van de Nederlands-Vlaamse PROMIS instrumenten.
Zie HealthMeasures publicatielijst voor alle validatiestudies van PROMIS
TIPS:
Het is misschien niet nodig om PROMIS in alle (patiënten)populaties te valideren. Als voldoende mate van validiteit en betrouwbaarheid is gevonden in andere (vergelijkbare) populaties, bedenk dan of er argumenten zouden kunnen zijn waarom deze resultaten niet zouden gelden in de beoogde doelgroep.
Kijk bij het kiezen van een short form of de vragen relevant zijn voor de doelgroep (zie content validity hieronder). Als er vragen bij zijn die echt niet relevant zijn voor de doelgroep, kan overwogen worden om een custom short form te maken door niet-relevante vragen te vervangen door andere vragen uit de onderliggende item bank.
Kijk of de terugvraagperiode van het PROMIS instrument past bij de beoogde toepassing. De terugvraagperiode kan, na toestemming van het Dutch-Flemish PROMIS National Center, eventueel worden aangepast.
Als er twijfel bestaat of de vragen in een bepaalde doelgroep misschien anders geïnterpreteerd zouden kunnen worden, kan Differential Item Functioning (DIF) worden onderzocht (zie structural validity hieronder).
Zie ook https://www.healthmeasures.net/explore-measurement-systems/promis/measure-development-research/validation voor meer informatie over de validiteit en betrouwbaarheid van PROMIS
Het internationale COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN) Initiatief ontwikkelt methodologie en praktische tools om de kwaliteit van meetinstrumenten te bepalen. Met de COSMIN standaarden en criteria kan op transparante wijze de kwaliteit van PROMs, zoals PROMIS instrumenten, worden bepaald.
Gebruik het COSMIN search filter om alle validatiestudies te vinden van PROMIS instrumenten in een bepaalde populatie.
Gebruik de COSMIN design checklist om een validatiestudie naar PROMIS instrumenten op te zetten
TIP: Geef je op voor de Klinimetrie cursus van EpidM om meer te leren over de validatie van meetinstrumenten op basis van COSMIN richtlijnen.
De belangrijkste meeteigenschappen voor PROMIS instrumenten zijn:
Dit betreft de mate waarin alle vragen (items) uit een instrument relevant zijn (voor het te meten domein, de doelgroep en de context waarin het instrument wordt gebruikt) en er geen belangrijke aspecten van een domein gemist worden. Bij de ontwikkeling van de item banken is veel aandacht besteed aan content validity, onder ander door focus groepen met patiënten en het schrijven van heel veel items, die de hele range van de meetschaal dekken.
VOORBEELD: Evidence voor de content validity van PROMIS Physical Function instrumenten → https://pubmed.ncbi.nlm.nih.gov/35622294/
Dit betreft de mate waarin de structuur (of dimensionaliteit) van een PROM overeenkomt met het onderliggend conceptueel model. Bij de ontwikkeling (en in de meeste gevallen ook na vertaling) van de item banken is aangetoond dat deze voldoende unidimensioneel zijn (dat wil zeggen dat alle items hetzelfde domein meten), wat een voorwaarde is voor het gebruik van item response theorie (IRT). Ook is aangetoond dat alle items het onderliggende IRT model fitten. Van short forms wordt over het algemeen aangenomen dat ze voldoende unidimensioneel zijn omdat de items uit de item bank zijn geselecteerd.
In het algemeen wordt aangenomen dat de meeteigenschappen van de individuele items (de locatie van het item op de meetschaal en het discriminerend vermogen) hetzelfde zijn in verschillende populaties. Op basis van deze aanname en uit praktische overwegingen worden standaard de Amerikaanse item parameters gebruikt voor het scoren van PROMIS instrumenten. Zo worden scores over de hele wereld uitgedrukt op dezelfde meetschaal.
Aangeraden wordt om deze aanname na vertaling te checken, omdat door de vertaling of culturele verschillen de moeilijkheid van een item kan veranderen. Dit wordt Differential Item Functioning (DIF) genoemd. DIF kan ook voorkomen tussen groepen die verschillen in andere kenmerken, bijvoorbeeld geslacht, leeftijd, of aandoening. In verschillende studies naar de Nederlands-Vlaamse PROMIS instrumenten, werd af en toe DIF gevonden voor enkele items, maar de impact op de score (T-score) bleek minimaal. Daarom wordt voor de Nederlands-Vlaamse vertalingen het gebruik van de standaard Amerikaanse item parameters aanbevolen. Zie scoring PROMIS.
Dit betreft de precisie (betrouwbaarheid) van scores. De betrouwbaarheid van een op IRT gebaseerde PROM wordt anders bepaald dan die van een op Classical Test Theory (CTT) gebaseerde PROM. Bij CTT wordt verondersteld dat de betrouwbaarheid hetzelfde is over de hele range van de schaal (uitgedrukt in één Cronbach’s alpha of Intraclass Correlation Coefficient (ICC)). Bij IRT is de aanname dat de betrouwbaarheid varieert over de schaal. Bij elke T-score hoort een eigen standaard error (SE). Een patiënt heeft bijvoorbeeld een T-score van 38.6 (SE 2.5), zie figuur. Een SE <3.16 komt overeen met een betrouwbaarheid >0.90 (wat aangeraden wordt voor gebruik van PROMs op individueel niveau).
Voor PROMIS instrumenten is het niet zinvol om een Cronbach’s alpha te berekenen. Beter is het om de betrouwbaarheid weer te geven in een figuur zoals hierboven, of de gemiddelde SE in een groep te rapporteren.
Ook bij het bepalen van test-hertest betrouwbaarheid moet rekening gehouden worden met het feit dat elke T-score, en dus ook elke verschilscore, een eigen SE heeft. De Smallest Detectable Change (SDC) is dus ook voor elke persoon anders.
Zie hier een voorbeeld hoe de SDC kan worden bepaald voor PROMIS → https://pubmed.ncbi.nlm.nih.gov/35913734/
Referentie:
Jabrayilov R, Emons WHM, Sijtsma K. Comparison of classical test theory and item response theory in individual change assessment. Appl Psychol Meas 2016;40:559–72. https://pubmed.ncbi.nlm.nih.gov/29881070/
