Achtergrond
Het evalueren van eHealth applicaties is lastig door een aantal verschillende zaken; waaronder de moeilijkheid voor het creëren van gecontrolleerde experimenten en storende variabelen zoals vaardigheid met het internet [1]. Daarom is een goede gevalideerde vragenlijst nodig om eHealth applicaties te kunnen evalueren vanuit het perspectief van de gebruiker. In 2013 hebben Kelly, Jenkinson, en Ziebland [2] een vragenlijst ontwikkeld om de impact van eHealth op zijn gebruikers te meten. Gebaseerd op vijf thema's geïdentificeerd uit interviews, bestaat de vragenlijst uit twee delen. De eerste helft (11 items) meet de algemene attitude omtrent eHealth, terwijl de tweede helft (26 items) de attitude meet omtrent een specifieke eHealth applicatie. Deze vragenlijst is in 2015 gevalideerd voor de Britse eHealth gebruikers [3].
[1] Greenhalgh T., Russell J. (2010). Why Do Evaluations of eHealth Programs Fail? An Alternative Set of Guiding Principles. PLoS Med 7(11), e1000360. doi:10.1371/journal.pmed.1000360.
[2] Kelly, L., Jenkinson, C., Ziebland, S. (2013). Measuring the effects of online health information for patients: Item generation for an e-health impact questionnaire. Patient Education and Counseling, 93, 433-438.
[3] Kelly, L., Ziebland, S., & Jenkinson, C. (2015). Measuring the effects of online health information: Scale validation for the e-Health Impact Questionnaire. Patient education and counseling, 98(11), 1418-1424.
Doelstelling
Het doel van het huidige project was het vertalen en valideren van de eHealth Impact Questionnaire (eHIQ) voor Nederlandse eHealth gebruikers.
Onderzoeksopzet
De eHIQ werd vertaald conform de COSMIN criteria [4]. Nederlandse eHealth gebruikers werden gevraagd worden om de eHIQ-NL tweemaal in te vullen, met een interval van twee weken. Ook werd hen gevraagd een aantal overige vragen te beantwoorden die de attitude naar de eHealth applicatie beogen te meten. Als laatste werd de EQ-5D afgenomen om divergente validiteit te toetsen. Betrouwbaarheid en validiteit werden getoetst conform de COSMIN criteria [4]:
-
Construct validiteit werd getoetst met een confirmatieve factor analyse.
-
Convergente validiteit werd getoetst door de samenhang van de eHIQ met de vragen die de attitude naar de eHealth applicatie beogen te meten.
-
Divergente validiteit werd getoetst door de samenhang van de de eHIQ met de EQ-5D.
-
Split-half betrouwbaarheid werd getoetst door middel van hierarchische Omega.
-
Test-hertest betrouwbaarheid werd getoetst door Intraclass Correlation Coefficient te berekenen voor de twee invulsessies van de eHIQ.
-
Interne validiteit werd getoetst door de Item Response Graded Response Model toe te passen, per schaal van de eHIQ.
[4] Mokkink, L. B., Terwee, C. B., Patrick, D. L., Alonso, J., Stratford, P. W., Knol, D. L., ... & De Vet, H. C. (2009). The COSMIN checklist manual. Amsterdam: VU University Medical Centre.
Beoogde resultaat
Het beoogde resultaat was het opleveren van de Nederlandse eHIQ (eHIQ-NL) met acceptabele tot goede validiteit en betrouwbaarheid conform de COSMIN criteria:
-
De construct validiteit: een structuur van vijf factoren, één voor ieder domein gebruikt in de ontwikkeling van de originele eHIQ. Daar waar de eHIQ-NL niet voldoet aan deze structuur, worden items aangepast of verwijderd worden.
-
De convergente validiteit: een positieve relatie tussen de eHIQ-NL en de overige vragen.
-
De divergente validiteit:geen relatie tussen de eHIQ-NL en de EQ-5D.
-
De split-half betrouwbaarheid: een minimale waarde van .7 voor de hierarchische Omega.
-
De test-hertest betrouwbaarheid:een minimale waarde van .7 voor de Intraclass Correlation Coefficient.
-
De interne validiteit: een correcte fit van het Item Response Graded Response Model.
Planning
In 2017 werd de eHIQ vertaald en werd gestart met de eerste dataverzameling en analyses.De uitkomsten (zie Resultaten) vereisten extra dataverzamelingen en analyses omtrent construct validiteit, split-half betrouwbaarheid, en interne validiteit. Deze nieuwe data werden in 2018 verzameld en geanalyseerd. In 2018 werd de gevalideerde eHIQ-NL opgeleverd. De uitkomsten worden worden in een wetenschappelijke publicatie.
Resultaten
Het doel van dit project was het vertalen en valideren van de eHealth Impact Questionnaire voor de Nederlandse eHealth-gebruikers populatie.
Vertaling
In 2017 is de eHIQ vertaald volgens de COSMIN criteria (www.cosmin.nl). De vragenlijst is eerst vertaald van het Engels naar het Nederlands door een eHealth expert en een professionele vertaler met Nederlands als moedertaal. Deze twee vertalingen zijn gecombineerd tot een vragenlijst die vervolgens is terugvertaald naar het Engels door twee professionele vertalers met Engels als moedertaal. De terugvertaalde versie is vergeleken met de originele Engelse eHIQ en enkele kleine afwijkingen werden in consensus opgelost.
Onderzoek
De psychometrische eigenschappen van de definitieve Nederlandse eHIQ werden onderzocht in drie samples van eHealth gebruikers. In dit rapport worden de resultaten op hoofdlijnen gepresenteerd. De gedetailleerde resultaten kunnen worden opgevraagd bij de projectleider en zullen in een wetenschappelijk artikel worden beschreven.
Studie 1: Kanker.nl
Conform het oorspronkelijke onderzoeksplan is de eHIQ-NL in 2017 online afgenomen bij een sample van gebruikers van Kanker.nl. Deze werden gevraagd om deel 1 van de eHIQ-NL in te vullen en deel 2 met betrekking tot hun ervaring met KankerNL. KankerNL is een website voor kankerpatiënten; waar men informatie kan vinden over kanker en contact kan leggen met lotgenoten. Naast de eHIQ-NL werd nog één vragenlijst en twee losse vragen ingevuld: de EQ-5D-5L die gezondheids-gerelateerde kwaliteit van leven meet, een vraag waarbij men gevraagd werd KankerNL een cijfer te geven op een tien-punts schaal, en een vraag waarbij men gevraagd werd hoe waarschijnlijk het was dat ze KankerNL zouden aanraden aan een andere kankerpatiënt. Om de test-retest betrouwbaarheid te kunnen meten werd gevraagd of ze twee weken later beide delen nogmaals wilden invullen.
Aan dit onderzoek deden 304 mensen mee, waarvan 117 vrouwen en 126 mannen. De meest voorkomende vormen van kanker waren borstkanker (27%), prostaatkanker (14%), en lymfoom (7%). Op de baseline vulden 304 mensen de vragenlijsten in, op de nameting vulden 242 (79.6%) mensen de vragenlijsten in.
De volgende data-analyses werden uitgevoerd:
-
Structurele validiteit: Confirmatory Factor Analyses (CFA) en Exploratory Factor Analyses (EFA)
-
Interne consistentie: Omega
-
Test-hertest betrouwbaarheid: Intra Class Correlation Coefficients (ICC)
-
Meetfout: Smallest Detectable Change (SDC)
-
Convergente en divergente validiteit: correlaties tussen de eHIQ-NL gerelateerde (convergent) en ongerelateerde (divergent) vragenlijsten
-
De interne validiteit: Graded Response Model
Uit de CFA bleek een slechte fit van de originele factorstructuur van de Engelse eHIQ. De resultaten van de EFAs toonden een alternatieve factorstructuur aan met een goede fit voor Deel 1:
Deel 1 van de alternatieve eHIQ bestond nu uit drie subschalen in plaats van twee subschalen: “Attitudes omtrent online gezondheidsinformatie” (5 items, identiek aan het origineel), “Comfort omtrent het delen van gezondheidservaringen” (3 items), en “Nut van het online delen van gezondheidservaringen” (3 items).
Deel 2 van de alternatieve eHIQ bestond (na verwijdering van 6 problematische items) uit drie andere subschalen dan het origineel: “Motivatie en vertrouwen om te handelen” (8 items), “Informatie en presentatie” (10 items), en “Identificatie” (3 items).
Deze nieuwe factorstructuur toonde betere interne consistentie, vergelijkbare convergente en divergente validiteit, maar een slechtere test-hertest betrouwbaarheid, meetfout, en interne validiteit, dan de originele factorstructuur. Echter, de test-hertest betrouwbaarheid, meetfout, en interne validiteit vielen wel binnen acceptabele grenzen.
De originele factorstructuur toonde ook acceptabele waarden op interne consistentie, convergente validiteit, divergente validiteit, test-hertest betrouwbaarheid, meetfout, en interne validiteit.
Omdat de resultaten van dit eerste onderzoek nog vragen opriepen, werd besloten om verder onderzoek uit te voeren om te onderzoeken of deze afwijkende factorstructuur beter past bij de eHIQ-NL dan de originele factorstructuur van de Engelse eHIQ. Het eerste deel van de eHIQ werd afgenomen bij 573 kankeroverlevers die uitgenodigd werden om deel te nemen aan een gerandomiseerd onderzoek naar de kosteneffectiviteit van het Oncokompas, een eHealth applicatie die beoogt kankeroverlevers te ondersteunen bij het vinden van nazorg. Het tweede deel van de eHIQ werd afgenomen bij 526 patiënten (geen oncologie) die waren geopereerd aan het bewegingsapparaat en deelnamen aan de pilot-onderzoek van een eHealth applicatie die informatie geeft over pre- en post-operatieve zorg. De volgende data-analyses werden uitgevoerd:
-
Structurele validiteit: Confirmatory Factor Analyses (CFA) en Exploratory Factor Analyses (EFA)
-
Interne consistentie: Omega
-
Interne validiteit: Graded Response Model
-
Convergente en divergente validiteit:correlaties tussen de eHIQ-NL gerelateerde (convergent) en ongerelateerde (divergent) vragenlijsten
Studie 2: Oncokompas
Deel 1 van de eHIQ-NL (afgenomen bij 573 kankeroverlevers), toonde een slechte fit voor de factorstructuur van de originele eHIQ. Een acceptabele fit werd gevonden voor de alternatieve factorstructuur die eerder werd gevonden in de sample van Kanker.nl gebruikers. Als laatste toonde een EFA een goede fit, waarbij één item onder een andere subschaal werd geplaatst. Interne consistentie en interne validiteit waren acceptabel voor alle factorstructuren. Divergente validiteit was acceptabel voor alle factorstructuren.
Studie 3: Gezondheidsvoorlichterapp
Deel 2 van de eHIQ-NL (afgenomen bij 526 gebruikers van de app met informatie over operatie), toonde een niet acceptabele fit voor de factorstructuur van de originele eHIQ. Een acceptabele fit werd gevonden voor de alternatieve factorstructuur die werd gevonden in de sample van Kanker.nl gebruikers. Om te inventariseren of de items die problematisch waren bij het onderzoek bij de gebruikers vanKanker.nl sample ook problematisch waren in dit sample, werd een EFA uitgevoerd waarbij de problematische items wel waren opgenomen. De resulterende factorstructuur bleek een goede fit te hebben. Dezelfde interpreteerbare subschalen werden gevonden als de alternatieve factorstructuur gevonden in de Kanker.nl sample. Drie van de problematische items laadden ieder op één duidelijke subschaal, maar drie items toonden dubbele ladingen. De originele factorstructuur toonde een slechte interne consistentie voor de subschaal “Informatie en presentatie”, maar acceptabele interne consistentie voor de overige subschalen. De alternatieve factorstructuur toonde acceptabele interne consistentie voor alle drie de subschalen. Beide factorstructuren toonde acceptabele interne validiteit. Convergente validiteit was acceptabel voor alle factorstructuren.
Conclusie
Dit project heeft de eHIQ-NL opgeleverd met goede psychometrische eigenschappen. De eHIQ-NL heeft een andere factorstructuur dan de oorspronkelijke Engelse eHIQ. Deze factorstructuur komt duidelijk terug in meerdere onderzoeksamples.