Toepassing van AI voor het classificeren van Motiverende Gespreksvoering in chatgesprekken: Implicaties voor de klinische praktijk

Mathijs Pellemans
Vrije Universiteit Amsterdam

 

nummer

48

Opgenomen in sessie

Vrijdag, 11.00 uur, Online

Kernwoorden

Motiverende Gespreksvoering, AI, taalanalyse, zelfmoordpreventie

Tags doelgroep

Kinderen en adolescenten
Volwassenen
Ouderen

Tags thematiek en problematiek

Transdiagnostisch
Overig

Tags streams

Cognitieve (gedrags)therapie
Overig

Inhoud van de lezing

Introductie

Motiverende gespreksvoering (MGV) heeft bewezen waarde in counseling sessies voor verbeterde behandeluitkomsten, maar het toepassen van MGV kan tijdrovend zijn en vereist aanzienlijke expertise (Saiyed et al., 2022). Daarbij heeft eerder onderzoek aangetoond dat hulpverleners moeite kunnen hebben om genoeg verandertaal te ontlokken bij cliënten om hun intrinsieke gedragsverandering te bewerkstelligen (Janssen et al., 2022). Het automatisch in kaart brengen van hulpverlener reacties op de taal van cliënten kan daarom waardevol zijn. Door hulpverleners meer bewust te maken van hun gedrag tijdens gesprekken, kan hun cognitieve inspanning aanzienlijk verminderd worden, wat de kwaliteit van de gesprekken kan verbeteren. Bovendien kunnen hulpverleners na een gesprek reflecteren op hun MGV gedrag en hiervan leren. AI modellen kunnen hierbij helpen door het analyseren van datasets. Dit draagt bij aan de ontwikkeling en verbeteringen van evidence-based interventies zoals MGV.

Dit onderzoek heeft tot doel de nauwkeurigheid van AI-modellen voor het classificeren van MGV-gedrag te onderzoeken en daarbij te onderzoeken in hoeverre AI toepasbaar en waardevol is voor gebruik in hulplijnen als een geautomatiseerd ondersteuningsinstrument voor hulpverleners in de klinische praktijk.

Methodes

In dit onderzoek is een gecodeerde dataset gebruikt van 253 chatgesprekken die zijn gevoerd bij de chat hulplijn van 113 Zelfmoordpreventie. In al deze gesprekken is MGV toegepast. De dataset bevat 23.982 chatberichten gecodeerd met het MI-SCOPE-codeboek die wordt gebruikt voor het vastleggen van het gedrag van de cliënt en hulpverlener tijdens MGV-sessies. De MI-SCOPE biedt vijf indicatoren van behandelintegriteit, waaronder het percentage MGV-consistente reacties, de relatieve hoeveelheid open vragen, de proportie complexe reflecties, de reflectie-tot-vraagverhouding en de proportie verandertaal. Vier machine-learning modellen en één deep-learning model zijn getraind en geëvalueerd om het MGV-gedrag van cliënten en counselors te classificeren op basis van taalgebruik.

Resultaten

Het deep-learning model BERTje excelleerde in het voorspellen van hulpverlener gedrag op 17 MI-SCOPE codes met een nauwkeurigheid van 0.72, Cohen’s kappa van 0.69 en een AUC score van 0.95. Het model onderscheidde ook tussen MGV-congruent en incongruent hulpverlener gedrag (AUC = 0.92, kappa = 0.65) en ontlokkend en niet-ontlokkend taalgebruik (AUC = 0.92, kappa = 0.66). Voor 4 MI-SCOPE codes over het gedrag van cliënten behaalde het model een nauwkeurigheid van 0.70, kappa van 0.55 en AUC van 0.89. Voor het ontlokken van verandertaal bleek het vooral belangrijk om de autonomie van de hulpvrager te benadrukken, en positieve, open vragen te stellen.

Conclusies en implicaties voor de klinische praktijk

Dit onderzoek toont aan dat AI-methoden gedragscodes van cliënten en hulpverleners in chatgesprekken met goede nauwkeurigheid kunnen classificeren, waarmee een belangrijke barrière wordt overwonnen in de ontwikkeling van een geautomatiseerd feedback-ondersteuningssysteem dat toepasbaar en waardevol is voor hulpverleners in de klinische praktijk. De AI-methodes die in dit onderzoek zijn gebruikt kunnen gemakkelijk worden getraind en toegepast op andere domeinen binnen de klinische praktijk. Ze bieden een schaalbare en kosteneffectieve manier om MGV-naleving te evalueren, het gedragscoderingsproces te versnellen en therapeuten persoonlijke, snelle en objectieve feedback te geven.

Referenties en literatuur

[1] Janssen, W., van Raak, J., van der Lucht, Y., van Ballegooijen, W., & Mérelle, S. (2022). Can Outcomes of a Chat-Based Suicide Prevention Helpline Be Improved by Training Counselors in Motivational Interviewing? A Non-randomized Controlled Trial. Frontiers in digital health, 4, 871841.

[2] Saiyed, A., Layton, J., Borsari, B., Cheng, J., Kanzaveli, T., Tsvetovat, M., & Satterfield, J. (2022). Technology-Assisted Motivational Interviewing: Developing a Scalable Framework for Promoting Engagement with Tobacco Cessation Using NLP and Machine Learning. Procedia Computer Science, 206, 121-131.

Auteurs