Automated Detection and Grading of Radiographic Hand Osteoarthritis Using an Auto-Machine Learning Platform

Details

Ressource 1Download: these-CL-OK.pdf (5493.67 [Ko])
State: Public
Version: After imprimatur
License: Not specified
Serval ID
serval:BIB_59DC3C413AB2
Type
PhD thesis: a PhD thesis.
Collection
Publications
Institution
Title
Automated Detection and Grading of Radiographic Hand Osteoarthritis Using an Auto-Machine Learning Platform
Author(s)
CARATSCH Leo
Director(s)
Hügle Thomas
Institution details
Université de Lausanne, Faculté de biologie et médecine
Publication state
Accepted
Issued date
2024
Language
english
Abstract
L’intelligence artificielle prend une place de plus en plus importante dans notre quotidien et va jouer un rôle croissant dans notre pratique médicale. Actuellement, déjà plus de 500 dispositifs médicaux basés sur l’intelligence artificielle sont approuvés aux Etats-Unis par la Food and Drug Administration (FDA). Programmer un modèle de Machine Learning est un processus compliqué et requiert des connaissances étendues en programmation et en mathématiques, ce qui représente un obstacle pour les non-initiés aux Machine Learning. Les plateformes de Machine Learning automatique (autoML) ont récemment émergé et permettent aux profanes de créer de façon autonome des modèles d’intelligence artificielle sans connaissance préalable en programmation. Appliqué au domaine de la médecine, ces plateformes permettent aux professionnels de la santé de jouer un rôle actif dans le développement d'algorithmes de Machine Learning adaptés à leurs besoins scientifiques ou cliniques. Le but de cette étude est de tester une de ces plateformes (Giotto, L2F) et d’évaluer la faisabilité de tels algorithmes par un clinicien non-initié en la matière.
Pour ce faire, un modèle de diagnostic et de gradation de la sévérité de l’arthrose des articulations interphalangiennes distales (IPD) a été généré depuis cette plateforme en utilisant 48892 radiographies d’IPD extraites de la base de données de la SCQM (Swiss Cohort of Quality Management). Ce modèle a été testé par la suite par 346 radiographies d’IPD extraites de la base de données du CHUV. Enfin, une application internet (web-app) a été déployée depuis la plateforme et testée par des rhumatologues et des radiologues.
Les résultats révèlent une performance comparable aux humains (kappa score 0.75, sensibilité 79%, spécificité 80%). La plateforme a été jugée intuitive et facile d’utilisation par le clinicien. En revanche, une autonomie totale s’est avérée irréalisable, car un soutien occasionnel par un informaticien a été nécessaire. Les rhumatologues interrogés ont témoigné d’un enthousiasme marqué envers l’application internet, contrairement aux radiologues dont l’avis est largement plus mitigé.
La facilité d’utilisation des plateformes d'autoML rend la création de modèles de Machine Learning plus accessible aux cliniciens et scientifiques. Dans notre cas, le modèle de gradation de l’arthrose digitale pourrait devenir un outil d’aide au diagnostic et pourrait permettre à des chercheurs d’accélérer leur recherche en automatisant la gradation de l’arthrose sur les radiographies de mains.
Pour ne pas risquer de nuire aux patients, il est cependant crucial de veiller à la qualité et à la robustesse de ces modèles. Les modèles développés à partir de données de faible qualité ou en quantité insuffisante peuvent sembler performants lorsqu’ils sont testés par des images issues de la même base de données que celle utilisée pour son entraînement, mais ils peuvent ne pas être aussi efficaces en pratique. La facilité d'utilisation des plateformes d'autoML est donc à double tranchant. Avant de les utiliser dans des contextes cliniques il est essentiel de les éprouver sur une base de données externe ainsi que de façon prospective. L’application de ces modèles en clinique nécessite donc une réglementation stricte.
--
Objective. Automated machine learning (autoML) platforms allow health care professionals to play an active role in the development of machine learning (ML) algorithms according to scientific or clinical needs. The aim of this study was to develop and evaluate such a model for automated detection and grading of distal hand osteoarthritis (OA).
Methods. A total of 13,690 hand radiographs from 2,863 patients within the Swiss Cohort of Quality Management (SCQM) and an external control data set of 346 non-SCQM patients were collected and scored for distal interphalangeal OA (DIP-OA) using the modified Kellgren/Lawrence (K/L) score. Giotto (Learn to Forecast [L2F]) was used as an autoML platform for training two convolutional neural networks for DIP joint extraction and subsequent classification according to the K/L scores. A total of 48,892 DIP joints were extracted and then used to train the classification model. Heatmaps were generated independently of the platform. User experience of a web application as a provisional user interface was investigated by rheumatologists and radiologists.
Results. The sensitivity and specificity of this model for detecting DIP-OA were 79% and 86%, respectively. The accuracy for grading the correct K/L score was 75%, with a κ score of 0.76. The accuracy per DIP-OA class differed, with 86% for no OA (defined as K/L scores 0 and 1), 71% for a K/L score of 2, 46% for a K/L score of 3, and 67% for a K/L score of 4. Similar values were obtained in an independent external test set. Qualitative and quantitative user experience testing of the web application revealed a moderate to high demand for automated DIP-OA scoring among rheumatologists. Conversely, radiologists expressed a low demand, except for the use of heatmaps.
Conclusion. AutoML platforms are an opportunity to develop clinical end-to-end ML algorithms. Here, automated radiographic DIP-OA detection is both feasible and usable, whereas grading among individual K/L scores (eg, for clinical trials) remains challenging.
Create date
15/08/2024 11:32
Last modification date
05/09/2024 9:06
Usage data