This thesis synthesizes the research conducted during my MD-PhD program, which interlinked clinical oncology, digital pathology, and data science. At its core was the deepMEL project, which aimed to identify, on histological slides, biomarkers predictive of responses to immune checkpoint inhibitors (ICIs) in patients with advanced melanoma. Integrating multiplex immunofluorescence (mIF) image analysis with a graph-based approach, we extracted spatial features of immune infiltration, revealing patterns associated with ICI response using machine learning techniques. This methodology yielded a predictive model with excellent prediction power, which was validated using an external cohort. Notably, our model identified the importance of three spatial features as critical predictors: the proximity of dendritic cells to T cells, the density of T cells, and the presence of CD4 T cell clusters. Importantly, these features demonstrated superior predictive power compared to CD8 T cell-related features, which are often employed as predictors of ICI response.
In parallel, I worked on another project in digital pathology named HE2mIF, with the aim to develop deep learning algorithms for identifying immune cells in Hematoxylin and Eosin (H&E) stained histological slides. To address data availability challenges for algorithm training, we developed a technique that combined traditional H&E staining with mIF staining. This involved co-registering H&E and mIF images, enabling the precise overlay of mIF cell type data onto H&E slides. The extensive dataset created, featuring over 2.8 million cells, facilitated the development of models capable of accurately identifying lymphocytes, myeloid cells (including macrophages and dendritic cells), and melanoma cells in H&E images. Despite challenges in classifying specific myeloid cell types, the HE2mIF method demonstrated promising results, which was further underscored by a preliminary study using H&E slides from the deepMEL cohort. In this study, lymphocyte patterns identified by HE2mIF algorithms were found to be highly predictive of ICI response.
Additionally, my contributions extended to developing applications for the efficient capture, organization, and curation of real-world clinical databases within hospital information systems. These interactive applications used natural language processing to enrich data with structured annotations on patient characteristics, treatment lines, radiological responses, comorbidities, and toxicities. These innovations not only enhanced the accessibility and utility of clinical data but also played a pivotal role in supporting two major research projects, leading to first-author publications, as well as facilitating several other collaborations. These projects included an analysis of late-onset and long-lasting toxicities associated with ICIs, often under-reported in clinical trials, and a study employing process mining to compare real-world treatment sequences in melanoma patient care with clinical trial results. This analysis highlighted the potential benefits of rechallenging with ICIs after an initial progression on these therapies.
--
Cette thèse synthétise les recherches menées durant mon programme MD-PhD, reliant l'oncologie clinique, la pathologie digitale et la science des données. Au cœur de ces travaux se trouvait le projet deepMEL, qui visait à identifier des biomarqueurs prédictifs de la réponse aux inhibiteurs de points de contrôle immunitaire (ICIs) chez les patients atteints de mélanome métastatique. En intégrant l'analyse d'images par immunofluorescence multiplexée (mIF) avec une approche basée sur les graphes, nous avons extrait des caractéristiques spatiales de l'infiltration immunitaire, révélant des patterns associés à la réponse aux ICIs en utilisant des techniques de machine learning. Cette méthodologie a donné naissance à un modèle prédictif avec un excellent pouvoir de prédiction, qui a été validé par la suite à l'aide d'une cohorte externe. Notamment, notre modèle a identifié l'importance de trois caractéristiques spatiales comme prédicteurs cruciaux : la proximité des cellules dendritiques aux cellules T, la densité des cellules T, et la présence de clusters de cellules T CD4. Ces caractéristiques ont notamment démontré un pouvoir prédictif supérieur par rapport aux caractéristiques liées aux cellules T CD8, souvent utilisées comme prédicteurs de la réponse aux ICIs.
Parallèlement, j'ai travaillé sur un autre projet en pathologie digitale nommé HE2mIF, visant à développer des algorithmes de deep learning pour identifier les cellules immunitaires sur des images de lames histologiques marquées à l'Hématoxyline et Éosine (H&E). Pour répondre à la nécessité cruciale de disposer de vastes jeux de données annotées au niveau cellulaire pour l'entraînement des algorithmes de deep learning, nous avons mis au point une technique innovante associant la coloration traditionnelle en H&E au marquage par mIF. Cette technique implique ensuite de devoir superposer précisément les images H&E avec celles en mIF, permettant ainsi de transposer avec exactitude les phénotypes issus du marquage mIF sur l'image en H&E. L'ensemble du dataset ainsi créé, comprenant plus de 2,8 millions de cellules, a facilité le développement de modèles de deep learning capables d'identifier avec précision les lymphocytes, les cellules myéloïdes (y compris les macrophages et les cellules dendritiques) et les cellules de mélanome sur des images de lames colorées en H&E. Malgré les défis dans la classification de cellules myéloïdes, la méthode HE2mIF a démontré des résultats prometteurs, souligné par une étude préliminaire utilisant des lames H&E de la cohorte deepMEL. Dans cette étude, les patterns d’infiltration des lymphocytes identifiés au moyen d’algorithmes issus de HE2mIF se sont avérés être de précieux indicateurs prédictifs de la réponse aux ICIs.
De plus, mes contributions se sont étendues au développement d'applications pour la capture, l'organisation et la curation de bases de données cliniques au sein du système d'information hospitalier. Ces applications interactives utilisaient notamment le traitement du langage naturel pour enrichir les données avec des annotations structurées sur les caractéristiques des patients, les lignes de traitement, les réponses radiologiques, les comorbidités et les toxicités. Ces innovations ont non seulement amélioré l'accessibilité et l'utilité des données cliniques, mais ont également joué un rôle pivot dans le soutien de deux projets de recherche majeurs, conduisant à des publications en tant qu'auteur principal, ainsi que dans la facilitation de plusieurs autres collaborations. Ces projets comprenaient une analyse des toxicités tardives et de longues durées associées aux ICIs, souvent sous- déclarées dans les essais cliniques, et une étude utilisant le process mining pour comparer les séquences de traitement oncologiques pour les patients atteints de mélanome. Cette analyse a notamment mis en évidence les avantages potentiels de la reprise des ICIs après une progression initiale sous ces thérapies.