Apprentissage automatique multimodal dans le domaine de la santé de précision : un examen de la portée

npj Digital Medicine volume 5, Article number: 171 (2022) Citer cet article

18 000 accès

19 Citations

47 Altmétrique

Détails des métriques

L'apprentissage automatique est fréquemment utilisé pour résoudre des problèmes dans le secteur de la santé, y compris l'utilisation pour l'aide à la décision clinique. Son utilisation s'est historiquement concentrée sur des données monomodales. Des tentatives pour améliorer la prédiction et imiter la nature multimodale de la prise de décision des experts cliniques ont été rencontrées dans le domaine biomédical de l'apprentissage automatique en fusionnant des données disparates. Cette revue a été menée pour résumer les études en cours dans ce domaine et identifier les sujets mûrs pour de futures recherches. Nous avons effectué cette revue conformément à l'extension PRISMA pour les revues de portée afin de caractériser la fusion de données multimodales en santé. Des chaînes de recherche ont été établies et utilisées dans des bases de données : PubMed, Google Scholar et IEEEXplore de 2011 à 2021. Un ensemble final de 128 articles a été inclus dans l'analyse. Les domaines de santé les plus courants utilisant des méthodes multimodales étaient la neurologie et l'oncologie. La fusion précoce était la stratégie de fusion de données la plus courante. Notamment, il y a eu une amélioration des performances prédictives lors de l'utilisation de la fusion de données. Il manquait aux articles des stratégies de déploiement clinique claires, l'approbation de la FDA et une analyse de la manière dont l'utilisation d'approches multimodales de diverses sous-populations peut améliorer les biais et les disparités en matière de soins de santé. Ces résultats fournissent un résumé sur la fusion de données multimodales appliquée aux problèmes de diagnostic/pronostic de santé. Peu d'articles ont comparé les résultats d'une approche multimodale avec une prédiction unimodale. Cependant, ceux qui l'ont fait ont obtenu une augmentation moyenne de 6,4 % de la précision prédictive. L'apprentissage automatique multimodal, bien que plus robuste dans ses estimations par rapport aux méthodes unimodales, présente des inconvénients dans son évolutivité et la nature fastidieuse de la concaténation des informations.

L'aide à la décision clinique est depuis longtemps un objectif pour ceux qui mettent en œuvre des algorithmes et l'apprentissage automatique dans le domaine de la santé1,2,3. Des exemples d'aides à la décision algorithmiques utilisent des valeurs de tests de laboratoire, des protocoles d'imagerie ou des caractéristiques cliniques (résultats d'examens physiques)4,5. Certains diagnostics de santé peuvent être posés sur une seule valeur de laboratoire ou un seul seuil, comme dans le cas du diabète chez les personnes âgées6. D'autres diagnostics sont basés sur une constellation de signes, de symptômes, de valeurs de laboratoire et/ou d'imagerie de soutien et sont appelés diagnostic clinique. Souvent, ces diagnostics cliniques sont basés sur des systèmes de notation additifs qui nécessitent un mélange de caractéristiques positives et négatives avant l'étiquetage de confirmation.

Le modus operandi d'un diagnostic clinique peut ne pas tenir compte de la pondération relative de ces entrées de données disparates et des relations potentiellement non linéaires soulignant les limites de la capacité de prise de décision humaine. La force de l'aide à la décision algorithmique est qu'elle peut être utilisée pour décharger de telles tâches, ce qui donne idéalement un résultat plus réussi. C'est la promesse de la médecine de précision. La médecine/santé de précision vise à créer un modèle médical qui personnalise les soins de santé (décisions, traitements, pratiques, etc.) adaptés au phénotype d'un individu ou d'un patient7. Cela comprend le suivi longitudinal des trajectoires de santé des patients8, intégrant souvent la génétique/épigénétique9,10 et la modélisation mathématique11 où les diagnostics et les traitements intègrent cette information unique12. Comparez cela avec un modèle à médicament unique, où il existe un seul traitement par trouble. La figure 1 illustre le flux d'informations provenant des hôpitaux/centres de soins qui génèrent des données disparates. C'est grâce à la modélisation informatique et à la fusion d'informations que les résultats d'intérêt tels que les cibles de médicaments et de traitements facilitent en fin de compte une meilleure prise de décision au niveau du patient dans ces centres de soins. Ce phénomène a suscité un intérêt pour les études de fusion utilisant des données de soins de santé.

L'information se déplace selon un schéma cyclique des centres de santé vers les lieux communs de l'information, où elle peut être transformée et une modélisation algorithmique effectuée. Ces algorithmes donnent un aperçu de nombreux résultats de santé différents tels que les essais cliniques, le phénotypage, la découverte de médicaments, etc. Ces informations devraient revenir aux centres de santé et aux praticiens pour fournir la médecine la plus efficace et la plus factuelle possible.

Des efforts pour caractériser cette littérature ont été réalisés par Huang et al.13, qui ont effectué une revue systématique de la fusion d'apprentissage profond des données d'imagerie et de DSE en santé. Cependant, il était limité aux données de DSE et d'imagerie et aux applications d'apprentissage en profondeur. Un article de revue de suivi comprenait un commentaire sur les omiques et la fusion des données d'imagerie14. Le but de cette étude est de mettre en évidence la portée actuelle de ce domaine de recherche, de résumer et d'offrir des suggestions pour faire avancer le domaine. L'étude actuelle est plus inclusive dans l'étendue des types de protocoles d'apprentissage automatique utilisés et tente d'englober toutes les modalités actuelles (types/sources d'informations).

La fusion de données est étayée par la théorie de l'information et est le mécanisme par lequel des sources de données disparates sont fusionnées pour créer un état de l'information basé sur la complémentarité des sources15,16 (Encadré 1). L'attente dans l'apprentissage automatique est que les efforts de fusion de données se traduiront par une amélioration de la puissance prédictive17,18 et fourniront donc des résultats plus fiables dans des paramètres de validité potentiellement faibles19. La fusion de données présente l'avantage que les résultats de la modélisation deviennent intrinsèquement plus robustes en s'appuyant sur une multitude de facteurs informationnels plutôt que sur un seul type. Cependant, la méthodologie de l'information combinatoire présente des inconvénients ; cela ajoute de la complexité à la spécification du modèle et réduit l'interprétabilité des résultats19,20.

Les données provenant de différentes sources et formats de fichiers sont rarement uniformes, et c'est particulièrement le cas des données cliniques21. Par exemple, les ensembles de données peuvent avoir différentes conventions de dénomination, unités de mesure ou représenter différents biais de la population locale. Des précautions doivent être prises pour rechercher et corriger les différences systématiques entre les ensembles de données et évaluer leur degré d'interopérabilité. Par exemple, Colubri et al. valeurs agrégées de tomodensitométrie (CT) et de laboratoire PCR, en effectuant une normalisation intra-site. Cela garantissait que les valeurs étaient comparables d'un site à l'autre. Ce faisant, ils ont écarté plusieurs variables cliniques potentiellement informatives car elles n'étaient pas toutes disponibles dans tous les ensembles de données22.

Un équilibre est nécessaire pour permettre à des informations similaires de fonctionner ensemble (harmonisation) et conserver la pureté des données (correspondance des informations)23. Une fusion réussie utilise des techniques d'harmonisation des données qui assurent à la fois le contrôle qualité du processus d'intégration. L'harmonisation des données cliniques nécessite une recherche multidisciplinaire entre la médecine, la biologie et l'informatique. Le domaine clinique de l'insuffisance cardiaque avec fraction d'éjection préservée (HFpEF) a vu de nouvelles applications de formulations de factorisation de tenseurs multiples pour intégrer les informations phénotypiques et trans-omiques profondes24, et cela s'étend à d'autres domaines de la médecine de précision25. Pour accroître la portabilité des algorithmes de phénotype basés sur le DSE, le réseau Electronic Medical Records and Genomics (eMERGE) a adopté des modèles de données communs (CDM) et des modèles de conception standardisés de la logique de l'algorithme de phénotype pour intégrer les données du DSE aux données génomiques et permettre la généralisation et l'évolutivité26,27,28,29.

Il existe trois principaux types de fusion de données utilisés dans l'apprentissage automatique ; précoce (niveau des données), intermédiaire (conjoint) et tardif (niveau décisionnel)30. Dans le cas d'une fusion précoce, plusieurs sources de données sont converties dans le même espace d'informations. Cela se traduit souvent par une vectorisation ou une conversion numérique à partir d'un état alternatif, comme celle réalisée par Chen et al. via des rapports de pathologie vectorisés31. Les images médicales possèdent des caractéristiques qui peuvent subir une conversion numérique basée sur des calculs de surface, de volume et/ou de structure32. Celles-ci sont ensuite concaténées avec des mesures supplémentaires provenant de sources de données structurées et introduites dans un classificateur individuel. L'analyse de corrélation canonique33, la factorisation matricielle non négative34,35, l'analyse en composantes indépendantes (ICA) et les méthodologies de conversion de caractéristiques numériques existent comme options communes pour transformer toutes les données dans le même espace de caractéristiques36.

La fusion de données intermédiaire se produit sous la forme d'un ensemble de modèles par étapes et offre la plus grande latitude dans l'architecture des modèles. Par exemple, un modèle d'apprentissage neuronal profond et de fusion en 3 étapes a été proposé par Zhou et al.37. L'étape 1 consiste en une sélection de caractéristiques par un classificateur soft-max pour des modalités indépendantes. Les étapes 2 et 3 consistent à combiner ces caractéristiques sélectionnées, à établir un ensemble de caractéristiques encore plus raffiné et à les introduire dans un Cox-nnet pour effectuer une représentation conjointe des caractéristiques latentes pour le diagnostic de la maladie d'Alzheimer. Contrairement à la fusion précoce, la fusion intermédiaire combine les caractéristiques qui distinguent chaque type de données pour produire une nouvelle représentation plus expressive que les représentations séparées dont elle est issue.

Dans la fusion tardive, plusieurs modèles sont généralement formés, chaque modèle correspondant à une source de données entrante. Cela s'apparente à l'apprentissage d'ensemble, qui offre de meilleures performances par rapport aux modèles individuels38. Les méthodes d'ensemble utilisent plusieurs algorithmes d'apprentissage (généralement appliqués au même ensemble de données) pour obtenir de meilleures performances prédictives que celles qui pourraient être obtenues à partir de n'importe quel algorithme d'apprentissage constituant seul. Cependant, l'ensemble d'apprentissage automatique multimodal peut ici faire référence à l'apprentissage d'ensemble au sein d'un type de données ou entre des types de données. Celles-ci prennent comme sources des représentations symboliques et les combinent pour obtenir une décision plus précise39. Les méthodes bayésiennes sont généralement employées à ce niveau40 pour soutenir un processus de vote entre l'ensemble de modèles dans une décision globale. Au cours de la fusion tardive, des progrès ont été réalisés pour effectuer un apprentissage en profondeur multitâche41,42,43,44,45,46,47. Un schéma des 3 sous-types de fusion de données est présenté à la Fig. 2. Les attributs des techniques de fusion sont présentés dans le Tableau 1.

La fusion d'informations peut se produire de multiples façons. Dans l'apprentissage automatique, la fusion précoce, intermédiaire et tardive est caractérisée par le fait que toutes les informations circulent dans un seul modèle (précoce), une manière par étapes où les sorties d'un modèle deviennent des entrées pour un autre (intermédiaire), et enfin, où tous les types de données uniques subissent une modélisation séparée, après quoi l'assemblage et/ou le vote se produit (tardif).

Apprentissage automatique multimodal : le domaine de l'apprentissage automatique qui consiste à rassembler des sources de données disparates pour capitaliser sur les informations uniques et complémentaires dans un cadre algorithmique.

Harmonisation des données : utiliser l'apprentissage automatique pour unifier différentes sources de données afin d'améliorer leur qualité et leur utilisation.

Apprentissage automatique multivue : un autre terme pour l'apprentissage automatique multimodal.

Fusion de données : les méthodologies spécifiques entreprises pour effectuer l'intégration de données pour l'apprentissage automatique multimodal/multivue ; ils se répartissent en trois grandes catégories : précoce, intermédiaire/joint et tardif.

La modélisation du sujet affichée à la Fig. 3 présente la catégorie, le problème de santé spécifique à l'étude et le type de modalité pour les études incluses. Celles-ci ont ensuite été mappées à la catégorie de la combinaison d'informations qui ont été fusionnées pour créer des modèles de prédiction/classification/regroupement (tableau 2). Cette parcelle devrait servir de ressource aux collègues chercheurs pour identifier les domaines moins fréquents, tels que la dermatologie48, l'hématologie49, les problèmes de médicaments/drogues tels que les troubles liés à la consommation d'alcool qui peuvent offrir de nouveaux horizons de recherche50. La figure 4 identifie les plates-formes de codage, la tendance et le lieu de publication au fil du temps, les emplacements des auteurs et les cohortes de patients des articles inclus dans cette revue.

La neurologie, et en particulier les investigations sur la maladie d'Alzheimer, ont représenté le plus grand nombre d'articles publiés sur ce sujet (n = 22). Avec le début de la pandémie de COVID-19, plusieurs articles de recherche primaires ont été consacrés à ce sujet, qui peut être atteint par les hiérarchies des maladies respiratoires ou infectieuses. Tous les articles notés dans cette revue utilisaient deux ou trois sources de données disparates lors de la fusion de leurs données, et en particulier celle de l'imagerie et du DSE (n = 52), était la plus répandue.

une carte thermique de type fusion décomposée en papiers de plates-formes de codage utilisées en additionnant le nombre de papiers (ceux qui ont mentionné la plate-forme utilisée), les plus populaires étant la plate-forme Python et la fusion précoce. Il convient de noter que 37 des articles ne mentionnaient pas explicitement une plate-forme. b Nombre total d'articles de recherche originaux publiés dans ce domaine au cours des 10 dernières années. c Répartition continentale des contributions des auteurs (notez que certains articles ont des auteurs de plusieurs continents). d Répartition par type de publication (revue clinique/non clinique). Moins de la moitié (37,6 %) des articles ont été publiés dans une revue destinée à un public clinique. e Répartition par sexe des populations étudiées. Les hommes et les femmes étaient représentés dans les articles, mais le degré de représentation variait au sein d'une même étude.

Parmi les modèles utilisés dans les articles, 126/128 ont déclaré explicitement en avoir effectué une procédure de validation. Les processus de validation les plus couramment exécutés étaient la validation croisée N fois (55)51,52, le fractionnement des tests de train (51), la validation croisée sans un (10) et l'ensemble de données externe (10). Une multitude de techniques et de méthodes d'apprentissage automatique ont été utilisées dans et entre les articles de cette revue. Ils ont été résumés dans le tableau 2, en notant dans quel sous-type parapluie de fusion ils ont été mis en œuvre.

La plupart des articles ont été publiés en utilisant la fusion précoce. Parmi ceux-ci, la plupart ont été publiés à l'aide de données d'imagerie médicale et de DSE34,36,48,53,56,57,60,62,63,64,68,71,73,75,85,86,87,88,90,92,93,94,95,96,98,100,104,111. Presque tous ces articles ont effectué une numérisation des caractéristiques de l'image en les convertissant essentiellement en données structurées avant le traitement, cependant, deux ont effectué une factorisation matricielle34,36. Une combinaison de DSE et de données textuelles a été notée dans 15 articles31,54,69,72,79,80,81,91,99,102,106,112. Meng et al. a créé un modèle d'apprentissage de représentation bidirectionnelle utilisant l'allocation latente de Dirichlet (LDA) sur les notes cliniques112. Cohen et al. utilisé des unigrammes et des bigrammes en conjonction avec l'utilisation de médicaments54. Zeng et al. utilisé des identificateurs de concept du texte comme caractéristiques d'entrée81. Neuf articles ont utilisé la fusion précoce avec l'imagerie, le DSE et les données génomiques32,50,51,55,61,65,83,89,108. Doan et al. composants concaténés dérivés d'images avec des scores de risque polygénique83. Lin et al. ont également créé des scores agrégés à partir de l'IRM, du liquide céphalo-rachidien et des informations génétiques et les ont rassemblés dans une seule machine d'apprentissage extrême cohésive pour prédire une déficience cognitive légère55. Tremblay et al. ont utilisé une spline de régression adaptative multivariée (MARS) après normalisation, en supprimant les caractéristiques hautement corrélées89. Dix articles ont effectué une fusion en utilisant l'imagerie et les données génomiques33,52,70,76,77,78,82,84,97,110. Trois d'entre eux ont généré des matrices de corrélation en tant que caractéristiques en vectorisant les paramètres d'imagerie et en les corrélant avec des polymorphismes nucléotidiques simples (SNP) avant d'alimenter le modèle33,70,78. Trois articles de cette catégorie ont utilisé le DSE et des séries chronologiques58,74,101. Hernandez et Canniére et al. ont mis en œuvre leurs méthodes à des fins de réadaptation cardiaque et ont exploité la puissance des machines à vecteurs de support (SVM). Cependant, Hernandez a préservé les informations de la série chronologique en assemblant les données ECG dans des tenseurs qui préservent les relations structurelles et temporelles inhérentes à l'espace des caractéristiques74, tandis que Canniére a effectué une réduction de dimensionnalité des informations de la série chronologique à l'aide de tracés t-SNE58. Deux articles comprenaient une fusion précoce utilisant l'imagerie et des séries chronologiques67,103. Il y avait deux articles qui exploitaient l'information sur le DSE et la génomique66,119. Luo et al. ont mis en œuvre la factorisation matricielle non négative hybride (HNMF) pour trouver une cohérence entre les phénotypes et les génotypes chez les personnes souffrant d'hypertension119. Un article a tiré parti de la fusion précoce à l'aide d'images et de données textuelles105 et un autre a utilisé le DSE, la génomique, la transcriptomique et les réclamations d'assurance157.

La fusion intermédiaire avait le deuxième plus grand nombre d'articles publiés. 14 ont utilisé des données d'imagerie et de DSE43,59,113,114,118,121,123,125,126,129,131,132,133,135,137. Zihni et al. fusionné la sortie d'un Perceptron multicouche (MLP) pour la modélisation des données cliniques et du réseau neuronal convolutif (CNN) pour la modélisation des données d'imagerie en une seule couche finale entièrement connectée pour prédire l'AVC135. Une approche très similaire a été adoptée par Tang et al. qui a utilisé des CNN tridimensionnels et a fusionné les couches dans la dernière couche113. Les données DSE et textuelles ont été fusionnées dans 11 articles41,44,80,107,109,116,122,126,134,136,142. Parmi ceux-ci, six41,44,80,122,134,142 ont utilisé des réseaux à long terme à court terme (LSTM), des CNN ou des CNN guidés par les connaissances160 dans leur fusion de DSE et de notes cliniques. Chowdhury et al. ont utilisé des réseaux de neurones graphiques et des auto-encodeurs pour apprendre les méta-intégrations à partir de résultats de tests de laboratoire structurés et de notes cliniques107,109. Pivovarov et al. appris des phénotypes probabilistes à partir de notes cliniques et de données sur les ordonnances de médicaments/laboratoires (DSE)136. Deux modèles utilisant chacun LDA où le type de données a été traité comme un sac d'éléments et pour apporter une cohérence entre les deux modèles afin d'identifier des phénotypes uniques. Ye et al. et Shin et al. ont utilisé des identifiants de concept via la PNL et des techniques de sac de mots, respectivement, avant de tester une multitude de modèles secondaires116,126. En général, les notes cliniques peuvent fournir des informations complémentaires aux données structurées du DSE, où le traitement du langage naturel (TAL) est souvent nécessaire pour extraire ces informations161,162,163. Quelques études ont été publiées utilisant l'imagerie et la génomique37,117,120. Ici, la radiogénomique a été utilisée pour diagnostiquer respectivement le trouble déficitaire de l'attention/hyperactivité (TDAH), la survie au glioblastome et la démence. Les scores de risque polygénique ont été combinés avec l'IRM par Yoo et al. qui ont utilisé un ensemble de forêts aléatoires pour le diagnostic du TDAH120. Zhou et al. a fusionné les informations SNP avec l'IRM et la tomographie par émission de positrons (TEP) pour le diagnostic de la démence en apprenant les représentations latentes (c'est-à-dire les caractéristiques de haut niveau) pour chaque modalité indépendamment. Par la suite, l'apprentissage des représentations conjointes des caractéristiques latentes pour chaque paire de combinaisons de modalités, puis l'apprentissage des étiquettes de diagnostic en fusionnant les représentations conjointes des caractéristiques latentes apprises à partir de la deuxième étape ont été effectués37. Wijethilake a utilisé l'IRM et le profilage de l'expression génique, effectuant une élimination récursive des caractéristiques avant de fusionner en plusieurs modèles SVM, régression linéaire et réseau de neurones artificiels (ANN). Le modèle de régression linéaire a surpassé les deux autres modèles fusionnés et toute modalité unique117. Wang et al. et Zhang et al. ont présenté leur travail de fusion d'images et d'informations textuelles45,46. Les deux ont utilisé LSTM pour modéliser le langage d'un CNN afin de générer des incorporations qui ont été réunies dans un modèle à double attention. Ceci est réalisé en calculant un vecteur de contexte avec des informations assistées conservées pour chaque modalité résultant en un apprentissage conjoint. Rares étaient les articles publiés en utilisant : Imaging/EHR/Text115, Genomic/Text49, Imaging/Time series127, Imaging/Text/Time series47, Imaging/EHR/Genomic130, Imaging/EHR/Time series124, EHR/Genomic128, EHR/Text/Time series42.

Un nombre beaucoup plus petit (n = 20) d'articles a utilisé la fusion tardive. Sept d'entre eux utilisaient des types de données d'imagerie et de DSE138,139,144,150,151,154,164. Xiong et al. et Yin et al. a introduit les sorties dans un CNN pour fournir une pondération et une décision finales150,151. Trois articles ont été publiés en utilisant une approche trimodale : imagerie, DSE et génomique130,147,148. Xu et al. et Faris et al. articles publiés utilisant le DSE et les données textuelles146,155. Faris et al. traité des notes cliniques à l'aide de TF-IDF, d'un vectoriseur de hachage et d'incorporations de documents en conjonction avec des données cliniques binarisées155. La régression logistique (LR), la forêt aléatoire (RF), le classificateur de descente de gradient stochastique (classificateur SGD) et un perceptron multicouche (MLP) ont été appliqués aux deux ensembles de données indépendamment et les sorties finales des deux modèles ont été combinées à l'aide de différents schémas : classement, sommation et multiplication. Deux articles ont été publiés à l'aide d'imagerie et de séries chronologiques149,152 qui utilisaient tous deux des CNN, l'un dans les informations vidéo des nouveau-nés149 et l'autre dans les radiographies pulmonaires152. Cependant, ils différaient dans leur traitement des données des séries chronologiques. Salekin a utilisé un CNN bidirectionnel et Nishimori a utilisé un CNN unidimensionnel. Beaucoup moins d'articles ont été publiés en utilisant Imaging/EHR/Text153, EHR/Genomic/Text145, Imaging/EHR, time series/141, Imaging/Genomic156, EHR/Genomic140 et Imaging/Text39.

Deux articles ont réalisé plusieurs architectures de fusion de données158,159. Huang et al. créé sept architectures de fusion différentes. Celles-ci comprenaient la fusion précoce, articulaire et tardive. L'architecture la plus performante était la fusion moyenne élastique tardive pour le diagnostic d'embolie pulmonaire à l'aide de la tomodensitométrie et des données du DSE159. Leur Late Elastic Average Fusion a exploité un ElasticNet (régression linéaire avec des priors L1 et L2 combinés qui agissent comme des régularisateurs) pour les variables EHR. El-Sappagh et al. ont effectué une fusion précoce et tardive pour créer un modèle interprétable de diagnostic et de détection de la progression de la maladie d'Alzheimer158. Leur modèle le plus performant était celui qui implémentait des explications basées sur les instances du classificateur de forêt aléatoire en utilisant l'attribution de caractéristiques SHapley Additive exPlanations (SHAP). Malgré l'utilisation de données cliniques, génomiques et d'imagerie, la caractéristique la plus influente s'est avérée être le mini-examen de l'état mental.

La fusion de données peut aider à aborder la représentation des sexes et à augmenter les problèmes de diversité de la population (y compris les populations minoritaires) dans la modélisation de la santé en créant un ensemble de données plus représentatif si un type de données contenait plus d'un sexe et un autre type de données contenait plus de l'autre. Cette capacité de compensation réciproque de l'utilisation de divers ensembles de données serait également vraie pour les diversités raciales ou ethniques.

Moins de la moitié (37,6 %) des articles ont été publiés dans une revue destinée à un public clinique. Aucun des articles inclus dans la cohorte finale d'études n'avait créé d'outils à usage clinique approuvés par la FDA. Sur la base du nombre croissant d'articles dans ce domaine, il existe un besoin et un intérêt croissants et mondiaux pour caractériser ces résultats.

Revenant à nos questions de recherche, nous les avons exposées dès le début de ce travail, nous arrivons au tableau 3.

De nombreuses questions ont été soulevées dans les articles inclus dans cette revue. Les limitations les plus fréquemment signalées étaient les cohortes d'un seul site, la petite taille des échantillons, les données rétrospectives, les échantillons déséquilibrés, le traitement des données manquantes, l'ingénierie des caractéristiques, le contrôle des facteurs de confusion et l'interprétation des modèles employés. Les échantillons ont été le plus souvent constitués à partir d'un seul hôpital ou centre médical universitaire148. La petite taille des échantillons conduit souvent à un mauvais ajustement du modèle et à une généralisation médiocre. Le nombre médian de patients uniques signalés dans les études était de 658 avec un écart type de 42 600. Cela suggère que si certaines études ont pu tirer parti de cohortes importantes et multicentriques, un grand nombre n'ont pas été en mesure de le faire70,82,120,131.

Rares étaient les enquêtes d'apprentissage automatique sur des données prospectives, un problème endémique dans le domaine84. Les déséquilibres des échantillons étaient souvent ignorés, ce qui se traduit par des modèles biaisés et des mesures de performance trompeuses75,151. Les données manquantes étaient généralement ignorées en supprimant des données ou en les imputant, si elles ne sont pas traitées de manière appropriée, elles peuvent fausser les résultats68,106,173. D'autres études doivent discuter des fréquences et des types de données manquantes174,175,176,177. La comparaison des différentes méthodes d'imputation sur les résultats finaux devrait faire partie du processus de notification178. Lors de l'analyse statistique, les chercheurs ont généralement ignoré les facteurs de confusion possibles tels que l'âge ou le sexe. Cela peut avoir des effets majeurs sur l'impact des résultats153. Ces éventuels effets de confusion doivent soit être pris en compte par le modèle179,180, soit être ajustés en premier, avant de rapporter les résultats du modèle. Des interprétations raisonnables du modèle et des résultats doivent être présentées afin que les cliniciens trouvent les résultats crédibles et les utilisent ensuite pour fournir des conseils pour les traitements. Cependant, la plupart des auteurs n'ont pas pris le temps d'interpréter les modèles pour les publics cliniques. De plus, comment les résultats peuvent fonctionner comme un outil d'aide à la décision clinique. Différents types de modèles justifient différentes explications129,130. Ces limitations sont mises en évidence là où elles se produisent dans le pipeline de construction de traitement et de modélisation des données dans la Fig. 5.

Les limites de la mise en œuvre de la fusion multimodale sont stratifiées en fonction de leur emplacement dans le flux de travail. Il s'agit notamment des problèmes associés aux données sous-jacentes, à la modélisation qui découle de ces données et, enfin, à la manière dont celles-ci sont renvoyées aux systèmes de santé pour fournir une aide à la décision translationnelle.

Pour accélérer et faciliter ce domaine, nous avons décrit plusieurs lacunes pour les recherches futures dans ce domaine. Celles-ci sont répertoriées dans la Fig. 5 et explorées. Les sujets sur les médicaments/drogues présentent un domaine sous-représenté, avec seulement deux articles publiés dans ce domaine50,66. La connaissance des effets des interactions médicamenteuses est un problème difficile et croissant181,182,183,184, particulièrement en gériatrie, d'où les critères de Beer185. L'apprentissage automatique multimodal peut offrir une détection plus précoce des événements indésirables associés à l'abus de médicaments résultant d'une erreur iatrogène, d'une non-conformité ou d'une dépendance. Des justifications similaires à celles décrites ci-dessus pourraient être appliquées à d'autres domaines considérés comme «sous-saturés», tels que l'hématologie avec un seul article49 et la néphrologie avec seulement trois41,87,99.

Augmenter la prise de décision clinique avec le ML pour améliorer la recherche clinique et les résultats offre des impacts positifs qui ont des ramifications économiques, éthiques et morales, car cela peut réduire la souffrance et sauver des vies humaines. Plusieurs études ont maintenant souligné que si les données sur lesquelles un modèle ML est formé sont biaisées, cela entraîne souvent un biais dans les prédictions186,187. La garantie de données multisites représentatives limitera les biais du modèle. Nous préconisons également la création de pipelines/bibliothèques en libre accès pour accélérer la conversion des données afin de rendre la technologie plus largement disponible188,189. L'amélioration de la précision au détriment de transformations de données complexes et chronophages peut signifier que la puissance prédictive obtenue grâce à une approche multimodale est compensée par ce goulot d'étranglement frontal, ce qui signifie que les prédictions ne sont plus temporellement pertinentes ou utiles.

Bien que l'incorporation de données disparates se prête à des prédictions apparemment meilleures139, à mesure que les connaissances sur certaines maladies s'accumulent, la fusion de données dans les soins de santé est une cible en évolution qui justifie une adaptation proactive au paysage dynamique190. Il n'existe pas de modèle ML unique avec une applicabilité omniprésente. Par exemple, il a été démontré dans les interactions protéine-protéine que l'utilisation de l'algorithme d'ensemble XGBoost réduit les caractéristiques bruyantes, maintient les caractéristiques brutes significatives et empêche le surajustement122. De même, LightGBM191 présente les avantages d'une vitesse d'entraînement plus rapide, d'une plus grande efficacité, d'une utilisation réduite de la mémoire, d'une meilleure précision192 et a constamment surpassé les autres modèles193,194. Les réseaux de neurones graphiques peuvent synthétiser de nouvelles connexions menant à la découverte/aux cibles de médicaments122.

Dans le même ordre d'idées, les modèles qui permettent l'interprétabilité doivent toujours être considérés. Par exemple, le modèle de Perotte et al.99 n'a pas été comparé à des classificateurs conventionnels plus simples d'apprentissage automatique, et la factorisation matricielle collective devient intrinsèquement difficile à interpréter79. Comparez cela avec les travaux de Fraccaro et al. dont l'étude de la dégénérescence maculaire a noté que leur boîte blanche fonctionnait aussi bien que les implémentations des méthodes de la boîte noire68.

Au fur et à mesure que ce domaine et les ensembles de données associés mûrissent, des travaux sont nécessaires pour aborder les principes de la gestion des données : possibilité de trouver, accessibilité, interopérabilité et réutilisation des ensembles de données numériques (FAIR)195. Cela implique d'avoir des métadonnées uniques/anonymisées et consultables, avec des points d'accès ouverts ou fédérés (recherche/accessibilité), des données largement partagées (interopérabilité) et enfin des données contenant des attributs précis et pertinents dans le cadre d'un accord/licence d'utilisation des données clair (réutilisable). Il est impératif qu'il existe une définition claire des résultats, une évaluation des biais et de l'interprétabilité/transparence des résultats, ainsi que des limites inhérentes à ses prédictions196.

Il est d'une importance cruciale pour l'adoption que les prédictions soient spécifiques au patient et exploitables à un niveau granulaire197. Par exemple, un algorithme de prédiction de réadmission sur 30 jours106, s'il est mis en œuvre, peut éclairer la gestion des ressources et susciter des recherches supplémentaires susceptibles de réduire le nombre de patients réadmis. Linden et al. développé un modèle de RIsk convolutionnel LOngitudinal personnalisé profond (DeepLORI) capable de créer des prédictions qui peuvent être interprétées au niveau de chaque patient122. Tirer parti à la fois des informations cliniques et empiriques pour créer des recommandations significatives et utilisables136 peut améliorer la compréhension des cliniciens/utilisateurs finaux en se rapportant aux cadres existants. Des ressources telles que CRISP-ML fournissent un cadre pour déplacer les cas d'utilisation vers des applications plus pratiques198, tandis que les efforts visant à obtenir les approbations de la Food and Drug Administration (FDA) en tant qu'outil d'utilisation sont encouragés à une adoption accrue.

Le déploiement de modèles avec des interfaces utilisateur annotant les limitations inhérentes à ces prédictions196 permettra aux décideurs cliniques de s'interfacer et de mettre en œuvre les changements en conséquence. Le suivi des tâches susmentionnées poussera les domaines individuels à créer des recommandations pour des implémentations ultérieures dans le monde réel qui sont pertinentes, exploitables et transcendent les différences régionales/sous-populationnelles. Les limites de cet examen de la portée comprennent le fait qu'il ne s'agit pas d'un examen systématique. Par conséquent, il est possible que certains titres qui auraient dû être inclus aient été omis. Comme l'objectif principal de cette étude était d'effectuer un profilage d'articles scientifiques sur l'apprentissage automatique multimodal dans le domaine de la santé, une évaluation critique de la qualité méthodologique individuelle des études incluses n'a pas été effectuée. Cependant, des commentaires sont fournis sur les limites méthodologiques qui auraient pu affecter leurs résultats et impacter leurs affirmations. Cette revue propose des métadonnées et une évaluation complètes dans tous les domaines de la santé, sans rapport avec le type d'apprentissage automatique ou les données utilisées. Ce travail sert à la fois de synthèse et de tremplin pour de futures recherches dans ce domaine. La fusion de données dans le domaine de la santé est un domaine d'intérêt mondial en pleine croissance. Les domaines thématiques de la santé qui ont une fréquence élevée par rapport aux autres étaient la neurologie et le cancer, qui servent à mettre en évidence les opportunités d'exploration plus approfondie dans des sujets sous-étudiés (hématologie, dermatologie). L'apprentissage automatique unimodal contraste par nature avec la pratique clinique de routine actuelle dans laquelle les données d'imagerie, cliniques ou génomiques sont interprétées à l'unisson pour éclairer un diagnostic précis et justifient des travaux supplémentaires pour une utilisation et une mise en œuvre faciles. Dans l'ensemble, il semble justifié d'affirmer que la fusion de données multimodales augmente les performances prédictives par rapport aux approches unimodales (amélioration moyenne de 6,4 % de l'AUC) et est justifiée le cas échéant. L'apprentissage automatique multimodal peut être un outil mis à profit dans la médecine de précision pour regrouper davantage les patients et leur empreinte de santé unique. De plus, comme aucun article de notre revue n'a demandé l'approbation de la FDA, nous préconisons davantage d'efforts dans la traduction des modèles et explorons les nécessités qui facilitent cette fin.

Une ressource de tableau de bord publiée conjointement avec cet article de synthèse est disponible à l'adresse : https://multimodal-ml-health.herokuapp.com/. Ce tableau de bord a été créé sous la forme d'un affichage interactif basé sur une infographie des principaux résultats présentés dans cet article. Pour favoriser les travaux futurs, un menu déroulant a été créé pour aider les chercheurs à filtrer le fichier de données sous-jacent des titres en fonction du sujet de santé global spécifique par sélection. Cela facilitera la localisation des documents pertinents.

Les conditions d'inclusion étaient les suivantes : (a) article de recherche original ; (b) publié au cours des 10 dernières années (englobant les années 2011 à 2021) ; (c) publié en anglais; et (d) sur le thème de l'utilisation multimodale ou multivue de l'apprentissage automatique dans le domaine de la santé pour des applications de diagnostic ou de pronostic. « Multimodal » ou « multivue » pour notre contexte signifie que les multiples sources de données n'étaient pas du même type. Par exemple, alors qu'un article utilisant la tomodensitométrie et l'IRM peut être considéré comme une imagerie multimodale ; cependant, selon nos critères, il serait considéré comme unimodal (c'est-à-dire qu'il ne comprendrait que l'imagerie). Les exclusions aux fins de cette revue étaient : (a) les articles scientifiques non publiés en anglais ; (b) commentaires ou éditoriaux ; ou (c) d'autres articles de synthèse. Les articles ont également été exclus si les données n'étaient pas d'origine humaine. Nous avons également exclu les articles où la fusion s'est déjà produite au stade de la génération des données, comme la transcriptomique spatiale produisant des données d'imagerie tissulaire intégrée et de transcriptomique199,200,201. Tous les articles ont fait l'objet d'une vérification par 2 personnes avant d'être inclus dans le manuscrit.

Les chaînes de recherche ont été établies via des recherches dans la littérature et l'expertise du domaine. Des mots clés supplémentaires ont été identifiés sur la base de matrices de cooccurrence de mots clés établies à partir des résumés des articles précédemment inclus. La figure 6a affiche les chaînes de recherche, où une chaîne individuelle inclurait un mot-clé de chaque colonne, ceci a été effectué pour toutes les combinaisons de chaînes de recherche. Un aperçu du processus d'inclusion/exclusion est noté dans la Fig. 6b et suit la norme établie par l'extension PRISMA pour les examens de cadrage202.

un mot-clé lié à la santé, un mot-clé lié au multimodal, des mots-clés liés à l'apprentissage automatique, |: ou. Par exemple, "santé + données hétérogènes + apprentissage automatique" serait l'une des chaînes de recherche. b Aperçu du processus d'inclusion à l'étude. c Questions de recherche posées.

Les informations recueillies à partir des articles comprenaient le titre, l'année de publication, l'approbation de l'outil par la FDA, sa publication dans une revue clinique, les affiliations des auteurs, le nombre d'auteurs, les lieux (continents) et le résumé. Le ou les sujets de santé abordés ont été extraits, ainsi que le ou les sujets médicaux plus larges qui englobent la maladie. Par exemple, le cancer du poumon serait la maladie spécifique en question. Il est issu des thématiques Cancer et Respiratoire selon notre classification. La classification des sujets de santé a été supervisée et examinée par un médecin pour en assurer l'exactitude. Étant donné que plusieurs sujets de santé englobent souvent une seule maladie de santé abordée dans chaque article, plusieurs articles sont comptés deux fois. Cela est vrai lorsqu'il est cartographié du côté droit du tracé de Sankey à la maladie de santé spécifique au milieu.

Nous avons enregistré et extrait le nombre de modalités différentes et les divisions (c'est-à-dire, texte/image vs DSE/génomique/séries temporelles) utilisées. L'objectif de chaque article a été extrait dans un résumé de 1 à 2 phrases avec le mot-clé (si disponible). La caractérisation des patients dans les études a été réalisée en vérifiant le nombre de patients uniques dans la cohorte et le sexe des patients (c.-à-d. hommes/femmes/les deux ou non mentionné).

Les informations informatiques extraites comprenaient : (a) la ou les interfaces de codage utilisées dans le traitement/l'analyse des données, (b) le type d'apprentissage automatique, (c) la technique de fusion de données (précoce, intermédiaire, tardive) et (d) les types d'algorithmes d'apprentissage automatique utilisés. Que la validation ait été effectuée (oui/non), les tests statistiques exécutés, la nature de la validation et les mesures des résultats ont tous été enregistrés pour chaque article. L'importance, l'impact et les limites de chaque article ont été extraits en examinant les principaux résultats et limites indiqués dans les articles.

De plus amples informations sur la conception de la recherche sont disponibles dans le résumé des rapports de recherche sur la nature lié à cet article.

Nils, BH & Sabine, S. L'éthique de l'aide à la décision clinique basée sur l'apprentissage automatique : une analyse à travers le prisme de la théorie de la professionnalisation. BMC Med. Éthique 22, 112 (2021).

Sanchez-Pinto, LN, Luo, Y. & Churpek, MM Données volumineuses et science des données en soins intensifs. Coffre 154, 1239-1248 (2018).

Article PubMed PubMed Central Google Scholar

Miotto, R., Wang, F., Wang, S., Jiang, X. & Dudley, JT Apprentissage en profondeur pour les soins de santé : examen, opportunités et défis. Brève Bioinformer. 19, 1236-1246 (2017).

Timothée, JWD et al. L'apprentissage automatique du mouvement ventriculaire droit tridimensionnel permet de prédire les résultats dans l'hypertension pulmonaire : une étude d'imagerie par résonance magnétique cardiaque. Radiologie 283, 381–390 (2017).

Article Google Scholar

Gigi, FS, Gregory, RH, Bradley, JN & Jun, D. Prédire le risque de cancer du sein à l'aide de données personnelles sur la santé et de modèles d'apprentissage automatique. PLoS One 14, e0226765 (2019).

Michael, F., Justin, BE-T. & Elizabeth, S. Implications cliniques et de santé publique des directives 2019 de la société endocrinienne pour le diagnostic du diabète chez les personnes âgées. Soins du diabète 43, 1456–1461 (2020).

Article Google Scholar

Gambhir, SS, Ge, TJ, Vermesh, O. & Spitler, R. Vers une santé de précision. Sci. Trad. Méd. 10, eaao3612 (2018).

Article PubMed PubMed Central Google Scholar

Schüssler-Fiorenza Rose, SM et al. Une approche big data longitudinale pour la santé de précision. Nat. Méd. 25, 792–804 (2019).

Article PubMed Google Scholar

Feero, WG Présentation de "la génomique et la santé de précision". JAMA 317, 1842–1843 (2017).

Article PubMed Google Scholar

Kellogg, RA, Dunn, J. & Snyder, MP Omics personnels pour la santé de précision. Circulation Rés. 122, 1169-1171 (2018).

Article CAS PubMed Google Scholar

Thapa, C. & Camtepe, S. Données de santé de précision : exigences, défis et techniques existantes pour la sécurité et la confidentialité des données. Calcul. Biol. Méd. 129, 104130 (2021).

Article PubMed Google Scholar

Pranata, S. et al. Éléments, définitions et stratégies de soins de santé de précision pour les patients diabétiques : une revue de la littérature. Int. J. Environ. Rés. Santé publique 18, 6535 (2021).

Article PubMed PubMed Central Google Scholar

Shih Cheng, H., Anuj, P., Saeed, S., Imon, B. et Matthew, PL Fusion de l'imagerie médicale et des dossiers de santé électroniques à l'aide de l'apprentissage en profondeur : une revue systématique et des directives de mise en œuvre. npj Digital Med. 3, 136 (2020).

Weixian, H., Kaiwen, T., Jinlong, H., Ziye, Z. & Shoubin, D. Un examen des méthodes de fusion pour les données omiques et d'imagerie. Dans IEEE/ACM Trans Comput Biol Bioinform (IEEE, 2022).

Federico, C. Un examen des techniques de fusion de données. Monde scientifique J. 2013, 704504 (2013).

Alan, NS, Christopher, LB et Franklin, EW Révisions du modèle de fusion de données JDL. Sens. Fusion. : Architectures, Algorithmes, Appl. III 3719, 430 (1999). éditeur = SPIE.

Google Scholar

Erik, M.-M.-R., Antonio, AA, Ramon, FB et Enrique, G.-C. Amélioration de la précision dans la prédiction de la meilleure architecture de fusion de capteurs pour plusieurs domaines. Capteurs 21, 7007 (2021).

Ahmad, FS, Luo, Y., Wehbe, RM, Thomas, JD & Shah, SJ Progrès dans les approches d'apprentissage automatique de l'insuffisance cardiaque avec fraction d'éjection préservée. Insuffisance cardiaque Clin. 18, 287–300 (2022).

Article PubMed Google Scholar

Erik, B. et al. Apprentissage automatique/intelligence artificielle pour la fusion de données de capteurs - opportunités et défis. Dans IEEE Aerospace and Electronic Systems Magazines Vol. 36, 80–93 (IEEE, 2021).

Li, Y., Wu, X., Yang, P., Jiang, G. et Luo, Y. Applications d'apprentissage automatique dans le diagnostic, le traitement et le pronostic du cancer du poumon. Préimpression sur https://arxiv.org/abs/2203.02794 (2022).

Kohane, IS et al. Ce que chaque lecteur devrait savoir sur les études utilisant des données de dossiers de santé électroniques, mais peut avoir peur de le demander. J. Med. Rés Internet. 23, e22219 (2021).

Article PubMed PubMed Central Google Scholar

Andres, C. et al. Modèles de pronostic d'apprentissage automatique de l'épidémie d'Ebola de 2014 à 2016 : défis de l'harmonisation des données, stratégies de validation et applications mHealth. EClinicalMedicine 11, 54–64 (2019).

Article Google Scholar

Afshin, J., Jean Pierre, P. & Johanne, M.-P. Modèles de prédiction spécifiques au patient basés sur l'apprentissage automatique pour l'arthrose du genou. Nat. Rév. Rheumatol. 15, 49–60 (2019).

Article Google Scholar

Luo, Y., Ahmad, FS & Shah, SJ Factorisation du tenseur pour la médecine de précision dans l'insuffisance cardiaque avec fraction d'éjection préservée. J. Cardiovasc. Trad. Rés. 10, 305–312 (2017).

Luo, Y., Wang, F. & Szolovits, P. Factorisation du tenseur vers la médecine de précision. Briefings Bioinformer. 18, 511–514 (2016).

Rasmussen L. et al. Considérations pour améliorer la portabilité des algorithmes de phénotype basés sur les dossiers de santé électroniques. Dans Actes du Symposium annuel 2019 de l'AMIA 2019 (2019).

Zhong, Y. et al. Caractérisation des modèles de conception des algorithmes d'extraction de phénotypes basés sur le DSE. En 2018, Conférence internationale IEEE sur la bioinformatique et la biomédecine (BIBM) 1143–1146 (IEEE, 2018).

Rasmussen, LV et al. Solutions aux défis inattendus rencontrés lors de l'intégration des résultats de la recherche génomique dans le DSE. ACI Ouvert 4, e132–e5 (2020).

Article Google Scholar

Shang, N. et al. Rendre le travail visible pour la mise en œuvre du phénotype électronique : leçons tirées du réseau eMERGE. J. Biomed. Inf. 99, 103293 (2019).

Article Google Scholar

Dana, L., Tulay, A. & Christian, J. Fusion de données multimodales : aperçu des méthodes, des défis et des perspectives. Proc. IEEE 103, 1449–1477 (2015).

Article Google Scholar

Wei, C., Yungui, H., Brendan, B. et Simon, L. L'utilité d'inclure des rapports de pathologie pour améliorer l'identification informatique des patients. J. Pathol. Informer. 7, 46 (2016).

Yubraj, G., Ramesh Kumar, L. & Goo Rak, K. Prédiction et classification de la maladie d'Alzheimer sur la base de caractéristiques combinées du génotype de l'apolipoprotéine-E, du liquide céphalo-rachidien, de l'IRM et des biomarqueurs d'imagerie FDG-PET. Devant. Calcul. Neurosci. 13, 72 (2019).

Xia An, B., Xi, H., Hao, W. & Yang, W. Analyse multimodale des données de la maladie d'Alzheimer basée sur le regroupement d'une forêt aléatoire évolutive. IEEE J. Biomed. Informer sur la santé. 24, 2973-2983 (2020).

Article Google Scholar

Ariana, A. et al. La factorisation matricielle non négative des données IRM multimodales, IRMf et phénotypiques révèle des changements différentiels dans les sous-réseaux du mode par défaut dans le TDAH. Neuroimage 102, 207–219 (2014).

Article Google Scholar

Chao, G., Luo, Y. & Ding, W. Progrès récents dans la réduction de dimension supervisée : une enquête. Mach. Apprendre. Savoir. Extraction 1, 341–358 (2019).

Article Google Scholar

Pillai, PSLTY Fusion de données hétérogènes pour la classification de la maladie d'Alzheimer. Étalon. Technol. Santé Inf. 216, 731–735 (2015).

Google Scholar

Tao, Z., Kim Han, T., Xiaofeng, Z. & Dinggang, S. Apprentissage efficace des caractéristiques et fusion de données multimodales à l'aide d'un réseau de neurones profonds par étapes pour le diagnostic de la démence. Hum. Cartographie du cerveau. 40, 1001-1016 (2019).

Article Google Scholar

Robi, P. Systèmes basés sur des ensembles dans la prise de décision. Système de circuits IEEE. Mag. 6, 21–44 (2006).

Article Google Scholar

Francesco, C. & Marwa, M. Apprentissage automatique temporel multimodal pour la reconnaissance du trouble bipolaire et de la dépression. Application d'analyse de modèle. 25, 493-504 (2021).

Durrant-Whyte, modèles de capteurs HF et intégration multicapteur. Int. J. Robot. Rés. 7, 97-113 (1988).

Article Google Scholar

Xu, Z. et al. Identification de sous-phénotypes prédictifs d'insuffisance rénale aiguë à l'aide de données de dossiers de santé électroniques structurées et non structurées avec des réseaux de mémoire. J. Biomed. Informer. 102, 103361 (2019).

Article Google Scholar

Dongdong, Z., Changchang, Y., Jucheng, Z., Xiaohui, Y. & Ping, Z. Combinaison de données structurées et non structurées pour des modèles prédictifs : une approche d'apprentissage en profondeur. BMC Med. Informer. Décis. Mak. 20, 280 (2020).

Shaker, E.-S., Tamer, A., Islam, SMR et Kyung Sup, K. Modèle d'apprentissage en profondeur multimodal multitâche pour la détection de la progression de la maladie d'Alzheimer basé sur des données de séries chronologiques. Neuroinformatique 412, 197–215 (2020).

Article Google Scholar

Haiyang, Y., Li, K. & Feng Qiang, X. Réseau multimodal de notes temporelles et cliniques pour la prédiction de la mortalité. J. Biomed. Sémantique 12, 3 (2021).

Zizhao, Z., Pingjun, C., Manish, S. & Lin, Y. TandemNet : Distiller les connaissances à partir d'images médicales en utilisant des rapports de diagnostic comme références sémantiques facultatives. Conférence internationale sur l'informatique médicale et l'intervention assistée par ordinateur, 10435, 320–328 (Springer, Cham, 2017).

Xiaosong, W., Yifan, P., Le, L., Zhiyong, L. et Ronald, MS TieNet : réseau d'intégration de texte et d'image pour la classification et la notification des maladies courantes du thorax dans les radiographies pulmonaires. Dans Actes de la conférence de l'IEEE Computer Society sur la vision par ordinateur et la reconnaissance de formes 9049–9058 (IEEE Computer Society, 2018).

Syed Arbaaz, Q., Sriparna, S., Mohammed, H., Gael, D. & Erik, C. Apprentissage de la représentation multitâche pour l'estimation multimodale du niveau de dépression. Intelligence IEEE. Syst. 34, 45–52 (2019).

Article Google Scholar

Jordan, Y., William, Y. et Philipp, T. Classification multimodale des lésions cutanées à l'aide de l'apprentissage en profondeur. Exp. Dermatol. 27, 1261-1267 (2018).

Article Google Scholar

Kai, Z et al. MLMDA : Une approche d'apprentissage automatique pour prédire et valider les associations microARN-maladie en intégrant des sources d'information hétérogènes. J. Trad. Méd. 17, 260 (2019).

Sivan, K. et al. Prédire le risque de trouble lié à la consommation d'alcool à l'aide de données longitudinales avec des biomarqueurs multimodaux et des antécédents familiaux : une étude d'apprentissage automatique. Mol. Psychiatrie 26, 1133-1141 (2021).

Article Google Scholar

Mara Ten, K et al. Prédicteurs IRM de la pathologie amyloïde : résultats de l'étude EMIF-AD Multimodal Biomarker Discovery. Rés. Alzheimer. Là. 10, 100 (2018).

Isamu, H. et al. La radiogénomique prédit l'expression du microARN-1246 dans le sérum des patients atteints d'un cancer de l'œsophage. Sci. Rep. 10, 2532 (2020).

Jesus, JC, Jianhua, Y. & Daniel, JM Amélioration des outils d'analyse d'image en fusionnant des valeurs physiologiques quantitatives avec des caractéristiques d'image. J. Digit Imaging 25, 550–557 (2012).

Article Google Scholar

Kévin Bretonnel, C. et al. Problèmes méthodologiques dans la prédiction des candidats à la chirurgie de l'épilepsie pédiatrique grâce au traitement du langage naturel et à l'apprentissage automatique. Biomédical. Informer. Aperçus 8, BII.S38308 (2016).

Article Google Scholar

Weiming, L. et al. Prédire la conversion de la maladie d'Alzheimer à partir d'une déficience cognitive légère à l'aide d'une méthode de notation basée sur une machine d'apprentissage extrême avec des données multimodales. Devant. Neurosciences vieillissantes. 12, 77 (2020).

Michée, C. et al. Prédire la réhospitalisation dans les 2 ans suivant l'admission initiale du patient pour un épisode dépressif majeur : une approche d'apprentissage automatique multimodal. Trad. Psychiatrie 9, 285 (2019).

Jongin, K. & Boreom, L. Identification de la maladie d'Alzheimer et des troubles cognitifs légers à l'aide d'une machine d'apprentissage extrême hiérarchique clairsemée multimodale. Hum. Cartographie du cerveau. 39, 3728–3741 (2018).

Article Google Scholar

Hélène De, C. et al. La surveillance portable et l'apprentissage automatique interprétable peuvent suivre objectivement la progression des patients pendant la réadaptation cardiaque. Capteurs (Suisse.) 20, 1–15 (2020).

Google Scholar

Tamer, A., Shaker, E.-S. & Jose, MA Modèles hybrides robustes d'apprentissage en profondeur pour la détection de la progression de la maladie d'Alzheimer. Système basé sur la connaissance 213, 106688 (2021).

Jeungchan, L. et al. Prédiction de la douleur clinique basée sur l'apprentissage automatique à l'aide de la neuroimagerie multimodale et de mesures autonomes. Douleur 160, 550–560 (2019).

Article Google Scholar

Uttam, K., Goo Rak, K. & Horacio, R.-G. Une combinaison efficace entre l'IRMs, le CSF, le score cognitif et les biomarqueurs APOE ϵ 4 pour la classification de la MA et du MCI à l'aide d'une machine d'apprentissage extrême. Calcul. Renseignement. Neurosci. 2020, 8015156 (2020).

Bo, C., Mingxia, L., Heung, IS, Dinggang, S. & Daoqiang, Z. Apprentissage par transfert régularisé multimodal pour la prédiction de conversion MCI. Comportement d'imagerie cérébrale. 9, 913–926 (2015).

Article Google Scholar

Kevin, H., Ulrike, L., Markus, M. et Katja, BB. Séparer le trouble anxieux généralisé de la dépression majeure à l'aide de données IRM cliniques, hormonales et structurelles : une étude d'apprentissage automatique multimodale. Comportement cérébral 7, e00633 (2017).

Fayao, L., Luping, Z., Chunhua, S. et Jianping, Y. Apprentissage multiple du noyau dans le primal pour la classification multimodale de la maladie d'Alzheimer. IEEE J. Biomed. Informer sur la santé. 18, 984–990 (2014).

Article Google Scholar

Diego, C.-B. et coll. Méthodologie de classification d'ensemble robuste pour les images SPECT I123-Ioflupane et plusieurs biomarqueurs hétérogènes dans le diagnostic de la maladie de Parkinson. Devant. Neuroinforme. 12, 53 (2018).

Yi, Z. et al. Prédire les effets indésirables des médicaments combinés à partir de bases de données pharmacologiques hétérogènes. BMC Bioinform. 19, 517 (2018).

Chin Po, C., Susan Shur Fen, G. & Chi Chun, L. Vers un diagnostic différentiel des troubles du spectre autistique à l'aide de descripteurs de comportement multimodaux et de fonctions exécutives. Calcul. Langage de la parole. 56, 17–35 (2019).

Article Google Scholar

Paolo, F. et al. Combiner Les Signes Cliniques De La Macula Et Les Caractéristiques Du Patient Pour Le Diagnostic De La Dégénérescence Maculaire Liée à L'âge: Une Approche D'apprentissage Automatique Retina. BMC Ophtalmol. 15, 10 (2015).

Benjamin, DW et al. Identification précoce des candidats à la chirurgie de l'épilepsie : une étude multicentrique d'apprentissage automatique. Acta Neurol. Scannez. 144, 41–50 (2021).

Article Google Scholar

Xia An, B., Wenyan, Z., Lou, L. & Zhaoxu, X. Détection du gène à risque et de la région cérébrale pathogène dans l'EMCI à l'aide d'un nouvel algorithme GERF basé sur l'imagerie cérébrale et les données génétiques. IEEE J. Biomed. Informer sur la santé. 25, 3019-3028 (2021).

Article Google Scholar

Prashanth, R., Sumantra Dutta, R., Pravat, KM et Shantanu, G. Détection de haute précision de la maladie de Parkinson précoce grâce à des fonctionnalités multimodales et à l'apprentissage automatique. Int. J. Med. Inf. 90, 13–21 (2016).

Article CAS Google Scholar

Ali, A.-M. et coll. Apprentissage automatique pour la localisation de la zone épileptogène dans le lobe temporal : quantification de la valeur de la concordance clinique-sémiologique et d'imagerie multimodale. Devant. Santé numérique 3, 559103 (2021).

Baiying, L. et al. Évaluation de la fibrose hépatique dans l'hépatite B chronique via des données multimodales. Neuroinformatique 253, 169-176 (2017).

Article Google Scholar

Larry, H. et al. Méthode multimodale basée sur le tenseur pour la surveillance intégrative et continue du patient pendant les soins cardiaques postopératoires. Artef. Renseignement. Méd. 113, 102032 (2021).

Ivo, DD et al. Analyse prédictive des données volumineuses : une étude de la maladie de Parkinson à l'aide d'observations volumineuses, complexes, hétérogènes, incongrues, multisources et incomplètes. PLoS One 11, e0157077 (2016).

Eleftherios, T., Ioannis, S., Apostolos, HK et Kostas, M. Radiotranscriptomique profonde du carcinome pulmonaire non à petites cellules pour évaluer les sous-types moléculaires et histologiques avec une analyse basée sur les données. Diagnostics 11, 2383 (2021).

Hua, W. et al. Identification de biomarqueurs sensibles à la maladie et pertinents pour les traits quantitatifs à partir de données génétiques d'imagerie hétérogènes multidimensionnelles via un apprentissage multitâche multimodal clairsemé. Bioinformatique 28, i127–36 (2012).

Xia, B., Xi, H., Yiming, X. & Hao, W. Une nouvelle approche CERNNE pour prédire les gènes et les régions cérébrales associés à la maladie de Parkinson sur la base de données génétiques d'imagerie multimodale. Méd. Image anale. 67, 101830 (2021).

Vijay, H. et al. Prédire les complications en soins intensifs à l'aide de données cliniques hétérogènes. Accès IEEE 4, 7988–8001 (2016).

Article Google Scholar

Wang, H., Li, Y., Khan, SA et Luo, Y. Prédiction de la récidive à distance du cancer du sein à l'aide du traitement du langage naturel et d'un réseau neuronal convolutif guidé par les connaissances. Artef. Renseignement. Méd. 110, 101977 (2020).

Article PubMed PubMed Central Google Scholar

Zeng, Z. et al. Identifier les récidives à distance du cancer du sein à partir des dossiers de santé électroniques à l'aide de l'apprentissage automatique. J. Information sur les soins de santé. Rés. 3, 283–299 (2019).

Kautzky, A. et al. Classification par apprentissage automatique du TDAH et du HC par des données sérotoninergiques multimodales. Trad. Psychiatrie 10, 104 (2020).

Nhat Trung, D. et al. Modèles morphologiques cérébraux multivariés distincts et leur valeur prédictive ajoutée avec les scores de risque cognitif et polygénique dans les troubles mentaux. NeuroImage : Clin. 15, 719–731 (2017).

Article Google Scholar

Niha, B. et al. L'analyse radiogénomique de la voie de l'hypoxie est prédictive de la survie globale dans le glioblastome. Sci. Rep. 8, 7 (2018).

Jan, CP et al. La combinaison d'imagerie multimodale et de fonctionnalités de traitement améliore l'évaluation pronostique basée sur l'apprentissage automatique chez les patients atteints de glioblastome multiforme. Cancer Med. 8, 128-136 (2019).

Article Google Scholar

Hao, Z. et al. L'apprentissage automatique révèle des modèles d'IRM multimodaux prédictifs de l'isocitrate déshydrogénase et du statut 1p/19q dans les gliomes diffus de bas et haut grade. J. Neurooncol 142, 299–307 (2019).

Article Google Scholar

Namyong, P. et al. Prédire les lésions rénales aiguës chez les patients cancéreux à l'aide de données hétérogènes et irrégulières. PLoS One 13, e0199839 (2018).

Wei Liang, T., Chee Kong, C., Sim Heng, O. et Alvin Choong Meng, N. Analyse de régression basée sur un ensemble de données médicales multimodales pour le diagnostic d'ostéopénie. Système expert. Appl. 40, 811–819 (2013).

Article Google Scholar

Sébastien, T., Yasser, I.-M., José María, M.-P., Alan, CE & Louis De, B. Définir une signature multimodale des commotions sportives à distance. EUR. J. Neurosci. 46, 1956-1967 (2017).

Article Google Scholar

Gianluca, B. et al. Modélisation prédictive multimodale des résultats du traitement endovasculaire de l'AVC ischémique aigu à l'aide de l'apprentissage automatique. Course 51, 3541–3551 (2020).

Yiming, X. et al. Auto-encodeur variationnel multimodal dynamique explicable pour la prédiction des patients suspects de puberté précoce centrale. IEEE J. Biomed. Informer sur la santé. 26, 1362-1373 (2021).

Alan, DK et al. Cadre de modèle de mélange pour le pronostic des lésions cérébrales traumatiques à l'aide de données cliniques et de résultats hétérogènes. IEEE J. Biomed. Informer sur la santé. 26, 1285-1296 (2021).

Casper, R. et al. Stratification du risque préopératoire dans le cancer de l'endomètre (ENDORISK) par un modèle de réseau bayésien : une étude de développement et de validation. PLoS Med. 17, e1003111 (2020)

Tommaso, G. et al. Réseau de comorbidité SARS-COV-2 et résultats chez les patients hospitalisés à Crema, Italie. PLoS One 16, e0248498 (2021).

Huan, Q. et al. Radiomique d'apprentissage automatique pour prédire la récidive précoce du cholangiocarcinome périhilaire après résection curative. Foie Int. 41, 837–850 (2021).

Article Google Scholar

Ramon, C. et al. Évaluation du risque de maladie d'Alzheimer à l'aide de méthodes d'apprentissage automatique à grande échelle. PLoS One 8, e77949 (2013).

Aleksei, T. et al. Prédiction de la progression de l'arthrose du genou basée sur l'apprentissage automatique multimodal à partir de radiographies simples et de données cliniques. Sci. Rep. 9, 20038 (2019).

Michael, JD et al. Développement et validation d'un nouveau grade de Gleason automatisé et d'un profil moléculaire qui définissent un test hautement prédictif basé sur un algorithme de progression du cancer de la prostate. Cancer de la prostate Dis. 21, 594–603 (2018).

Article Google Scholar

Perotte, A., Ranganath, R., Hirsch, JS, Blei, D. et Elhadad, N. Prévision du risque de progression de l'insuffisance rénale chronique à l'aide de données de dossiers de santé électroniques hétérogènes et d'une analyse de séries chronologiques. Confiture. Méd. Inf. Assoc. 22, 872–880 (2015).

Article Google Scholar

Lei, Y., Yalin, W., Paul, MT, Vaibhav, AN & Jieping, Y. Apprentissage de caractéristiques multi-sources pour l'analyse conjointe de données de neuroimagerie hétérogènes multiples incomplètes. Neuroimage 61, 622–632 (2012).

Article Google Scholar

Yanbo, X., Siddharth, B., Shriprasad, RD, Kevin, OM et Jimeng, S. RAIM : modèle attentif et intensif récurrent de données de surveillance multimodale des patients. Dans Actes de la conférence internationale ACM SIGKDD sur la découverte des connaissances et l'exploration de données 2565-2573 (Association for Computing Machinery, 2018).

Yixue, H., Mohd, U., Jun, Y., Hossain, MS et Ahmed, G. Prévision du risque de maladie multimodale basée sur un réseau neuronal convolutif récurrent. Générateur futur. Système informatique 92, 76–83 (2019).

Article Google Scholar

Shinichi, G., et al. Détection entièrement automatisée de l'amylose cardiaque grâce à l'intelligence artificielle à l'aide d'électrocardiogrammes et d'échocardiogrammes. Nat. Commun. 12, 2726 (2021).

Rui, Y. et al. Réseau de fusion plus riche pour la classification du cancer du sein basé sur des données multimodales. BMC Med. Informer. Décis. Mak. 21, 134 (2021).

Li, Y., Wang, H. et Luo, Y. Une comparaison de modèles de vision et de langage pré-formés pour l'apprentissage de la représentation multimodale à travers des images et des rapports médicaux. 2020 IEEE Int. Conf. Bioinformer. Biomédecine (BIBM) 2020 1999–2004 (2020).

Sara Bersche, G. et al. Un modèle d'apprentissage automatique pour prédire le risque de réadmission à 30 jours chez les patients souffrant d'insuffisance cardiaque : une analyse rétrospective des données des dossiers médicaux électroniques. BMC Med. Informer. Décis. Mak. 18, 44 (2018).

Chowdhury, S., Zhang, C., Yu, PS et Luo, Y. Auto-encodeur d'attention multi-vues à mise en commun mixte pour l'apprentissage de la représentation dans les soins de santé. Préimpression sur https://arxiv.org/abs/1910.06456 (2019).

Ilan, S. et al. Une approche d'apprentissage non supervisée pour identifier de nouvelles signatures de santé et de maladie à partir de données multimodales. Génome Med. 12, 7 (2020).

Chowdhury, S., Zhang, C., Yu, PS & Luo, Y. Med2Meta : Apprentissage des représentations de concepts médicaux avec des méta-incorporations. SANTÉ 2020, 369–376 (2020).

Google Scholar

Subramanian V, Do MN, Syeda-Mahmood T. Fusion multimodale de l'imagerie et de la génomique pour la prédiction de la récidive du cancer du poumon, IEEE 17e Symposium international sur l'imagerie biomédicale (ISBI), 804–808, (2020).

Michèle, D. et al. Combinaison de sources de données hétérogènes pour un diagnostic basé sur la neuroimagerie : repondération et sélection de ce qui est important. Neuroimage 195, 215–231 (2019).

Article Google Scholar

Yiwen, M., William, S., Michael, KO et Corey, WA Représentation bidirectionnelle apprenant à partir de transformateurs utilisant des données de dossiers de santé électroniques multimodaux pour prédire la dépression. IEEE J. Biomed. Informer sur la santé. 25, 3121–3129 (2021).

Article Google Scholar

Xing, T. et al. Élaboration d'une signature radiomique multimodale basée sur l'IRM pour la prédiction préopératoire du sous-type histologique chez les patients atteints d'un cancer du poumon non à petites cellules. BioMed. Ingénierie en ligne 19, 5 (2020).

Kathleen, CF, Kristina Lundholm, F., Marie, E., Fredrik, Ö & Dimitrios, K. Prédiction du statut MCI à partir de données de langage multimodal à l'aide de classificateurs en cascade. Devant. Neurosciences vieillissantes. 11, 205 (2019).

Amir Hossein, Y. et al. Analyse multimodale de la santé mentale dans les médias sociaux. PLoS One 15, e0226248 (2020).

Ye, J., Yao, L., Shen, J., Janarthanam, R. & Luo, Y. Prédire la mortalité chez les patients diabétiques gravement malades à l'aide de l'apprentissage automatique et de notes cliniques. BMC Med Inf. Décis. Mak. 20, 1–7 (2020).

CAS Google Scholar

Navodini, W., Mobarakol, I. & Hongliang, R. Modèle radiogénomique pour la prédiction de la survie globale du glioblastome. Médi Biol. Ing. Comput 58, 1767–1777 (2020).

Article Google Scholar

Solale, T. et al. Une approche multimodale multitâche distribuée pour la prédiction de la maladie d'Alzheimer dans une étude longitudinale. Neuroimage 206, 116317 (2020).

Luo, Y. et al. Intégration du phénotype et du génotype de l'hypertension avec une factorisation matricielle hybride non négative. Bioinformatique 35, 1395–403 (2019).

Article CAS PubMed Google Scholar

Jae Hyun, Y., Johanna Inhyang, K., Bung Nyun, K. & Bumseok, J. Exploration des caractéristiques du trouble déficitaire de l'attention/hyperactivité : résultats de l'IRM multimodale et des données génétiques candidates. Comportement d'imagerie cérébrale. 14, 2132-2147 (2020).

Article Google Scholar

Chao, T., Baoyu, L., Jun, L. et Zhigao, Z. Un modèle d'évaluation automatisée de l'âge osseux squelettique profond avec apprentissage de caractéristiques hétérogènes. J. Med. Syst. 42, 249 (2018).

Cheng, C. et al. Amélioration de la précision de la prédiction des interactions protéine-protéine à l'aide de la sélection de caractéristiques XGBoost et du classificateur d'ensemble empilé. Calcul. Biol. Méd. 123 (2020).

Xueyi, Z. et al. La radiomique d'apprentissage en profondeur peut prédire l'état des ganglions lymphatiques axillaires dans le cancer du sein à un stade précoce. Nat. Commun. 11, 1236 (2020).

Juan Camilo, V.-C. et coll. Évaluation multimodale de la maladie de Parkinson : une approche d'apprentissage en profondeur. IEEE J. Biomed. Informer sur la santé. 23, 1618-1630 (2019).

Article Google Scholar

Ping, Z. et al. Radiomique d'apprentissage en profondeur pour la conversion discriminatoire de la maladie d'Alzheimer chez les patients atteints de troubles cognitifs légers : une étude basée sur l'imagerie TEP au 18F-FDG. Devant. Neurosciences vieillissantes. 13, (2021).

Shin, J., Li, Y. & Luo, Y. Prévision précoce de la mortalité en milieu de soins intensifs chez les patients atteints de septicémie à l'aide de caractéristiques structurées et de notes cliniques non structurées. En 2021 Conférence internationale IEEE sur la bioinformatique et la biomédecine (BIBM) 2885–2890 (IEEE, 2021).

Jayachitra, VP, Nivetha, S., Nivetha, R. & Harini, R. Un cadre cognitif basé sur l'IoT pour un diagnostic efficace de COVID-19 à l'aide de données multimodales. Biomédical. Signal Processing Control 70, 102960 (2021).

Thomas, L. et al. Une architecture de réseau neuronal multimodal explicable pour prédire les comorbidités de l'épilepsie sur la base de données administratives sur les réclamations. Devant. Intelligence artificielle 4, 610197 (2021).

Alan Baronio, M., Carla Diniz Lopes, B. & Silvio Cesar, C. Diagnostic assisté par ordinateur du carcinome hépatocellulaire fusionnant l'imagerie et les données de santé structurées. Informer sur la santé. Sci. Syst. 9, 20 (2021)

Janani, V., Li, T., Hamid Reza, H. & May, DW Modèles d'apprentissage profond multimodaux pour la détection précoce du stade de la maladie d'Alzheimer. Sci. Rep. 11, 3254 (2021).

Cam Hao, H. et al. Apprentissage bimodal via une trilogie de réseaux profonds à connexion sautée pour l'identification de la progression du risque de rétinopathie diabétique. Int. J. Med. Informer. 132, 103926 (2019).

Yucheng, T. et al. Prédiction de l'apparition du diabète de type II avec la tomodensitométrie et les dossiers médicaux électroniques. Lect. Remarques Comput. Sci. 12445, 13–23 (2020).

Article Google Scholar

Rui, Y. et al. Intégration de données multimodales pour la classification du cancer du sein à l'aide d'une méthode hybride d'apprentissage en profondeur. Lect. Notes Informatique Sci. 11643, 460–469 (2019).

Article Google Scholar

Batuhan, B. & Mehmet, T. Améliorer les prédictions des résultats cliniques en utilisant la convolution sur des entités médicales avec un apprentissage multimodal. Artef. Renseignement. Méd. 117, 102112 (2021).

Esra, Z. et al. Stratégies de fusion multimodale pour la prédiction des résultats dans l'AVC. In HEALTHINF 2020 - 13e Conférence internationale sur l'informatique de la santé, Actes ; Dans le cadre de la 13e Conférence conjointe internationale sur les systèmes et technologies d'ingénierie biomédicale, BIOSTEC 2020 421–428 (2020).

Rimma, P. et al. Apprentissage de phénotypes probabilistes à partir de données hétérogènes de DSE. J. Biomed. Informer. 58, 156-165 (2015).

Article Google Scholar

Léon, MA et al. Modélisation de biomarqueurs d'imagerie longitudinale avec apprentissage paramétrique bayésien multi-tâches. Hum. Cartographie du cerveau. 40, 3982–4000 (2019).

Article Google Scholar

Paris Alexandros, L. et al. Hétérogénéité et classification des psychoses et dépressions d'apparition récente : une approche d'apprentissage automatique multimodal. Schizophrène. Taureau. 47, 1130-1140 (2021).

Article Google Scholar

Nikolaos, K. et al. Modèles de prédiction des résultats fonctionnels pour les personnes dans l'état clinique à haut risque de psychose ou souffrant de dépression récente : une analyse d'apprentissage automatique multimodale et multisite. JAMA Psychiatry 75, 1156–1172 (2018).

Article Google Scholar

Dongdong, S., Minghui, W. & Ao, L. Un réseau neuronal profond multimodal pour la prédiction du pronostic du cancer du sein humain en intégrant des données multidimensionnelles. IEEE/ACM Trans. Comput Biol. Bioinformer. 16, 841–850 (2019).

Article Google Scholar

Karen, SA et al. Un cadre d'apprentissage automatique pour la prédiction robuste et fiable de la réponse au traitement à court et à long terme chez les patients schizophrènes initialement naïfs d'antipsychotiques sur la base de données neuropsychiatriques multimodales. Psychiatrie translationnelle 10, 276 (2020).

Sun, M. et al. Prédiction précoce des lésions rénales aiguës en milieu de soins intensifs à l'aide de notes cliniques et de mesures physiologiques multivariées structurées. Étalon. Technol. Santé Inf. 264, 368–372 (2019).

Google Scholar

Dennis, SR, Simuni, T. & Luo, Y. Un modèle prédictif de la maladie de Parkinson révèle des ensembles de gènes candidats pour le sous-type de progression. 2020 IEEE Int. Conf. Bioinforma. Biomédecine (BIBM) 2020, 417–420 (2020).

Ming, X. et al. Différencier avec précision le COVID-19, les autres infections virales et les individus en bonne santé à l'aide de caractéristiques multimodales via l'apprentissage par fusion tardive. J. Med. Rés Internet. 23 (2021).

Min, C., Yixue, H., Kai, H., Lin, W. & Lu, W. Prédiction des maladies par apprentissage automatique sur les mégadonnées des communautés de soins de santé. Accès IEEE 5, 8869–8879 (2017).

Article Google Scholar

Keyang, X. et al. Apprentissage automatique multimodal pour le codage ICD automatisé. Proc. Mach. Apprendre. Rés. 106, 1–17 (2019).

Google Scholar

Liuqing, Y. et al. Modélisation de la progression multimodale basée sur l'apprentissage profond pour la maladie d'Alzheimer. Statistique Biopharmacie. Rés. 13, 337–343 (2021).

Article Google Scholar

Peng, L. et al. Une signature radiogénomique pour prédire l'évolution clinique du carcinome urothélial de la vessie. EUR. Radio. 30, 547–557 (2020).

Article Google Scholar

Md Sirajus, S. et al. Approche multimodale spatio-temporelle d'apprentissage profond pour l'évaluation de la douleur postopératoire néonatale. Calcul. Biol. Méd. 129, 104150 (2021).

Jian, X. et al. Apprentissage automatique multimodal utilisant des champs visuels et des scans OCT circulaires péripapillaires dans la détection de la neuropathie optique glaucomateuse. Ophtalmologie 129, 171–180 (2021).

Google Scholar

Dai, Y., Yiqi, Z., Yang, W., Wenpu, Z. et Xiaoming, H. Diagnostic auxiliaire de données hétérogènes sur la maladie de Parkinson basé sur un réseau neuronal à convolution amélioré. Multimed. Outils Appl. 79, 24199–24224 (2020).

Article Google Scholar

Makoto, N. et al. Analyse des voies accessoires à l'aide d'un modèle d'apprentissage profond multimodal. Sci. Rep. 11, 8045 (2021).

Wenhuan, Z., Anupam, G. & Daniel, HH Sur l'application de méthodes avancées d'apprentissage automatique pour analyser des données multimodales améliorées provenant de personnes infectées par le covid-19. Calcul 9, 1–15 (2021).

Google Scholar

Jeremy, AT, Kit, ML & Marta, IG Prédictions multidimensionnelles des symptômes psychotiques via l'apprentissage automatique. Hum. Cartographie du cerveau. 41, 5151–5163 (2020).

Article Google Scholar

Hossam, F., Maria, H., Mohammad, F., Haya, E. & Alaa, A. Un système de diagnostic médical multimodal intelligent basé sur les questions médicales des patients et les symptômes structurés pour la télémédecine. Informer. Méd. Débloqué le 23, 100513 (2021).

Md Ashad, A. et al. Une méthode de machine à noyau pour détecter les interactions d'ordre supérieur dans des ensembles de données multimodaux : application à la schizophrénie. J. Neurosci. Méthodes 309, 161–174 (2018).

Article Google Scholar

Luo, Y. et al. Une approche de médecine de précision multidimensionnelle identifie un sous-type d'autisme caractérisé par une dyslipidémie. Nat. Méd. 26, 1375-1379 (2020).

Article CAS PubMed Google Scholar

Shaker, E.-S., Jose, MA, Islam, SMR, Ahmad, MS, Kyung Sup, K. Un modèle de détection et de prédiction multimodal multicouche basé sur l'intelligence artificielle explicable pour la maladie d'Alzheimer. Sci. Rep. 11, 2660 (2021).

Shih Cheng, H., Anuj, P., Roham, Z., Imon, B. et Matthew, PL Fusion multimodale avec des réseaux de neurones profonds pour tirer parti de l'imagerie CT et du dossier de santé électronique : une étude de cas dans la détection de l'embolie pulmonaire. Sci. Rep. 10, 22147 (2020).

Yao, L., Mao, C. & Luo, Y. Classification de textes cliniques avec des caractéristiques basées sur des règles et des réseaux de neurones convolutifs guidés par les connaissances. BMC Med. Inf. Décis. Mak. 19, 71 (2019).

Article CAS Google Scholar

Velupillai, S. et al. Utilisation du traitement clinique du langage naturel pour la recherche sur les résultats en matière de santé : aperçu et suggestions pratiques pour les avancées futures. J. Biomed. Inf. 88, 11-19 (2018).

Article Google Scholar

Luo, Y., Uzuner, Ö. & Szolovits, P. Relier la sémantique et la syntaxe avec des algorithmes de graphes - état de l'art de l'extraction de relations biomédicales. Bref. Bioinformer. 18, 160-178 (2016).

Article PubMed PubMed Central Google Scholar

Zeng, Z., Deng, Y., Li, X., Naumann, T. & Luo, Y. Traitement du langage naturel pour le phénotypage informatique basé sur le DSE. IEEE/ACM Trans. Comput Biol. Bioinformer. 16, 139–153 (2018).

Article PubMed PubMed Central Google Scholar

Nikolaos, K. et al. Workflows d'apprentissage automatique multimodaux pour la prédiction de la psychose chez les patients présentant des syndromes cliniques à haut risque et une dépression d'apparition récente. JAMA Psychiatry 78, 195–209 (2021).

Article Google Scholar

Petersen, RC et al. Initiative de neuroimagerie de la maladie d'Alzheimer (ADNI): Caractérisation clinique. Neurologie 74, 201-209 (2010).

Article PubMed PubMed Central Google Scholar

Weinstein, JN et al. Le projet d'analyse pan-cancer de l'atlas du génome du cancer. Nat. Genet. 45, 1113 (2013).

Article PubMed PubMed Central Google Scholar

Christopher, JK, Alan, K., Mustafa, S., Greg, C. et Dominic, K. Principaux défis pour obtenir un impact clinique avec l'intelligence artificielle. BMC Med. 17, 195 (2019).

Michael, AM et al. Résultats du défi du Symposium international sur l'imagerie biomédicale de l'International Skin Imaging Collaboration 2016 : Comparaison de la précision des algorithmes informatiques avec les dermatologues pour le diagnostic du mélanome à partir d'images dermoscopiques. Confiture. Acad. Dermatol. 78, 270–7.e1 (2018).

Article Google Scholar

Jannin, PGC & Gibaud, B. Applications médicales de la fusion de données CND (Springer, 2001).

Guang, Y., Qinghao, Y. & Jun, X. Déballez la boîte noire de l'IA médicale explicable via la fusion de données multimodale et multicentrique : une mini-revue, deux vitrines et au-delà. Inf. Fusion 77, 29–52 (2022).

Article Google Scholar

Zhang, Z., & Sejdić, E., Images radiologiques et apprentissage automatique : tendances, perspectives et perspectives. Calcul. Biol. Méd. 108, 354–370 (2019).

David, L., Enrico, C., Jessica, C., Parina, S. et Farah, M. Comment l'apprentissage automatique est intégré pour soutenir la prise de décision des cliniciens : une analyse des dispositifs médicaux approuvés par la FDA. Informer sur les soins de santé BMJ. 28, e100301 (2021).

Luo, Y., Szolovits, P., Dighe, AS et Baron, JM Utilisation de l'apprentissage automatique pour prédire les résultats des tests de laboratoire. Suis. J.Clin. Pathol. 145, 778–788 (2016).

Article PubMed Google Scholar

Thakur, S., Choudhary, J. & Singh, DP Systems 435–443 (Springer, 2021).

Luo, Y., Szolovits, P., Dighe, AS & Baron, JM 3D-MICE : Intégration de l'imputation transversale et longitudinale pour les données cliniques longitudinales multi-analytes. Confiture. Méd. Informer. Assoc. (JAMIA) 25, 645–653 (2017).

Article Google Scholar

Xue, Y., Klabjan, D. & Luo, Y. Modèle d'imputation multiple basé sur le mélange pour les données cliniques à dimension temporelle. Conférence internationale IEEE 2019 sur les mégadonnées (Big Data) 2019 245–252 (IEEE, 2019).

Cao, W. et al. Brits: Rmputation récurrente bidirectionnelle pour les séries chronologiques. NeurIPS, 31 (2018).

Luo, Y. Évaluation de l'état de l'art en matière d'imputation des données manquantes pour les données cliniques. Bref. Bioinformer. 23, bbab489 (2022).

Article PubMed Google Scholar

Zhao, Q., Adeli, E. & Pohl, KM Former des modèles d'apprentissage en profondeur sans confusion pour les applications médicales. Nat. Commun. 11, 1–9 (2020).

Article Google Scholar

Luo, Y. & Mao, C. ScanMap : Factorisation matricielle non négative consciente de la confusion supervisée pour la modélisation du risque polygénique. Conférence sur l'apprentissage automatique pour les soins de santé ; 2020 : PMLR 27-45 (2020).

Kalavathy, R. & Suresh, RM Pharmacovigilance à partir des dossiers médicaux électroniques pour signaler les événements indésirables. J. Chem. Pharm. Sci. 2015, 188-191 (2015).

Google Scholar

Luo, Y. et al. Traitement du langage naturel pour la pharmacovigilance basée sur le DSE : une revue structurée. Médicament sûr. https://doi.org/10.1007/s40264-017-0558-6 (2017).

Segura Bedmar, I., Martínez, P. & Herrero Zazo, M. Semeval-2013 tâche 9 : Extraction des interactions médicamenteuses à partir de textes biomédicaux (ddiextraction 2013). 2013 : Association pour la linguistique computationnelle (2013).

Hammann, F. & Drewe, J. Exploration de données pour les interactions médicamenteuses indésirables potentielles. Avis d'expert. Médicament Metab. Toxicol. 10, 665–671 (2014).

Article CAS PubMed Google Scholar

Donna, MF et al. La société américaine de gériatrie a mis à jour en 2019 les critères de l'AGS concernant l'utilisation potentiellement inappropriée de médicaments chez les personnes âgées. Confiture. Gériatrie. Soc. 67, 674–694 (2019).

Google Scholar

Obermeyer, Z., Powers, B., Vogeli, C. & Mullainathan, S. Dissection des préjugés raciaux dans un algorithme utilisé pour gérer la santé des populations. Sciences 366, 447–53. (2019).

Article CAS PubMed Google Scholar

Wang, H. et al. Utilisation de l'apprentissage automatique pour intégrer les facteurs sociocomportementaux dans la prédiction du risque de mortalité cardiovasculaire. Étalon. Technol. Santé Inf. 264, 433–437 (2019).

Google Scholar

Christof, E. Logiciels open source dans l'industrie. Logiciel IEEE 25, 52-53 (2008).

Article Google Scholar

Robert, MS Pourquoi développer des logiciels open-source ? Le rôle des avantages non pécuniaires, des récompenses monétaires et du type de licence open source. Oxf. Rev. Economic Policy 23, 605–619 (2007).

Article Google Scholar

Luo, Y., Wunderink, RG et Lloyd-Jones, D. Apprentissage automatique proactif ou réactif dans les soins de santé : leçons tirées de la pandémie de COVID-19. JAMA 327, 623–624 (2022).

Article CAS PubMed Google Scholar

Ke, G. et al. LightGBM : un arbre de décision très efficace pour augmenter le gradient. Adv. Information neuronale. Système de processus 30 (2017).

Derara Duba, R., Taye Girma, D., Achim, I. & Worku Gachena, N. Diagnostic du diabète sucré à l'aide d'une machine de renforcement de gradient (Lightgbm). Diagnostics 11, 1714 (2021).

Xiaolei, S., Mingxi, L. & Zeqian, S. Un nouveau modèle de prévision des tendances des prix des crypto-monnaies basé sur LightGBM. Financ. Rés. Lett. 32, 101084 (2020).

Article Google Scholar

Dongzi, J., Yiqin, L., Jiancheng, Q., Zhe, C. & Zhongshu, M. SwiftIDS : système de détection d'intrusion en temps réel basé sur LightGBM et un mécanisme de détection d'intrusion parallèle. Calcul. Sécurisé 97, 101984 (2020).

Article Google Scholar

Wilkinson, MD et al. Les principes directeurs FAIR pour la gestion et l'intendance des données scientifiques. Nature 3, 160018 (2016).

Google Scholar

Weissler, EH, et al. Le rôle de l'apprentissage automatique dans la recherche clinique : transformer l'avenir de la génération de preuves. Essais 22, 537 (2021).

Pratik, S. et al. Intelligence artificielle et apprentissage automatique dans le développement clinique : une perspective translationnelle. npj Digital Med. 2, 69 (2019).

Inna, K. & Simeon, S. Interprétabilité des solutions d'apprentissage automatique dans les soins de santé publics : l'approche CRISP-ML. Devant. Big Data 4, 660206 (2021).

Marx, V. Méthode de l'année : transcriptomique spatialement résolue. Nat. Méthodes 18, 9–14 (2021).

Article CAS PubMed Google Scholar

Zeng, Z., Li, Y., Li, Y. & Luo, Y. Méthodes statistiques et d'apprentissage automatique pour l'analyse de données transcriptomiques à résolution spatiale. Génome Biol. 23, 1–23. (2022).

Article Google Scholar

Longo, SK, Guo, MG, Ji, AL & Khavari, PA Intégration de la transcriptomique unicellulaire et spatiale pour élucider la dynamique des tissus intercellulaires. Nat. Révérend Genet. 22, 627–644 (2021).

Article CAS PubMed Google Scholar

Extension PRISMA pour les revues de cadrage (PRISMA-ScR) : Liste de contrôle et explication. Ann. Interne. Méd. 169 467–473 (2018).

Télécharger les références

L'étude est soutenue en partie par les subventions NIH U01TR003528 et R01LM013337 à YL, et AG073323 à FC

Département de médecine préventive, Northwestern University, Chicago, 60201, Illinois, États-Unis

Adrienne Kline, Hanyin Wang, Yikuan Li, Saya Dennis, Meghan Hutch et Yuan Luo

Département des sciences de la santé de la population, Cornell University, New York, 10065, NY, États-Unis

Zhenxing Xu et Fei Wang

Cleveland Clinic Lerner College of Medicine, Case Western Reserve University, Cleveland, 44195, OH, États-Unis

Feixiong Cheng

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

AK a dirigé le processus d'examen, effectué l'extraction des données, effectué l'analyse des calculs, la génération des chiffres, la rédaction et la création du tableau de bord. HW, YL, SD et MH ont effectué l'extraction des données. ZX a synthétisé les limites des études. FW et FC ont effectué la relecture et la curation du contenu. YL a conçu la révision, supervisé le processus de révision et fourni les commentaires nécessaires, la relecture et la conservation du contenu.

Correspondance avec Yuan Luo.

Les auteurs ne déclarent aucun intérêt concurrent.

Note de l'éditeur Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Libre accès Cet article est sous licence Creative Commons Attribution 4.0 International License, qui permet l'utilisation, le partage, l'adaptation, la distribution et la reproduction sur n'importe quel support ou format, tant que vous donnez le crédit approprié à l'auteur ou aux auteurs originaux et à la source, fournissez un lien vers la licence Creative Commons et indiquez si des modifications ont été apportées. Les images ou tout autre matériel tiers dans cet article sont inclus dans la licence Creative Commons de l'article, sauf indication contraire dans une ligne de crédit au matériel. Si le matériel n'est pas inclus dans la licence Creative Commons de l'article et que votre utilisation prévue n'est pas autorisée par la réglementation légale ou dépasse l'utilisation autorisée, vous devrez obtenir l'autorisation directement du détenteur des droits d'auteur. Pour voir une copie de cette licence, visitez http://creativecommons.org/licenses/by/4.0/.

Réimpressions et autorisations

Kline, A., Wang, H., Li, Y. et al. Apprentissage automatique multimodal dans la santé de précision : un examen de la portée. npj Chiffre. Méd. 5, 171 (2022). https://doi.org/10.1038/s41746-022-00712-8

Télécharger la citation

Reçu : 20 juin 2022

Accepté : 14 octobre 2022

Publié: 07 novembre 2022

DOI : https://doi.org/10.1038/s41746-022-00712-8

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

npj Médecine numérique (2023)