UnMICST : Apprentissage en profondeur avec augmentation réelle pour une segmentation robuste d'images hautement multiplexées de tissus humains

Communications Biology volume 5, Article number: 1263 (2022) Citer cet article

2494 accès

1 Citations

7 Altmétrique

Détails des métriques

Les technologies à venir permettent la collecte de routine d'images à résolution subcellulaire hautement multiplexées (20 à 60 canaux) de tissus de mammifères à des fins de recherche et de diagnostic. L'extraction de données de cellule unique à partir de telles images nécessite une segmentation d'image précise, un problème difficile couramment abordé avec l'apprentissage en profondeur. Dans cet article, nous rapportons deux résultats qui améliorent considérablement la segmentation d'image des tissus à l'aide d'une gamme d'architectures d'apprentissage automatique. Tout d'abord, nous constatons de manière inattendue que l'inclusion d'images intentionnellement défocalisées et saturées dans les données d'apprentissage améliore considérablement la segmentation d'image ultérieure. Une telle augmentation réelle surpasse l'augmentation computationnelle (flou gaussien). De plus, nous constatons qu'il est pratique d'imager l'enveloppe nucléaire dans plusieurs tissus à l'aide d'un cocktail d'anticorps, identifiant ainsi mieux les contours nucléaires et améliorant la segmentation. Les deux approches améliorent de manière cumulative et substantielle la segmentation sur un large éventail de types de tissus. Nous supposons que l'utilisation d'augmentations réelles aura des applications dans le traitement d'images en dehors de la microscopie.

Les types de cellules, les membranes basales et les structures conjonctives qui organisent les tissus et les tumeurs sont présents sur des échelles de longueur allant des organites subcellulaires aux organes entiers (<0,1 à >104 µm). La microscopie utilisant l'hématoxyline et l'éosine (H&E) complétée par l'immunohistochimie1 a longtemps joué un rôle primordial dans l'étude de l'architecture tissulaire2,3. De plus, l'histopathologie clinique reste le principal moyen par lequel des maladies telles que le cancer sont stadifiées et prises en charge cliniquement4. Cependant, l'histologie classique fournit des informations moléculaires insuffisantes pour identifier avec précision les sous-types cellulaires, étudier les mécanismes de développement et caractériser les gènes de la maladie. L'imagerie high-plex (tableau supplémentaire 1) 5, 6, 7, 8, 9 des tissus normaux et malades (parfois appelée protéomique spatiale) fournit des données de résolution subcellulaire sur l'abondance de 20 à 60 antigènes, ce qui est suffisant pour identifier les types de cellules, mesurer les états cellulaires (quiescence, prolifération, mort, etc.) et interroger les voies de signalisation cellulaire. L'imagerie high-plex révèle également les morphologies et les positions des structures acellulaires essentielles à l'intégrité des tissus dans un environnement 3D préservé. Les méthodes d'imagerie high-plex diffèrent par leur résolution, leur champ de vision et leur multiplicité (plex), mais génèrent toutes des images 2D de coupes de tissus ; dans la pratique courante, ceux-ci ont généralement une épaisseur de 5 à 10 µm.

Lorsque les images multiplexées sont segmentées et quantifiées, les données unicellulaires résultantes sont un complément naturel aux données de séquençage d'ARN unicellulaire (scRNASeq), qui ont eu un impact considérable sur notre compréhension des cellules et tissus normaux et malades10,11. Contrairement au RNASeq dissociatif, cependant, l'imagerie tissulaire multiplex préserve la morphologie et les informations spatiales. Cependant, les données d'imagerie high-plex sont beaucoup plus difficiles à analyser par ordinateur que les images de cellules cultivées, l'accent principal des systèmes de vision artificielle axés sur la biologie à ce jour. En particulier, l'analyse d'une seule cellule des données d'imagerie nécessite une segmentation, une technique de vision par ordinateur qui attribue des étiquettes de classe à une image d'une manière par instance ou par pixel pour la subdiviser. Le masque de segmentation résultant est ensuite utilisé pour quantifier les intensités de différents marqueurs en intégrant des intensités de signal fluorescent à travers chaque objet (cellule) identifié par le masque ou à travers une forme (généralement un anneau) qui décrit ou est centrée sur le masque12. Des travaux approfondis ont été consacrés au développement de méthodes de segmentation des cellules métazoaires cultivées en culture, mais la segmentation des images de tissus est un défi plus difficile en raison de l'encombrement des cellules et des diverses morphologies des différents types de cellules. Récemment, les routines de segmentation qui utilisent l'apprentissage automatique sont devenues la norme, parallèlement à l'utilisation généralisée des réseaux de neurones convolutifs (CNN) dans la reconnaissance d'images, la détection d'objets et la génération d'images synthétiques13. Des architectures telles que ResNet, VGG16 et, plus récemment, UNet et Mask R-CNN14,15 ont été largement acceptées pour leur capacité à apprendre des millions de paramètres et à généraliser sur des ensembles de données, comme en témoignent leurs excellentes performances dans un large éventail de compétitions de segmentation, ainsi que dans les défis de hackathon16 utilisant des ensembles de données d'images accessibles au public17,18.

Dans les cellules et les tissus cultivés, la localisation des noyaux est un point de départ optimal pour la segmentation des cellules puisque la plupart des types de cellules ont un noyau (les cellules en mitose, les cellules musculaires et hépatiques et les ostéoclastes sont des exceptions importantes), et les taches nucléaires avec des rapports signal/fond élevés sont largement disponibles. Le noyau est généralement assez gros (5 à 10 µm) par rapport à la résolution des microscopes à fluorescence à grand champ (~ 0,5 µm pour une ouverture numérique de 0,9 - NA - objectif), ce qui le rend facile à détecter à plusieurs grossissements. Les noyaux se trouvent également souvent au centre approximatif d'une cellule. Il y a des avantages à utiliser des marqueurs supplémentaires lors de l'acquisition d'images ; par exemple, Schüffler et al.19 ont utilisé des données IMC multiplexées et des méthodes de bassin versant pour la segmentation multicanal. Cependant, il n'est pas clair quelles protéines sont suffisamment largement exprimées dans différents types de cellules et tissus pour être utiles dans la segmentation. Les méthodes basées sur des forêts aléatoires telles que Ilastik et Weka20,21 exploitent plusieurs canaux pour la classification des pixels par classe via un ensemble d'arbres de décision pour attribuer des probabilités de classe par pixel dans une image. Cependant, les modèles de forêts aléatoires ont beaucoup moins de capacité d'apprentissage que les CNN, ce qui est un inconvénient substantiel. Ainsi, la possibilité d'utiliser des CNN avec des données multicanaux pour améliorer la segmentation des noyaux n'a pas été largement explorée.

Une grande variété de métriques sont utilisées pour quantifier les performances des routines de segmentation. Ceux-ci peuvent être largement divisés en métriques au niveau des pixels et des instances ; le premier mesure le chevauchement de la forme et de la position des masques de segmentation au niveau du pixel tandis que le second mesure s'il y a accord sur la présence ou l'absence d'un masque. L'intersection rapide sur l'union (IoU ; l'indice Jaccard)16 est un exemple de mesure de performance au niveau du pixel ; il est calculé en mesurant le chevauchement entre un masque dérivé de l'annotation de vérité terrain et un masque prédit basé sur le rapport de l'intersection des pixels à leur union. Plus l'IoU est grand, plus la précision est élevée, avec une valeur idéale de 1 (bien que cela soit très rarement atteint). Le score F1 est un exemple de métrique au niveau de l'instance qui utilise la moyenne pondérée de la précision (vrais positifs normalisés par rapport aux prédictions) et du rappel (vrais positifs normalisés par rapport à la vérité terrain). Un « positif » dans ce cas est généralement noté comme un chevauchement de 50 % (au niveau du pixel) entre un masque prédit et la vérité terrain. Il s'accommode donc d'un désaccord substantiel sur la forme du masque. Dans ce contexte, il est important de noter que l'apprentissage supervisé repose sur l'établissement d'une vérité terrain par des experts humains. Comme décrit en détail ci-dessous, pour l'imagerie tissulaire, le niveau d'accord signalé entre les experts humains pour l'annotation au niveau des pixels n'est que d'environ 0,6 (à une IoU de 60 %), ce qui suggère que les experts sont eux-mêmes incapables de déterminer la forme précise des masques de segmentation (et les cellules qu'ils représentent). Sans surprise, l'accord interobservateur est nettement plus élevé (0,7 à 0,9) lorsqu'il est évalué à l'aide d'une métrique au niveau de l'instance telle que le score F1, car il est relativement simple de décider si un noyau est présent ou non. Comme mentionné ci-dessus, les masques de segmentation en imagerie high-plex sont couramment utilisés pour calculer les intensités intégrées des anticorps contre les protéines nucléaires, cytoplasmiques et de surface cellulaire, ce qui met l'accent sur la détermination correcte de la forme du masque. Ainsi, l'utilisation de métriques strictes au niveau des pixels telles que IoU est essentielle pour évaluer la précision de la segmentation dans l'analyse unicellulaire des images de tissus multiplex.

La précision de la segmentation par les humains et les méthodes de calcul dépend de manière cruciale de la qualité des images originales. En pratique, de nombreuses images de tissus humains et murins présentent des artefacts de mise au point (flou) et les images de certaines cellules sont saturées (avec des intensités supérieures à la plage linéaire de la caméra). Cela est particulièrement vrai de l'imagerie de diapositives entières dans laquelle jusqu'à 1000 mosaïques d'images acquises séquentiellement sont utilisées pour créer des images en mosaïque d'échantillons aussi grands que plusieurs centimètres carrés. L'imagerie sur lame entière est une nécessité diagnostique22 et essentielle pour obtenir une puissance suffisante pour une analyse spatiale rigoureuse23. Cependant, de nombreux articles récents traitant de la segmentation des images de tissus limitent leur analyse aux champs de mise au point les plus clairs. Ceci est logique car, dans le cadre de l'apprentissage supervisé, il est plus facile d'obtenir des données d'entraînement et d'établir une vérité terrain lorsque les images sont claires et que l'accord inter-observateur est élevé. En pratique, cependant, toutes les images de microscopie d'échantillons de tissus ont des problèmes de mise au point : la profondeur de champ des lentilles d'objectif capables d'une imagerie haute résolution (lentilles NA élevées) est généralement inférieure à l'épaisseur de l'échantillon, de sorte que les objets au-dessus et en dessous du plan de mise au point optimale sont flous. Les images d'échantillons de biopsie humaine sont particulièrement sujettes aux artefacts de flou et de saturation car les coupes de tissus ne sont pas toujours uniformément coplanaires avec la lamelle. Étant donné que la plupart des recherches sur les tissus humains sont accessoires au diagnostic ou au traitement, il est rarement possible de rejeter purement et simplement les échantillons problématiques. De plus, la réimagerie des coupes de tissus précédemment analysées est rarement possible en raison de la désintégration des tissus. Ainsi, la segmentation d'image avec des données du monde réel doit compenser les aberrations d'image courantes.

Le moyen le plus courant d'étendre les données d'apprentissage pour tenir compte des artefacts d'image est via l'augmentation de calcul24 qui implique le prétraitement des images via une rotation aléatoire, un cisaillement, un retournement, etc. Ceci est conçu pour empêcher les algorithmes d'apprendre des aspects non pertinents d'une image, tels que l'orientation. À ce jour, les artefacts de mise au point ont été abordés à l'aide d'un flou gaussien calculé pour augmenter les données d'entraînement25,26,27. Cependant, le flou gaussien n'est qu'une approximation du flou inhérent à tout système d'imagerie optique ayant une bande passante limitée (c'est-à-dire tout microscope réel) plus les effets des décalages d'indice de réfraction et de la diffusion de la lumière.

Dans cet article, nous étudions les moyens de maximiser la précision de la segmentation d'image par des algorithmes d'apprentissage automatique dans des images de tissus multiplexées contenant des artefacts d'imagerie communs. Nous générons un ensemble de données de formation et de test avec des annotations de vérité au sol via la curation humaine de plusieurs tissus et tumeurs normaux, et utilisons ces données pour évaluer la précision de segmentation obtenue sur trois réseaux d'apprentissage en profondeur, chacun ayant été formé et évalué de manière indépendante : UNet, Mask R-CNN et Pyramid Scene Parsing Network (PSPNet). Les modèles résultants comprennent une famille de modèles universels pour l'identification des cellules et la segmentation des tissus (UnMICST) dans laquelle chaque modèle est basé sur les mêmes données de formation mais sur une classe différente de réseau ML. Sur la base de notre analyse, nous identifions deux façons d'améliorer la précision de la segmentation pour les trois réseaux. La première consiste à ajouter des images de coloration de l'enveloppe nucléaire (NES) aux images de chromatine nucléaire acquises à l'aide de colorants intercalant l'ADN. La seconde consiste à ajouter de véritables augmentations, définies ici comme des images intentionnellement défocalisées et sursaturées (collectées à partir des mêmes spécimens), aux données d'entraînement pour rendre les modèles plus robustes aux types d'artefacts rencontrés dans les images de tissus réels. Nous constatons que l'augmentation avec des données réelles surpasse de manière significative l'augmentation conventionnelle du flou gaussien, offrant une amélioration statistiquement significative de la robustesse du modèle. Dans une gamme de types de tissus, les améliorations résultant de l'ajout de données NES et d'augmentations réelles sont cumulatives.

L'un des défis de l'apprentissage automatique supervisé sur les images de tissus est le manque de données librement disponibles suffisantes avec un étiquetage de vérité terrain. L'expérience avec des images de scènes naturelles14 a montré que l'acquisition d'étiquettes peut prendre du temps et limiter le débit28. Il est également bien établi que les cellules de différents types de tissus ont des morphologies nucléaires qui varient considérablement de la forme sphérique et ellipsoïdale observée dans les cellules cultivées29. Le pléomorphisme nucléaire (variation de la taille et de la forme des noyaux) est même utilisé en histopathologie pour classer les cancers30. Pour tenir compte de la variation de la morphologie nucléaire, nous avons généré des ensembles de données de formation, de validation et de test à partir de sept types de tissus et de tumeurs différents (adénocarcinome pulmonaire, intestin grêle non néoplasique, prostate normale, adénocarcinome du côlon, glioblastome, ovaire non néoplasique et amygdale) trouvés dans 12 cœurs d'EMIT (Exemplar Microscopy Images of Tissue31, RRID : SCR_021052), une puce à ADN tissulaire assemblée à partir de rejets cliniques. Les tissus avaient des cellules avec des morphologies nucléaires allant de mélanges de cellules grandes ou petites, de cellules rondes ou étroites, et densément et irrégulièrement emballées ou organisées en grappes. Un total d'environ 10 400 noyaux ont été étiquetés par un expert humain pour les contours nucléaires, les centres et le fond. De plus, deux experts humains ont étiqueté un deuxième ensemble de données à partir d'une image complète de mélanome humain32 pour établir le niveau d'accord entre observateurs et fournir un ensemble de données de test disjoint des données de formation.

Nous avons implémenté puis évalué deux algorithmes de segmentation sémantique et un algorithme de segmentation d'instance basés sur l'apprentissage en profondeur/CNN (UNet, PSPNet et Mask R-CNN, respectivement). La segmentation sémantique est une approche ML grossière qui attribue des objets à des classes formées distinctes, tandis que la segmentation d'instance est fine et identifie des instances individuelles d'objets. Nous avons formé chacun de ces modèles (UnMICST-U, UnMICST-P et UnMICST-M, respectivement) sur des données conservées et étiquetées manuellement à partir de sept types de tissus distincts. Les modèles n'ont pas été combinés, mais ont été testés indépendamment pour tenter de déterminer quel réseau présentait les meilleures performances.

Nous avons évalué les performances à l'aide de métriques au niveau des pixels et des instances, y compris le seuil d'intersection par balayage (IoU) décrit par Caicedo et al.16, qui est basé sur des images de lignées cellulaires et implémenté dans l'ensemble de données COCO largement utilisé33. L'IoU (l'indice de Jaccard) est calculé en mesurant le chevauchement entre l'annotation de vérité terrain et la prédiction via un rapport de l'intersection à l'union des pixels dans deux masques. Le seuil (IoU) est évalué sur une plage de valeurs allant de la moins stricte, 0,55, à la plus stricte, 0,816. Contrairement à une métrique de précision de pixel standard (la fraction de pixels d'une image qui ont été correctement classés), IoU n'est pas sensible au déséquilibre de classe. IoU est une mesure particulièrement pertinente des performances de segmentation pour l'analyse d'images high-plex. Lorsque des masques sont utilisés pour quantifier les intensités de marqueurs dans d'autres canaux, nous nous soucions non seulement de savoir si un noyau est présent ou non à un endroit particulier, mais aussi de savoir si les masques ont la taille et la forme correctes.

Des exemples de métriques au niveau de l'instance sont les vrais positifs (TP) et les vrais négatifs (TN), qui classent les objets prédits selon qu'ils se chevauchent de 50 % ou plus, sinon ils sont considérés comme des faux positifs (FP) et des faux négatifs (FN). Les fréquences de ces quatre états sont utilisées pour calculer le score F1 et la précision moyenne (AP). Le score F1 est la moyenne pondérée de la précision (vrais positifs normalisés aux prédictions) et du rappel (vrais positifs normalisés à la vérité terrain), et AP considère le nombre de vrais positifs, le nombre total de vérité terrain et les prédictions.

La précision attendue pour ces méthodes a été déterminée en demandant à plusieurs experts humains d'étiqueter le même ensemble de données et de déterminer le niveau d'accord entre observateurs. Nous avons évalué la concordance inter-observateurs en utilisant à la fois le score F1 et les scores IoU de balayage avec des données provenant d'images de mélanome humain sur tout le côté32. Pour un ensemble d'environ 4900 frontières nucléaires annotées indépendamment, deux microscopistes expérimentés ont obtenu un score F1 moyen de 0,78 (informations supplémentaires 1) et un IoU de 60 % à un seuil de 0,6. Dans la discussion, nous comparons ces données aux valeurs obtenues dans d'autres articles récemment publiés et traitons l'écart entre les scores F1 et les valeurs IoU. Nous discutons également de la manière dont ces valeurs pourraient être augmentées pour atteindre des performances surhumaines24,34.

Pour étudier l'impact des augmentations réelles et calculées sur les performances des méthodes de segmentation, nous avons entraîné des modèles avec différents ensembles de données impliquant des augmentations réelles et calculées, puis testé les données sur des images acquises nettes, floues ou floues à l'aide d'un noyau gaussien. Lorsque les tailles des ensembles de données étaient déséquilibrées, nous avons complété ces instances par des augmentations de rotation. Nous avons évalué la précision de la segmentation quantitativement sur la base de l'IoU et qualitativement par inspection visuelle des masques prédits superposés sur les données d'image. L'augmentation réelle impliquait l'ajout de données d'entraînement empiriques supplémentaires, plutôt que calculées, présentant les types d'imperfections les plus couramment rencontrées dans les tissus. Ceci a été accompli en positionnant le plan focal à 3 µm au-dessus et au-dessous de l'échantillon, ce qui a donné des images défocalisées. Un deuxième ensemble d'images a été collecté à des temps d'exposition longs, saturant ainsi 70 à 80% des pixels. Étant donné que les images floues et saturées ont été collectées séquentiellement sans changer de position de scène, il a été possible d'utiliser le même ensemble d'annotations de vérité terrain. Pour les augmentations calculées, nous avons convolué un noyau gaussien avec les images au point en utilisant une gamme d'écarts types choisis pour couvrir un large éventail de cas expérimentaux (Fig. 1a). Dans les deux scénarios, les modèles résultants ont été évalués sur un ensemble de test préparé de la même manière que l'ensemble d'apprentissage.

un diagramme schématique montrant l'approche comparant des images de test sur des modèles entraînés avec des données d'image floues gaussiennes ou défocalisées. Les cartes de probabilité de contraste plus élevé signifient plus de confiance - les zones d'intérêt sont mises en évidence par des flèches rouges. Les cartes de probabilité correspondantes indiquent qu'un modèle formé avec des images défocalisées fonctionne mieux sur des images de test défocalisées qu'un modèle flou gaussien. La barre d'échelle indique 20 μm. b Les tracés montrent que l'incorporation d'augmentations réelles (courbe rouge) dans l'ensemble d'apprentissage est statistiquement significativement supérieure aux ensembles d'apprentissage avec flou gaussien (courbe jaune) et sans augmentations réelles (courbe bleue) pour UnMICST-U, UnMICST-M et UnMICST-P. La simulation d'images défocalisées avec un flou gaussien n'est que légèrement meilleure que de ne pas augmenter du tout les données d'apprentissage. c Comparaison de la précision du modèle UnMICST-U lorsque la taille de l'ensemble de données d'apprentissage était maintenue constante en remplaçant les augmentations défocalisées (courbe rouge) par des rotations de 90 et 180° (courbe bleue). Les barres d'erreur sont l'erreur standard de la moyenne.

Dans un premier ensemble d'études, nous avons constaté que les modèles créés à l'aide de données d'apprentissage augmentées d'un flou gaussien fonctionnaient bien sur des données de test floues gaussiennes. Cependant, lors d'une évaluation par rapport à des données de test impliquant des images défocalisées et saturées, nous avons constaté que l'augmentation du flou gaussien n'améliorait que légèrement la précision par rapport aux modèles de base dépourvus d'augmentations (Fig. 1b). En revanche, l'utilisation de données d'entraînement complétées par des augmentations réelles a augmenté la fraction de cellules retenues à un seuil IoU de 0,6 de 40 à 60 %. Une amélioration statistiquement significative a été observée jusqu'à un seuil IoU de 0,8 avec les trois cadres d'apprentissage (modèles UnMICST-U, UnMICST-M et UnMICST-P). Pour effectuer une comparaison équilibrée, nous avons créé deux ensembles de données d'apprentissage ayant un nombre égal d'images. Le premier ensemble contenait les données originales plus les rotations calculées de 90 et 180°, et le second ensemble contenait les données originales plus les données défocalisées recueillies au-dessus et au-dessous de l'échantillon. Encore une fois, nous avons constaté que les modèles entraînés avec des augmentations réelles surpassaient considérablement les modèles augmentés en rotation lorsqu'ils étaient testés sur des données de test défocalisées (Fig. 1c). Ainsi, la formation de l'une des trois architectures d'apprentissage en profondeur différentes avec des modèles générés par augmentation réelle qui ont surpassé les modèles avec augmentation calculée en utilisant des données de test contenant des artefacts couramment rencontrés.

Lorsque nous avons coloré notre panel TMA (Exemplar Microscopy Images of Tissues and Tumours (EMIT) TMA), nous avons constaté que les anticorps contre les lamines A et C (Fig. 2a) (qui sont différentes formes d'épissage du gène LMNA) coloraient environ la moitié du nombre de noyaux que les anticorps contre la lamine B1 (Fig. 2b) ou la lamine B2 (Fig. 2c) (produits des gènes LMNB1 et LMNB2). La coloration du récepteur de la lamine B (Fig. 2e) présentait un contraste d'image médiocre. Une enquête pan-tissulaire a montré qu'un mélange d'anticorps contre la nucléoporine NUP98 (Fig. 2d) et la lamine B2 conjugués au même fluorophore (Alexafluor-647) a généré une coloration de l'enveloppe nucléaire (NES) pour presque tous les noyaux dans plusieurs tissus (Fig. 2f – h). Nous avons jugé qu'il s'agissait du cocktail d'anticorps optimal. Cependant, seuls certains types de cellules, les épithéliums de l'adénocarcinome colorectal par exemple, présentaient la structure en forme d'anneau qui est caractéristique de la lame nucléaire dans les cellules épithéliales cultivées. L'enveloppe nucléaire dans les cellules immunitaires et autres a des plis et des invaginations35 et dans nos données, la coloration NES pourrait être irrégulière et diffuse, soulignant encore la difficulté de trouver une coloration NES largement utile dans les tissus.

Présentant une lamin A/C, b lamin B1, c lamin B2, d NUP98 et e le récepteur de la lamin B dans le même champ de vision. Les lamines B1 et B2 semblent colorer des proportions similaires de noyaux tandis que la lamine A/C colore moins de noyaux. La coloration contre le récepteur de la lamine B était comparativement plus faible. Lamin B2 (f) et NUP98 (g) sont complémentaires et, lorsqu'ils sont utilisés en combinaison, maximisent le nombre de cellules colorées. h Composite de lamin B2 (violet) et NUP98 (vert). La barre d'échelle indique 100 μm.

La valeur des images NES pour la performance du modèle a été évaluée quantitativement et qualitativement. Dans les images d'adénocarcinome du côlon, d'intestin grêle non néoplasique et de tissu d'amygdale, nous avons constaté que l'ajout d'images NES entraînait des améliorations significatives de la précision de la segmentation basée sur IoU avec les trois cadres d'apprentissage ; les améliorations dans d'autres tissus, tels que l'adénocarcinome pulmonaire, étaient plus modestes et sporadiques (Fig. 3a, Poumon). Pour la segmentation nucléaire des fibroblastes dans les tissus cancéreux de la prostate, les modèles UnMICST-U et UnMICST-M avec des données NES n'étaient pas meilleurs que les modèles entraînés sur la coloration de l'ADN seul. Les cas les plus frappants étaient les cas dans lesquels les données NES diminuaient légèrement les performances (segmentation UnMICST-P sur les fibroblastes prostrés et segmentation UnMICST-U du glioblastome). L'inspection des masques UnMICST-P a suggéré que la segmentation des noyaux de fibroblastes bien séparés était déjà optimale avec les images d'ADN seules (~ 60 % des noyaux retenus à IoU de 0,6), ce qui implique que l'ajout d'images NES n'apportait que peu d'amélioration. Avec les masques UnMICST-U dans le glioblastome, le problème semblait impliquer une morphologie NES atypique, ce qui est cohérent avec un niveau élevé de pléomorphisme nucléaire et la présence de cellules géantes, qui sont toutes deux des caractéristiques bien établies du glioblastome de haut grade36,37. Nous notons également que les données NES seules étaient inférieures à la coloration de l'ADN en tant que seule source de données de formation et devraient donc être utilisées en combinaison avec des images d'ADN (informations supplémentaires 2). Ainsi, l'ajout de NES aux données d'entraînement améliore largement mais pas universellement la précision de la segmentation.

NES - coloration de l'enveloppe nucléaire. Évaluer l'ajout de NES en tant que 2e marqueur à l'ADN sur la précision de la segmentation par tissu et par modèle. a Graphiques IoU variables comparant le modèle ADN uniquement (courbe bleue) et le modèle ADN + NES (courbe rouge) dans les cadres. L'ajout de NES a augmenté la précision pour les noyaux densément emballés tels que le côlon, l'intestin grêle, les amygdales et, dans une certaine mesure, les tissus pulmonaires. Les barres d'erreur sont les erreurs standard de la moyenne. b Images représentatives en niveaux de gris de tissus colorés avec de l'ADN et du NES comparant leurs morphologies variables, suivies de prédictions de masque UnMICST-U (vert) superposées sur des annotations de vérité au sol (violet). Dans les tissus avec des noyaux clairsemés, tels que les fibroblastes du tissu prostatique, le NES n'a pas ajouté un avantage supplémentaire à l'ADN seul. Dans les tissus où le NES ne présente pas l'anneau nucléaire caractéristique, comme dans le glioblastome, la précision n'a pas non plus été améliorée. La barre d'échelle indique 20 μm.

Pour déterminer si l'augmentation réelle et le NES se combineraient pendant la formation du modèle pour obtenir une précision de segmentation supérieure par rapport à l'utilisation de l'un ou l'autre type de données seul, nous avons formé et testé des modèles dans quatre scénarios différents (en utilisant les trois cadres d'apprentissage ; Fig. 4). Nous avons utilisé des images de l'intestin grêle, un tissu contenant des noyaux ayant une grande variété de morphologies, puis avons étendu l'analyse à d'autres types de tissus (voir ci-dessous). Les modèles ont été évalués sur des données de test ADN défocalisé pour augmenter la sensibilité de l'expérience. Dans le premier scénario, nous avons formé des modèles de base à l'aide de données d'images d'ADN au point et testé des modèles sur des images d'ADN au point invisibles. Avec des tissus tels que l'intestin grêle, qui sont difficiles à segmenter car ils contiennent des noyaux densément emballés, le scénario A a donné lieu à des prédictions légèrement sous-segmentées. Dans le scénario B et pour tous les scénarios suivants, des images d'ADN défocalisées ont été incluses dans l'ensemble de test, ce qui a donné lieu à des contours considérablement mal alignés avec les annotations de vérité terrain et a entraîné une sous-segmentation plus élevée. Des prédictions faussement positives et des localisations imprécises de la membrane des noyaux ont été observées dans des zones dépourvues de noyaux et à très faible contraste (Fig. 4a). Lorsque les images NES ont été incluses dans l'ensemble d'apprentissage (scénario C), les limites nucléaires étaient plus cohérentes avec les annotations de vérité au sol, bien que les noyaux prédits faussement positifs soient toujours présents. Les performances les plus robustes dans les cadres et les tissus ML ont été observées lorsque les images NES et l'augmentation réelle étaient combinées : les frontières nucléaires précises étaient généralement bien alignées avec les annotations de vérité au sol, tant en forme qu'en taille. Les différences observables dans le placement des masques de segmentation se sont reflétées dans les améliorations de l'IoU : pour les trois cadres d'apprentissage en profondeur, l'inclusion des données NES et des augmentations réelles a augmenté la fraction de noyaux retenus de 50 % à un seuil IoU de 0,6 (Fig. 4b). La précision de l'UnMICST-P (courbe bleue) formée uniquement sur les données ADN ciblées était supérieure à celle des deux autres modèles de base à tous les seuils d'IoU, ce qui suggère que l'UnMICST-P a une plus grande capacité d'apprentissage. UnMICST-P peut avoir un avantage dans les expériences dans lesquelles la coloration de l'enveloppe nucléaire s'avère difficile ou impossible.

NES - coloration de l'enveloppe nucléaire. a Les modèles entraînés uniquement avec des données ADN ciblées ont produit des cartes de probabilité qui étaient sous-segmentées, en particulier dans les tissus denses tels que l'intestin grêle (scénario A). Lorsqu'elles ont été testées sur des données défocalisées, les frontières des noyaux étaient largement incorrectes (scénario B). Ajout de formes de bordure de noyaux restaurés NES (scénario C). La combinaison de NES et d'augmentations réelles a réduit les détections de faux positifs et produit des masques de noyaux ressemblant mieux aux étiquettes de vérité terrain (scénario D). La barre d'échelle indique 20 μm. La légende du tableau montre les conditions utilisées pour chaque scénario A–D. La flèche jaune indique une cellule d'intérêt floue où la précision s'améliore avec la NES et l'augmentation réelle. b Les graphiques comparent la précision représentée par le nombre de cellules retenues sur différents seuils d'IoU avec tous les modèles UnMICST-U (en haut), UnMICST-M (au centre) et UnMICST-P (en bas). Dans tous les modèles, plus de noyaux ont été conservés lorsque le NES et les augmentations réelles ont été utilisés ensemble pendant l'entraînement (courbes jaunes) par rapport à l'utilisation du NES sans augmentations réelles (courbes rouges) ou de l'ADN seul (courbes bleues). Les barres d'erreur sont l'erreur standard de la moyenne.

Pour déterminer si les améliorations de la segmentation s'étendraient à plusieurs types de tissus, nous avons répété l'analyse décrite ci-dessus en utilisant trois scénarios d'entraînement et de test avec des images au point (Fig. 5a) et défocalisées (Fig. 5b). Le scénario 1 utilisait des images ADN focalisées pour la formation (barres bleues), le scénario 2 utilisait des images ADN et NES focalisées (barres rouges) et le scénario 3 utilisait des images ADN et NES focalisées plus une augmentation réelle (barres vertes). Alors que l'ampleur de l'amélioration variait selon le type de tissu et l'ensemble de tests (panel a vs b), les résultats dans leur ensemble étayent la conclusion selon laquelle l'inclusion à la fois des augmentations NES et réelles pendant la formation du modèle confère une amélioration statistiquement significative de la précision de la segmentation avec plusieurs types de tissus et modèles. L'amélioration de la précision était maximale lorsque les modèles fonctionnaient mal (par exemple, dans le scénario 1 où les modèles étaient testés sur des données d'image du côlon défocalisées ; Fig. 5b, barres bleues), de sorte que la précision de la segmentation devenait relativement uniforme dans tous les types de tissus et de cellules. En tant que test final, nous avons réexaminé l'image complète du mélanome de la diapositive décrite ci-dessus (qui n'avait été incluse dans aucune donnée de formation) et évalué les scores IoU, AP et F1. Les données étaient cohérentes quelle que soit la métrique et ont montré que les trois modèles bénéficiaient de l'inclusion de données d'entraînement comprenant des images NES et des augmentations réelles (informations supplémentaires 3). L'amélioration de la précision, cependant, était modeste et similaire à l'adénocarcinome pulmonaire. Nous attribuons cela au fait que, comme l'adénocarcinome pulmonaire, le mélanome a des régions moins denses, sur lesquelles nos modèles de base ont déjà bien performé.

a Dans tous les types de tissus à l'exception du GBM, l'ajout de NES (barres roses) et l'utilisation d'augmentations réelles combinées avec NES (barres vertes) dans les données d'entraînement offraient une précision supérieure par rapport à l'utilisation de l'ADN seul (barres bleues). b Lorsque les modèles ont été testés sur des données défocalisées, tous les tissus (y compris GBM de manière inattendue) ont montré des avantages résultant de l'utilisation de NES (barres roses) combinées à des augmentations réelles (barres vertes). Le tracé linéaire indique la plus grande précision obtenue pour chaque tissu lorsqu'il est testé sur des données ciblées du panneau (a).

Pour étudier l'amélioration globale réalisable avec un modèle UnMICST représentatif, nous avons testé UnMICST-U avec et sans augmentations réelles ou calculées et des données NES sur les six tissus en tant qu'ensemble, y compris des images au point, saturées et hors foyer (équilibrant la quantité totale de données d'entraînement dans chaque cas). Une amélioration de 1,7 fois de la précision a été observée à un IoU de 0,6 pour le modèle entièrement entraîné (c'est-à-dire avec des données NES et des augmentations réelles ; Fig. 6a). L'inspection des masques de segmentation a également démontré des contours plus précis pour les noyaux dans une large gamme de formes. L'amélioration globale de la précision était nettement supérieure à toute différence observée entre les cadres de segmentation sémantique et d'instance. Nous avons donc concentré nos travaux ultérieurs sur le framework le plus largement utilisé : U-Net.

a Amélioration de la précision des modèles UnMICST-U entraînés avec et sans NES (coloration de l'enveloppe nucléaire) par rapport à l'ADN seul, et augmentations réelles par rapport au flou calculé (GB ; flou gaussien). Pour équilibrer la taille de l'ensemble de données d'entraînement, GB a été remplacé par les données NES et les rotations calculées de 90/180° ont été remplacées par des augmentations réelles. Les barres d'erreur sont l'erreur standard de la moyenne. b Une image CyCIF 64-plex d'un noyau de TMA de l'intestin grêle non néoplasique à partir de l'ensemble de données EMIT. La boîte en pointillé indique la région d'intérêt pour les panneaux (d, e). c Projection UMAP utilisant des intensités de coloration de cellule unique pour 14 protéines marqueurs (voir méthodes). La couleur des points de données représente l'intensité de la E-cadhérine (en haut à gauche) ou du CD45 (en bas à gauche) sur tous les noyaux segmentés. Le regroupement basé sur la densité à l'aide de HDBSCAN a identifié des grappes distinctes (chacune désignée par une couleur différente) qui étaient positives pour l'E-cadhérine ou le CD45 ainsi qu'un petit nombre de cellules doublement positives (cercle bleu en pointillés). d Région agrandie de la boîte pointillée jaune de b montrant les contours du masque de segmentation (magenta) superposés sur le canal d'ADN (vert). e Image composite de l'ADN, de la E-cadhérine et du CD45 de la même région. Centroïdes des noyaux de la segmentation indiqués par des points bruns. Les cellules positives à la fois pour la E-cadhérine et le CD45 (du cercle bleu en pointillés dans le panneau c sont marquées de flèches jaunes et de points jaunes. En médaillon : vue agrandie de la région encadrée montrant des cellules immunitaires et épithéliales qui se chevauchent.

Nous avons également testé un modèle UnMICST-U entièrement formé sur une image CyCIF à 64 plex de tissu non néoplasique de l'intestin grêle provenant de l'EMIT TMA (Fig. 6b). Les intensités de coloration ont été quantifiées par cellule et les résultats visualisés à l'aide de l'approximation et de la projection uniformes du collecteur (UMAP; Fig. 6c). Les masques de segmentation se sont avérés bien situés avec peu de signes de sous-segmentation ou de sur-segmentation (Fig. 6d). De plus, alors que 21 % des cellules à noyaux segmentés étaient positives (déterminées à l'aide d'un modèle de mélange gaussien) pour le marqueur de cellules immunitaires CD45 et 53 % étaient positives pour le marqueur de cellules épithéliales E-cadhérine, moins de 3 % étaient positifs pour les deux. Aucun type cellulaire connu n'est réellement positif pour CD45 et E-cadhérine, et la très faible abondance de ces cellules doublement positives est la preuve d'une segmentation précise. Lorsque nous avons examiné certaines des 830 cellules doubles positives (cercle bleu en pointillés sur la figure 6c), nous avons trouvé plusieurs exemples d'une cellule T CD3 + (têtes de flèches jaunes; points jaune clair sur la figure 6e) étroitement associée à ou entre les cellules épithéliales des villosités intestinales (structure verte semblable à un kiwi visible sur la figure 6e). Ceci est cohérent avec le rôle connu de l'épithélium intestinal dans l'homéostasie immunitaire38. Dans ces cas, la capacité des humains à distinguer les cellules immunitaires et épithéliales repose sur des connaissances préalables, des caractéristiques d'intensité multidimensionnelles et des différences subtiles de forme et de texture, dont aucune n'était un aspect de la formation de modèles. Ainsi, les améliorations futures de la segmentation des tissus nécessiteront probablement le développement de CNN capables de classer des arrangements spatiaux rares mais biologiquement intéressants, plutôt que de simples extensions des algorithmes de segmentation à usage général décrits ici.

De tous les types de tissus annotés et testés dans cet article, l'ovaire non néoplasique était le plus difficile à segmenter (informations supplémentaires 4a) et l'ajout de données de formation ovarienne à des modèles formés sur des données provenant d'autres tissus a diminué la précision globale (informations supplémentaires 4b). Nous avons déjà imagé des cancers de l'ovaire à une résolution encore plus élevée (60 × / 1,42NA échantillonné à une taille de pixel de 108 nm)39 en utilisant la coupe optique et la microscopie à déconvolution ; l'inspection de ces images révèle des noyaux avec une morphologie très irrégulière, un faible contraste d'image et un emballage dense (informations supplémentaires 4c) contrairement à l'adénocarcinome du côlon (informations supplémentaires 4d). Ainsi, des recherches supplémentaires, impliquant éventuellement différents anticorps NES, seront nécessaires pour améliorer les performances avec les ovaires et d'autres tissus difficiles à segmenter. Jusque-là, la prudence est de mise lors de la combinaison de données d'entraînement provenant de tissus avec des morphologies nucléaires très différentes.

Cet article apporte quatre contributions principales à la littérature croissante sur la segmentation des images de tissus, qui est une étape essentielle dans l'analyse des données unicellulaires. Premièrement, il considère explicitement les données de formation et de test qui contiennent les types d'artefacts de mise au point et d'intensité couramment rencontrés dans les images de diapositives entières, en particulier les images de tissus humains acquises au cours des soins et des traitements cliniques. Cela contraste avec d'autres articles récents qui se concentrent sur les champs de vision optimaux. Deuxièmement, il montre qu'il est souvent possible d'augmenter la précision de la segmentation en incluant des données supplémentaires (NES) sur la morphologie de l'enveloppe nucléaire, et il propose un cocktail d'anticorps largement utile. Troisièmement, et surtout, il montre que l'ajout d'augmentations réelles comprenant des images défocalisées et saturées pour modéliser les données d'apprentissage améliore considérablement la précision de la segmentation, tandis que les augmentations basées sur le flou gaussien offrent beaucoup moins d'avantages. Ces résultats s'étendent aux cadres d'apprentissage profond basés sur la segmentation d'instance (UnMICST-M) et sur la segmentation sémantique (UnMICST-U et UnMICST-P). Enfin, en utilisant des données d'entraînement étiquetées nouvellement générées pour plusieurs types de tissus, il montre que l'augmentation réelle et le NES se combinent pour améliorer la robustesse et la précision de la segmentation dans de nombreux tissus ; ces améliorations sont directement applicables à la tâche réelle de segmentation d'images de tissus et de tumeurs de grande dimension. L'ampleur de l'amélioration observée par l'inclusion de données NES ou l'augmentation réelle est nettement supérieure aux différences observées entre les cadres ML. Les modèles UnMICST représentent donc un bon point de départ pour effectuer une segmentation d'images sur des référentiels de données tissulaires à croissance rapide. Les erreurs qui subsistent lorsque les images multiplexées sont segmentées à l'aide de modèles UnMICST optimisés semblent avoir une base biologique subtile. Le développement de modèles d'apprentissage automatique supplémentaires sensibles à la physiologie peut être nécessaire pour réduire ces erreurs apparentes.

L'une des surprises des travaux en cours était le niveau apparemment faible d'accord obtenu par deux experts humains annotant les mêmes données d'image ; nous avons estimé que seulement 60 % des noyaux annotés entre les annotateurs avaient un chevauchement de 60 % ou plus (seuil de 0,6 IoU). Un mauvais accord est presque certainement une conséquence de notre utilisation d'un critère de notation IoU rigoureux qui mesure la fraction de pixels qui se chevauchent entre deux masques de segmentation. Le score F1 alternatif et largement utilisé, qui détermine si deux observateurs (ou un observateur et une machine) s'accordent sur la présence d'un noyau, atteint une précision de segmentation inter-observateur et automatisée de 0,78, ce qui est comparable au tissu F1 le plus élevé rapporté pour Mesmer40, un autre modèle d'apprentissage en profondeur appliqué aux images de tissus. De plus, nos résultats avec les valeurs IoU sont similaires à ceux récemment rapportés par Kromp et al.17 (lorsque les seuils IoU sont ajustés pour permettre une comparaison directe). Les auteurs de Cellseg41 rapportent également des précisions de segmentation comparables et notent la difficulté d'atteindre une valeur IoU élevée avec des cellules dont la forme et la focalisation varient considérablement.

Il semblerait donc que de nombreuses études aient atteint des niveaux similaires d'accord entre observateurs et que nos résultats ne soient pas aberrants, même si nous incluons des données problématiques. Cela met en évidence un défi fondamental pour toutes les approches d'apprentissage supervisé dont la solution n'est pas immédiatement claire. La collecte de données 3D précises suivie de l'imposition de différents niveaux de flou et de l'ajout d'artefacts d'intensité sera nécessaire pour comprendre les origines du désaccord entre observateurs dans les images de tissus et obtenir des données de formation et de test de meilleure qualité. Il semble également probable que des améliorations pratiques de la segmentation proviendront probablement de la combinaison des avancées récemment décrites. Par exemple, Greenwald et al.40 utilisent une approche communautaire intelligente pour acquérir beaucoup plus de données de formation que dans le travail actuel, Kromp et al.17 combinent des images de tissus avec une annotation de vérité terrain acquise à partir de cellules cultivées (par une équipe d'étudiants de premier cycle), tandis que les travaux actuels se concentrent sur l'utilisation de NES et de véritables augmentations pour améliorer la robustesse des algorithmes de segmentation à tous les niveaux.

Du point de vue de l'apprentissage automatique, la valeur de l'ajout de canaux d'image supplémentaires aux données de formation est évidente. La faisabilité expérimentale n'est pas toujours aussi évidente. Un compromis clé est que plus le nombre de canaux de fluorescence utilisés pour la segmentation est élevé, moins il y a de canaux disponibles pour la collecte de données sur d'autres marqueurs. Heureusement, le développement de l'imagerie hautement multiplexée a rendu cela moins pertinent car la collecte de 20 à 40 canaux d'image ou plus (chacun correspondant à un anticorps fluorescent différent) est devenue une routine. Cela facilite la réservation de deux canaux pour la segmentation. Le rapport coût-bénéfice de l'ajout de données de segmentation supplémentaires sera différent dans le criblage à haute teneur de cellules dans des plaques multi-puits, pour lesquelles des réactifs peu coûteux sont généralement essentiels que dans l'imagerie tissulaire. Dans les tissus, la morphologie de la lamine nucléaire change avec l'état de la maladie42, le type de cellule, l'état d'activation et de nombreux autres processus biologiques. Bien que ces routines de segmentation soient difficiles, l'imagerie des lamines est également susceptible de fournir des informations biologiques précieuses, plaidant davantage pour la collecte systématique de ces données43. Pour permettre à d'autres de s'appuyer sur les travaux en cours, nous publions toutes les images d'entraînement et de test, leurs masques de segmentation et leurs annotations, ainsi que les augmentations réelles pour plusieurs types de tissus (amygdale, ovaire, intestin grêle et cancers du côlon, du cerveau, du poumon, de la prostate) via la ressource EMIT ; les modèles sont publiés en tant que composants de la ressource de modèle UnMICST (voir les informations sur la disponibilité des données et la disponibilité du code).

La découverte la plus immédiatement généralisable de ce travail est que l'augmentation réelle surpasse l'augmentation calculée générée à l'aide de noyaux gaussiens. Le flou et la saturation de l'image sont une conséquence inévitable de la bande passante limitée des systèmes optiques, de l'épaisseur des échantillons par rapport à la profondeur de champ, de la diffusion de la lumière, de la diffraction, de l'utilisation d'objectifs sans immersion et des décalages d'indice de réfraction qui en résultent, et d'une variété d'autres processus physiques. Le vrai flou de mise au point diffère également lorsque le plan focal est au-dessus et au-dessous de l'échantillon. Les domaines d'application future des augmentations réelles pourraient inclure les sources lumineuses inhomogènes et la gigue de scène. Il sera sans aucun doute utile de déterminer les noyaux pour une augmentation calculée plus efficace, mais la collecte de données d'augmentation réelle impose une charge minimale dans un environnement réel. Notre observation selon laquelle l'augmentation réelle surpasse l'augmentation calculée peut également avoir une signification générale en dehors du domaine de la microscopie : avec tout système de caméra haute performance, les données réelles hors foyer seront inévitablement plus compliquées que le flou gaussien.

Pour générer des images pour la formation et les tests de modèles, des échantillons de tissus humains de plusieurs patients ont été utilisés pour construire un microréseau multi-tissus (HTMA427) dans le cadre d'un protocole de tissu excédentaire (jeté) approuvé par l'Institutional Review Board (IRB) du Brigham and Women's Hospital (BWH IRB 2018P001627). Un ou deux noyaux de 1,5 mm de diamètre ont été prélevés dans des régions tissulaires dans le but d'acquérir un ou deux exemples de différents types sains ou tumoraux, y compris des maladies médicales non néoplasiques et des tissus lymphoïdes secondaires tels que les amygdales. Les lames ont été colorées avec des réactifs de Cell Signaling Technologies (Beverly MA, USA) et Abcam (Cambridge UK) comme indiqué dans le tableau 1.

Avant l'imagerie, les lames ont été montées avec du glycérol à 90 % et une lamelle #1.5. Avant l'évaluation algorithmique, les images ont été divisées en trois sous-ensembles mutuellement disjoints et utilisées pour la formation, la validation et les tests.

Le TMA coloré a été imagé sur un microscope INCell 6000 (General Electric Life Sciences) équipé d'un objectif 20 × / 0, 75 (résolution latérale nominale de 370 nm à une longueur d'onde de 550 nm) et d'une taille de pixel de 0, 325 µm par pixel. Hoechst et lamin-A647 ont été excités avec un laser à 405 et 642 nm, respectivement. L'émission a été collectée avec les ensembles de filtres DAPI (455/50 nm) et Cy5 (682/60 nm) avec des temps d'exposition de 60 et 100 ms, respectivement. L'imagerie sur lame entière impliquait l'acquisition de 1215 tuiles avec un chevauchement de 8 %, ce qui est recommandé pour l'assemblage dans ASHLAR, un algorithme d'assemblage et d'enregistrement de nouvelle génération pour les grandes images (https://github.com/labsyspharm/ashlar). Pour générer des données défocalisées, nous avons acquis des images du dessus et du dessous du plan focal en faisant varier l'axe Z de 3 µm dans les deux sens. Pour générer des images saturées de coloration de l'ADN, un temps d'exposition de 150 ms a été utilisé. Ces deux types de données sous-optimales ont ensuite été utilisées pour une véritable augmentation lors de la formation du modèle, comme décrit ci-dessous.

Des carottes représentatives de l'adénocarcinome pulmonaire, de l'intestin grêle non néoplasique, de la prostate normale, de l'adénocarcinome du côlon, du glioblastome, de l'ovaire non néoplasique et de l'amygdale ont été extraites des mosaïques d'images et sous-échantillonnées par un facteur de 2 pour correspondre à la taille des pixels des images acquises et analysées en routine dans MCMICRO31. Les images ont ensuite été recadrées en mosaïques de 256 × 256 pixels, et l'ADN et le NES au point ont été importés dans Adobe Photoshop pour faciliter l'annotation humaine des limites nucléaires. Nous avons étiqueté les contours et les classes d'arrière-plan sur des calques séparés tout en échangeant entre l'ADN et le NES si nécessaire. Pour gagner du temps, nous avons dessiné des contours complets de noyaux et les avons remplis en utilisant l'opération de remplissage Matlab pour générer des centres de noyaux. Pour les noyaux aux frontières de l'image où les contours seraient incomplets, nous avons annoté manuellement les centres des noyaux. Comme décrit par Ronneberger et al. (2015), une quatrième couche a été utilisée pour marquer les zones entre les cellules agglutinées. Ces annotations supplémentaires ont permis de pénaliser spécifiquement les modèles qui classaient incorrectement ces pixels. Lors de l'examen des images, nous avons observé que certaines morphologies de noyaux apparaissaient plus fréquemment que d'autres. Pour tenir compte de ce déséquilibre, nous avons annoté uniquement les noyaux caractéristiques de chaque type de tissu dans chaque image dans le but d'équilibrer l'occurrence des formes de noyaux dans nos ensembles d'entraînement, de validation et de test. Par exemple, les images de l'intestin grêle et du côlon affichaient à la fois des noyaux ronds et allongés, et puisque la première forme était déjà présente dans d'autres tissus (tels que le poumon) dans notre ensemble de données, nous n'avons annoté que la dernière forme pour les tissus de l'intestin grêle et du côlon. Des annotations denses complètes sur un jeu de données de test retenu ont été validées par un deuxième annotateur et mesurées à l'aide du score F1. L'évaluation du score F1 entre les deux vérités terrain annotées était élevée et a démontré une excellente concordance (Informations supplémentaires 1).

Étant donné que les images d'ADN originales, défocalisées et saturées ont toutes été acquises dans la même pile d'images, il a été possible d'utiliser un seul ensemble enregistré d'annotations d'ADN sur tous les canaux d'image augmentés. Pour produire l'ensemble d'apprentissage, chaque image a été recadrée en 64 × 64 patchs, normalisée pour utiliser toute la plage dynamique, et encore augmentée à l'aide de rotations de 90°, de réflexions et d'une mise à l'échelle de 20 %. Conformément à l'ensemble de formation, les ensembles de validation et de test incluent également des exemples défocalisés et saturés, mais n'ont pas été complétés par des transformations standard. Le rapport des exemples de données présents dans la formation, la validation et la répartition des ensembles de tests était de 0,36 : 0,24 : 0,4. Pour une comparaison équitable entre les modèles, le même ensemble de données et la même répartition ont été utilisés pour les trois cadres d'apprentissage en profondeur décrits dans ce manuscrit (tableau supplémentaire 2).

Pour faciliter la formation des modèles, trois architectures de pointe distinctes ont été séparément, formées, mises en œuvre et évaluées. Ce sont, sans ordre particulier, UNet, Mask R-CNN et PSPNet et ont été adoptés à partir de leurs références d'origine sans modification de leur architecture. UNet a été sélectionné pour son succès antérieur dans le domaine biomédical, Mask R-CNN a été sélectionné pour sa capacité à effectuer à la fois la détection d'objets et la génération de masques, et PSPNet a été sélectionné pour sa capacité à intégrer des caractéristiques d'image à partir de plusieurs échelles spatiales. Les données de formation, de validation et de test ont été dérivées de 12 noyaux dans 7 tissus et d'un total de 10 359 noyaux dans la composition du côlon - 1142 ; glioblastome (GBM) – 675 ; poumon – 1735 ; ovarien – 956 ; fibroblaste – 922 ; intestin grêle – 1677 ; amygdale - 3252. Pour maintenir la cohérence de l'évaluation entre les algorithmes de segmentation, la précision de la segmentation a été calculée en comptant la fraction de cellules dans un ensemble de tests retenu qui a passé un seuil d'intersection sur l'union (IoU) de balayage. Le canal NES a été concaténé au canal ADN sous la forme d'un réseau tridimensionnel en tant qu'entrée dans chaque architecture.

Un modèle UNet à trois classes14 a été formé sur la base de l'annotation des centres des noyaux, des contours des noyaux et du fond. Le réseau de neurones est composé de 4 couches et de 80 caractéristiques d'entrée. La formation a été effectuée en utilisant une taille de lot de 32 avec Adam Optimizer et un taux d'apprentissage de 0,00005 avec un taux de décroissance de 0,98 toutes les 5000 étapes jusqu'à ce qu'il n'y ait aucune amélioration de la précision ou qu'environ 100 époques aient été atteintes. La normalisation par lots a été utilisée pour améliorer la vitesse de formation. Pendant l'entraînement, la couche inférieure avait un taux d'abandon de 0,35 et une régularisation L1 a été mise en œuvre pour minimiser le surajustement44,45 et l'arrêt précoce. La formation a été effectuée sur des stations de travail équipées de GPU NVidia GTX 1080 ou NVidia TitanX.

De nombreux modèles de segmentation sont basés sur l'architecture Mask R-CNN15, Mask R-CNN a déjà montré d'excellentes performances sur une variété de tâches de segmentation. Le masque R-CNN commence par détecter les boîtes englobantes des noyaux et effectue ensuite une segmentation dans chaque boîte. Cette approche élimine le besoin d'une étape de segmentation intermédiaire du bassin versant ou équivalente. Ainsi, Mask R-CNN calcule directement un masque de segmentation, réduisant considérablement les frais généraux dans les pipelines de segmentation traditionnels. Nous avons adopté un modèle de dorsale ResNet5046 dans l'implémentation UnMICST-M et initialisé les poids à l'aide de valeurs pré-formées du défi de segmentation d'instance d'objet COCO33 pour améliorer les propriétés de convergence. Pour une formation efficace, nous avons suréchantillonné les images d'entrée d'origine à 800 × 800 pixels et formé un modèle pour 24 époques en utilisant une taille de lot de 8. L'optimiseur Adam, avec une décroissance de poids de 0,0001 pour éviter le surajustement, a été exploité avec un taux d'apprentissage variable, initialement fixé à 0,01 et diminué d'un facteur de 0,1 aux époques 16 et 22. La formation a été effectuée sur un cluster de nœuds de calcul en utilisant 4 N GPU Vidia TitanX ou NVidia Tesla V100. Pour l'évaluation et la comparaison, nous avons utilisé le modèle avec les meilleures performances sur l'ensemble de validation, conformément à la pratique standard.

Nous avons formé un modèle PSPNet à trois classes47 pour extraire les centres des noyaux cellulaires, les contours des noyaux et le fond d'une grande variété de types de tissus. PSPNet est l'un des CNN les plus utilisés pour la segmentation sémantique d'images de scènes naturelles dans le domaine de la vision par ordinateur. Le réseau utilise un module dit de mise en commun pyramidale dont le but est d'apprendre les caractéristiques globales et locales. Les informations contextuelles supplémentaires utilisées par PSPNet ont permis à l'algorithme de segmentation de produire des cartes de probabilité réalistes avec une plus grande confiance. Nous avons utilisé ResNet101 comme dorsale. La formation du réseau a été effectuée en utilisant une taille de lot de 8 avec une taille d'image de 256 × 256 pixels pour 15 000 itérations ou jusqu'à ce que le modèle de perte minimum soit obtenu. Une fonction de perte d'entropie croisée standard a été utilisée pendant la formation. La descente de gradient a été effectuée à l'aide de l'optimiseur Adam avec un taux d'apprentissage de 0,0001 et un paramètre de décroissance du poids de 0,005 via la régularisation L2. La normalisation par lots a été utilisée pour une convergence plus rapide, et une probabilité d'abandon de 0,5 a été utilisée dans la couche réseau finale pour atténuer le surajustement. La formation du modèle a été effectuée sur un nœud de cluster de calcul équipé de GPU NVidia Tesla V100.

Pour l'analyse illustrée à la Fig. 6, une image CyCIF 64-plex de tissu non néoplasique de l'intestin grêle provenant de l'EMIT TMA (https://www.synapse.org/#!Synapse:syn22345748/) a été colorée avec un total de 45 anticorps comme décrit dans les protocoles https://www.protocols.io/view/ffpe-tissue-pre-treatment-before-t-cycif-on-le ica-bji2kkge et https://doi.org/10.17504/protocols.io.bjiukkew. Les images ont été segmentées à l'aide du modèle UnMICST-U formé sur l'ADN avec des données NES et des augmentations réelles. Les intensités moyennes de fluorescence sur 45 marqueurs pour 27 847 noyaux segmentés ont été quantifiées comme décrit dans la réf. 31. Les cellules positives à la E-cadhérine et positives au CD45 ont été identifiées à l'aide de modèles de mélange gaussien sur des données transformées en log. Pour le regroupement multivarié, les intensités moyennes transformées en log de toutes les cellules individuelles de 14 marqueurs protéiques sélectionnés (E-cadhérine, pan-cytokératine, CD45 CD4, CD3D, CD8, RF3, PML, GLUT1, GAPDH TDP43, OGT, COLL4, un EPCAM) ont été prétraitées à l'aide d'une approximation et d'une projection uniformes (UMAP)48 et regroupées à l'aide d'un cluster spatial basé sur la densité hiérarchique d'applications avec bruit (HDBSCAN)49. Des grappes exprimant un niveau élevé d'E-cadhérine et de CD45 ont été identifiées et superposées sur une image en fausses couleurs montrant la coloration de l'ADN, de l'E-cadhérine et du CD45.

Pour permettre à d'autres de s'appuyer sur les travaux en cours, nous publions toutes les images d'entraînement, de validation et de test, leurs annotations et les augmentations réelles pour plusieurs types de tissus (amygdale, ovaire, intestin grêle et cancers du côlon, du cerveau, du poumon, de la prostate) via la ressource EMIT ; les modèles de formation et d'inférence sont publiés en tant que composants de la ressource de modèle UnMICST. Les données sources des graphiques des figures principales se trouvent dans les données supplémentaires 1.xlsx.

Le code et les instructions utilisés pour la formation et la mise en œuvre des modèles UnMICST sont disponibles sur : https://labsyspharm.github.io/UnMICST-info/

Immunologistes, AA A. La démonstration de l'antigène pneumococcique dans les tissus par l'utilisation d'anticorps fluorescents. J. Immunol. 45, 159-170 (1942).

Google Scholar

Albertson, amplification de gène de DG dans le cancer. Tendances Genet. 22, 447–455 (2006).

Article CAS PubMed Google Scholar

Shlien, A. & Malkin, D. Variations du nombre de copies et cancer. Génome Med. 1, 62 (2009).

Article PubMed PubMed Central Google Scholar

Amin, MB et al. La huitième édition du manuel de stadification du cancer de l'AJCC : Continuer à jeter un pont entre une approche basée sur la population et une approche plus « personnalisée » de la stadification du cancer. Ca Cancer J. Clin. 67, 93–99 (2017).

Article PubMed Google Scholar

Gerdes, MJ et al. Analyse unicellulaire hautement multiplexée de tissus cancéreux fixés au formol et inclus en paraffine. Proc. Natl Acad. Sci. États-Unis 110, 11982–11987 (2013).

Article CAS PubMed PubMed Central Google Scholar

Giesen, C. et al. Imagerie hautement multiplexée des tissus tumoraux avec une résolution subcellulaire par cytométrie de masse. Nat. Méthodes 11, 417–422 (2014).

Article CAS PubMed Google Scholar

Angelo, M. et al. Imagerie multiplexée par faisceau d'ions de tumeurs mammaires humaines. Nat. Méd. 20, 436–442 (2014).

Article CAS PubMed PubMed Central Google Scholar

Lin, J.-R. et coll. Imagerie par immunofluorescence hautement multiplexée des tissus humains et des tumeurs à l'aide de t-CyCIF et de microscopes optiques conventionnels. eLife 7, e31657 (2018).

Article PubMed PubMed Central Google Scholar

Stack, EC, Wang, C., Roman, KA & Hoyt, CC Immunohistochimie multiplexée, imagerie et quantification : une revue, avec une évaluation de l'amplification du signal Tyramide, de l'imagerie multispectrale et de l'analyse multiplex. Méthodes 70, 46–58 (2014).

Article CAS PubMed Google Scholar

Achim, K. et al. Cartographie spatiale à haut débit des données de séquençage d'ARN unicellulaire sur le tissu d'origine. Nat. Biotechnol. 33, 503–509 (2015).

Article CAS PubMed Google Scholar

Slyper, M. et al. Une boîte à outils RNA-Seq à cellule unique et à noyau unique pour les tumeurs humaines fraîches et congelées. Nat. Méd. 26, 792–802 (2020).

Article CAS PubMed PubMed Central Google Scholar

McQuin, C. et al. CellProfiler 3.0 : traitement d'images de nouvelle génération pour la biologie. PLoS Biol. 16, e2005970 (2018).

Article PubMed PubMed Central Google Scholar

LeCun, Y., Bengio, Y. & Hinton, G. Apprentissage en profondeur. Nature 521, 436–444 (2015).

Article CAS PubMed Google Scholar

Ronneberger, O., Fischer, P. & Brox, T. U-Net : Réseaux convolutifs pour la segmentation d'images biomédicales. Conférence internationale sur l'informatique d'imagerie médicale et l'intervention assistée par ordinateur, 234-241 (2015).

He, K., Gkioxari, G., Dollár, P. & Girshick, R. Mask R-CNN. Actes de la conférence internationale IEEE sur la vision par ordinateur, 2961-2969 (2017).

Caicedo, JC et al. Segmentation des noyaux dans les expériences d'imagerie : The 2018 Data Science Bowl. Nat. Méthodes 16, 1247–1253 (2019).

Article CAS PubMed PubMed Central Google Scholar

Kromp, F. et al. Un ensemble de données d'images de fluorescence annotées pour la formation aux méthodes de segmentation nucléaire. Sci. Données 7, 262 (2020).

Article PubMed PubMed Central Google Scholar

Schwendy, M., Unger, RE & Parekh, SH EVICAN - un ensemble de données équilibré pour le développement d'algorithmes dans la segmentation des cellules et des noyaux. Bioinformatique 36, 3863–3870 (2020).

Article CAS PubMed PubMed Central Google Scholar

Schüffler, PJ et al. Segmentation automatique d'une seule cellule sur des images de tissus hautement multiplexées. Cytom. A 87, 936–942 (2015).

Article Google Scholar

Arganda-Carreras, I. et al. Segmentation Weka formable : un outil d'apprentissage automatique pour la classification des pixels en microscopie. Bioinformatique 33, 2424–2426 (2017).

Article CAS PubMed Google Scholar

Berg, S. et al. ilastik : Apprentissage automatique interactif pour l'analyse de (bio)images. Nat. Méthodes 16, 1226-1232 (2019).

Article CAS PubMed Google Scholar

Aeffner, F. et al. Introduction à l'analyse d'images numériques dans l'imagerie de diapositives entières : un livre blanc de l'association de pathologie numérique. J. Pathol. Informer. 10, 9 (2019).

Article PubMed PubMed Central Google Scholar

Lin, J.-R. et coll. Atlas 3D multiplexé des transitions d'états et des interactions immunitaires dans le cancer colorectal. Préimpression sur bioRxiv https://doi.org/10.1101/2021.03.31.437984 (2021).

Krizhevsky, A., Sutskever, I. & Hinton, GE Classification ImageNet avec réseaux de neurones à convolution profonde. Dans Advances in Neural Information Processing Systems 25 (eds Pereira, F., Burges, CJC, Bottou, L. & Weinberger, KQ) 1097–1105 (Curran Associates, Inc., 2012).

Ahmed Raza, SE et al. MIMO-Net : Un réseau neuronal convolutif multi-entrées multi-sorties pour la segmentation cellulaire dans les images de microscopie à fluorescence. En 2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017) 337–340 (IEEE, 2017).

Shorten, C. & Khoshgoftaar, TM Une enquête sur l'augmentation des données d'image pour l'apprentissage en profondeur. J. Big Data 6, 60 (2019).

Article Google Scholar

Horwath, JP, Zakharov, DN, Mégret, R. & Stach, EA Comprendre les caractéristiques importantes des modèles d'apprentissage en profondeur pour la segmentation des images de microscopie électronique à transmission haute résolution. Npj Comput. Mater. 6, 1–9 (2020).

Article Google Scholar

Gurari, D. et al. Comment collecter les segmentations pour les images biomédicales ? Une référence évaluant la performance des experts, des non-experts externalisés et des algorithmes. Conférence d'hiver IEEE 2015. Appl. Calcul. Vis. (IEEE, 2015).

Skinner, BM & Johnson, EEP Morphologies nucléaires : leur diversité et leur pertinence fonctionnelle. Chromosome 126, 195–212 (2017).

Article PubMed Google Scholar

Dalle, J.-R. et coll. Notation du pléomorphisme nucléaire par détection sélective des noyaux cellulaires. Dans IEEE Workshop on Applications of Computer Vision (WACV 2009), 7–8 décembre 2009, Snowbird, UT, États-Unis (IEEE Computer Society, 2009).

Schapiro, D. et al. MCMICRO : un pipeline de traitement d'image évolutif et modulaire pour l'imagerie tissulaire multiplexée. Nat. Méthodes https://doi.org/10.1038/s41592-021-01308-y (2021).

Nirmal, AJ et al. Le paysage spatial de la progression et de l'immunoédition dans le mélanome primaire à une résolution unicellulaire. Découverte du cancer. 12, 1518-1541 (2022).

Article CAS PubMed PubMed Central Google Scholar

Lin, T.-Y. et coll. Microsoft COCO : objets communs en contexte. Dans Computer Vision – ECCV 2014 (eds. Fleet, D., Pajdla, T., Schiele, B. & Tuytelaars, T.) 740–755 (Springer International Publishing, 2014).

Deng, J. et al. ImageNet : une base de données d'images hiérarchique à grande échelle. En 2009, Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes 248–255 (IEEE, 2009).

Fischer, EG Morphologie nucléaire et biologie des cellules cancéreuses. Acta Cytol. 64, 511–519 (2020).

Article CAS PubMed Google Scholar

Kros, JM Classement des gliomes : La route de l'éminence à la preuve. J. Neuropathol. Exp. Neurol. 70, 101-109 (2011).

Article PubMed Google Scholar

Louis, D., Ohgaki, H., Wiestler, O. & Cavenee, W. Classification OMS des tumeurs du système nerveux central, Neuro-oncologie, 23, 1231-1251 (2021).

Article Google Scholar

Allaire, JM et al. L'épithélium intestinal : coordinateur central de l'immunité muqueuse. Tendances Immunol. 39, 677–696 (2018).

Article CAS PubMed Google Scholar

Färkkilä, A. et al. Le profilage immunogénomique détermine les réponses à l'inhibition combinée de PARP et PD-1 dans le cancer de l'ovaire. Nat. Commun. 11, 1459 (2020).

Article PubMed PubMed Central Google Scholar

Greenwald, NF et al. Segmentation de cellules entières d'images de tissus avec des performances de niveau humain en utilisant l'annotation de données à grande échelle et l'apprentissage en profondeur. Nat. Biotechnol., 40, 555–565 (2022).

Article CAS PubMed Google Scholar

Lee, MY et al. CellSeg : un logiciel robuste et pré-entraîné de segmentation de noyau et de quantification de pixel pour des images de fluorescence hautement multiplexées. BMC Bioinform. 23, 46 (2022).

Article Google Scholar

Sakthivel, KM & Sehgal, P. Un nouveau rôle des lamines des maladies génétiques aux biomarqueurs du cancer. Oncol. Rév. 10, 309 (2016).

PubMed PubMed Central Google Scholar

Bell, ES et Lammerding, J. Causes et conséquences des altérations de l'enveloppe nucléaire dans la progression tumorale. EUR. J. Cell Biol. 95, 449–464 (2016).

Article CAS PubMed PubMed Central Google Scholar

Ng, AY Sélection de caractéristiques, régularisation L1 vs L2 et invariance rotationnelle. Dans Actes de la vingt et unième conférence internationale sur l'apprentissage automatique 78 (Association for Computing Machinery, 2004).

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I. & Salakhutdinov, R. Dropout : Un moyen simple d'empêcher les réseaux de neurones de se suradapter. J.Mach. Apprendre. Rés. 15, 1929-1958 (2014).

Google Scholar

He, K., Zhang, X., Ren, S. et Sun, J. Apprentissage résiduel profond pour la reconnaissance d'images. En 2016, Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes (CVPR) 770–778 (IEEE, 2016).

Zhao, H., Shi, J., Qi, X., Wang, X. & Jia, J. Réseau d'analyse de scènes pyramidales. Actes de la conférence IEEE sur la vision par ordinateur et la reconnaissance des formes, 2881–2890 (2017).

Becht, E. et al. Réduction de la dimensionnalité pour visualiser les données unicellulaires à l'aide d'UMAP. Nat. Biotechnol. 37, 38–44 (2019).

Article CAS Google Scholar

Campello, RJGB, Moulavi, D. & Sander, J. Regroupement basé sur la densité basé sur des estimations de densité hiérarchiques. Dans Advances in Knowledge Discovery and Data Mining (eds Pei, J., Tseng, VS, Cao, L., Motoda, H. & Xu, G.) 160–172 (Springer, 2013).

Télécharger les références

Nous remercions Alyce Chen et Madison Tyler pour leur aide avec ce manuscrit. Le travail a été financé par les subventions NIH U54-CA225088 et U2C-CA233262 à PKS et SS et par le Ludwig Cancer Center à Harvard. ZM est soutenu par la subvention NCI R50-CA252138. Nous remercions Dana-Farber/Harvard Cancer Center (P30-CA06516) pour l'utilisation de son noyau d'histopathologie spécialisé.

Ces auteurs ont contribué à parts égales : Clarence Yapp, Edward Novikov.

Laboratoire de pharmacologie des systèmes, Harvard Medical School, Boston, MA, 02115, États-Unis

[ PubMed ] Clarence Yapp, Edward Novikov, Won-Dong Jang, Tuulia Vallius, Yu-An Chen, Zoltan Maliga, Connor A. Jacobson, Sandro Santagata et Peter K. Sorger

Image and Data Analysis Core, Harvard Medical School, Boston, MA, 02115, États-Unis

Clarence Yapp et Marcelo Cicconet

École d'ingénierie et de sciences appliquées, Université Harvard, Cambridge, MA, 02138, États-Unis

Edward Novikov, Won-Dong Jang, Donglai Wei et Hanspeter Pfister

Ludwig Center for Cancer Research at Harvard, Harvard Medical School, Boston, MA, 02115, États-Unis

Tuulia Vallius, Sandro Santagata et Peter K. Sorger

Département de pathologie, Brigham and Women's Hospital, Harvard Medical School, Boston, MA, 02115, États-Unis

Sandro Santagata

Département de biologie des systèmes, Harvard Medical School, Boston, MA, 02115, États-Unis

Peter K. Sorger

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

La conception de l'étude a été conçue par CY, WDJ, EN et PKS L'acquisition et l'annotation des images ont été effectuées par CYSS, ont fourni l'échantillon EMIT TMA et validé les types de tissus. La coloration TMA a été effectuée par ZM et CAJ L'analyse des données a été effectuée par CY, WDJ, EN et YACYAC et CY a effectué l'analyse quantitative de cellule unique et l'analyse trouvée à la Fig. 6. Un codage supplémentaire a été effectué par MC Des expériences supplémentaires ont été menées par DWPKS, SS et HP ont supervisé l'étude. Tous les auteurs ont contribué à la rédaction et à la révision du manuscrit.

Correspondance à Peter K. Sorger.

PKS est membre du SAB ou membre du BOD d'Applied Biomath, RareCyte Inc. et Glencoe Software, qui distribue une version commerciale de la base de données OMERO ; PKS est également membre du NanoString SAB. Au cours des cinq dernières années, le laboratoire Sorger a reçu des fonds de recherche de Novartis et Merck. Sorger déclare qu'aucune de ces relations n'a influencé le contenu de ce manuscrit. SS est consultant pour RareCyte Inc. Les autres auteurs ne déclarent aucun intérêt concurrent.

Communications Biology remercie Shan E Ahmed Raza et les autres examinateurs anonymes pour leur contribution à l'examen par les pairs de ce travail. Rédacteur en chef de la gestion principale : Luke R. Grinham.

Note de l'éditeur Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Libre accès Cet article est sous licence Creative Commons Attribution 4.0 International License, qui permet l'utilisation, le partage, l'adaptation, la distribution et la reproduction sur n'importe quel support ou format, tant que vous donnez le crédit approprié à l'auteur ou aux auteurs originaux et à la source, fournissez un lien vers la licence Creative Commons et indiquez si des modifications ont été apportées. Les images ou tout autre matériel tiers dans cet article sont inclus dans la licence Creative Commons de l'article, sauf indication contraire dans une ligne de crédit au matériel. Si le matériel n'est pas inclus dans la licence Creative Commons de l'article et que votre utilisation prévue n'est pas autorisée par la réglementation légale ou dépasse l'utilisation autorisée, vous devrez obtenir l'autorisation directement du détenteur des droits d'auteur. Pour voir une copie de cette licence, visitez http://creativecommons.org/licenses/by/4.0/.

Réimpressions et autorisations

Yapp, C., Novikov, E., Jang, WD. et coll. UnMICST : Apprentissage en profondeur avec augmentation réelle pour une segmentation robuste d'images hautement multiplexées de tissus humains. Commun Biol 5, 1263 (2022). https://doi.org/10.1038/s42003-022-04076-3

Télécharger la citation

Reçu : 01 juin 2021

Accepté : 06 octobre 2022

Publié: 18 novembre 2022

DOI : https://doi.org/10.1038/s42003-022-04076-3

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

En soumettant un commentaire, vous acceptez de respecter nos conditions d'utilisation et nos directives communautaires. Si vous trouvez quelque chose d'abusif ou qui ne respecte pas nos conditions ou directives, veuillez le signaler comme inapproprié.

Nouvelles

UnMICST : Apprentissage en profondeur avec augmentation réelle pour une segmentation robuste d'images hautement multiplexées de tissus humains