En un estudio reciente publicado en la revista Naturaleza, Los investigadores desarrollaron y evaluaron el modelo de patología Providence Gigapixel (Prov-GigaPath), un modelo básico de patología de diapositiva completa, para lograr un rendimiento de vanguardia en tareas de patología digital utilizando datos del mundo real a gran escala y una novedosa arquitectura de transformador de visión. .
Estudiar: Un modelo básico de diapositivas completas para patología digital a partir de datos del mundo real. Haber de imagen: Color4260/Shutterstock
Fondo
La patología computacional puede revolucionar el diagnóstico del cáncer mediante aplicaciones de subtipificación, estadificación y predicción de pronóstico. Sin embargo, los métodos actuales requieren una gran cantidad de datos anotados, lo que resulta costoso y requiere mucho tiempo. El aprendizaje autosupervisado es prometedor al utilizar datos sin etiquetar para entrenar previamente los modelos, lo que reduce esta necesidad. Los desafíos incluyen la calidad limitada y variable de los datos disponibles, la dificultad para capturar patrones locales y globales y el acceso restringido a modelos previamente entrenados. Los modelos básicos proporcionan una fuerte generalización, lo cual es esencial para los campos biomédicos con abundantes datos sin etiquetar. Es necesaria más investigación para mejorar la generalización y la aplicabilidad clínica de estos modelos en diversos conjuntos de datos y entornos del mundo real.
Sobre el estudio
El preprocesamiento de imágenes de portaobjetos completos (WSI) del presente estudio implicó una canalización para 171,189 portaobjetos teñidos con hematoxilina y eosina (H&E) e inmunohistoquímica. La segmentación de tejidos filtró regiones de fondo utilizando el umbral de imagen de Otsu. Se cambió el tamaño de los WSI a 0,5 μm por píxel y se recortaron en mosaicos de 256 × 256 píxeles, descartando los mosaicos con menos del 10% de cobertura de tejido. Prov-GigaPath fue entrenado previamente con las configuraciones Vision Transformer (ViT) y Distillation of Knowledge in Networks versión 2 (DINOv2) en 1,384,860,229 mosaicos. El codificador de diapositivas utilizó la arquitectura Long Sequence Network (LongNet). La capacitación previa, que incluyó discretización de cuadrícula, aumentos y codificadores automáticos enmascarados, utilizó 16 nodos con 4 GPU A100 de 80 GB y se completó en 2 días.
Prov-GigaPath se comparó con el transformador de pirámide de imágenes jerárquicas (HIPT), el modelo de patología basado en el aprendizaje contrastivo (CtransPath) y la generalización robusta y eficiente en datos del aprendizaje automático autosupervisado para diagnóstico por imágenes (REMEDIS). HIPT, previamente entrenado en diapositivas del Atlas del genoma del cáncer (TCGA), utilizó una arquitectura de transformador de pirámide de imágenes jerárquica, mientras que CtransPath combinó los modelos de red neuronal convolucional (CNN) y SwinTransformer. REMEDIS utilizó una columna vertebral de Resnet con el enfoque de Marco simple para el aprendizaje contrastivo de representaciones visuales (SimCLR). Prov-GigaPath y estos modelos se ajustaron en diversas tareas posteriores utilizando técnicas de aprendizaje de instancias múltiples basadas en la atención (ABMIL) para incrustaciones a nivel de diapositivas.
Para la predicción de mutaciones, se utilizaron datos de Providence Pathology (Prov-Path) para construir tareas, incluidos biomarcadores de cáncer pantumoral (pancáncer) y mutaciones genéticas, evaluados utilizando el área bajo la curva característica operativa del receptor (AUROC) y el área bajo la precisión. -Curva de recuperación (AUPRC) en una validación cruzada de 10 veces. Las evaluaciones de subtipificación del cáncer cubrieron nueve tipos, con modelos ajustados para 20 épocas.
La alineación visión-lenguaje implicó la creación de 17,383 pares de informes WSI de patología, procesados con la base de código de preentrenamiento de imagen-lenguaje contrastivo de código abierto (OpenCLIP). Los informes se limpiaron utilizando Generative Pre-trained Transformer (GPT)-3.5 y las incrustaciones de texto se calcularon con el modelo text-embedding-ada-002 de OpenAI. Las tareas de predicción de disparo cero evaluaron modelos como la transferencia de disparo cero de aprendizaje de instancias múltiples (MI-Zero), el preentrenamiento biomédico de imágenes y lenguaje contrastivo (BiomedCLIP) y el preentrenamiento de imágenes y lenguaje específico de patología (PLIP) sobre subtipos y mutaciones. Predicción de estado, utilizando configuraciones y plantillas de avisos de MI-Zero.
a, Diagrama de flujo que muestra la arquitectura del modelo de Prov-GigaPath. Prov-GigaPath primero serializa cada WSI de entrada en una secuencia de mosaicos de imágenes de 256 × 256 en orden de fila principal y utiliza un codificador a nivel de mosaico de imagen para convertir cada mosaico de imagen en una incrustación visual. Luego, Prov-GigaPath aplica un codificador de nivel deslizante basado en la arquitectura LongNet para generar incrustaciones contextualizadas, que pueden servir como base para varias aplicaciones posteriores. b, Entrenamiento previo a nivel de mosaico de imagen usando DINOv2. c, Entrenamiento previo a nivel de diapositiva con LongNet usando un codificador automático enmascarado. [CLS] es el token de clasificación.
Resultados del estudio
El estudio demostró que Prov-GigaPath logra un rendimiento superior en diversas tareas de patología digital en comparación con los métodos existentes. Prov-GigaPath recibió capacitación previa en Prov-Path, un gran conjunto de datos derivado del sistema de salud de Providence. Este conjunto de datos incluye 1.384.860.229 mosaicos de imágenes de 171.189 diapositivas de patología completas de alrededor de 30.000 pacientes. El modelo emplea la arquitectura GigaPath, aprovechando el método LongNet para el modelado de contexto ultragrande de WSI de gigapíxeles.
Prov-GigaPath demostró mejoras significativas en las tareas de predicción de mutaciones y subtipificación del cáncer. Por ejemplo, en la tarea de predicción de mutaciones de cinco genes específica del adenocarcinoma de pulmón (LUAD) utilizando datos TCGA, Prov-GigaPath superó a los modelos competidores con puntuaciones AUROC y AUPRC más altas. Se observaron resultados similares en las tareas de predicción de 18 biomarcadores pan-cáncer y en las tareas de predicción de la carga de mutaciones tumorales (TMB) pan-cáncer, lo que muestra la solidez y generalización del modelo en diferentes conjuntos de datos.
Además de la predicción de mutaciones, Prov-GigaPath se destacó en tareas de subtipificación del cáncer, superando a los modelos de última generación en la subtipificación de nueve tipos principales de cáncer. Las mejoras sustanciales en el rendimiento subrayan la eficacia de combinar incrustaciones de mosaicos locales con información contextual global a nivel de diapositiva utilizando LongNet.
Prov-GigaPath también exploró el procesamiento de visión y lenguaje alineando imágenes de patología con informes textuales asociados. El modelo logró los mejores resultados de clasificación de tiro cero en tareas de subtipificación de cáncer de pulmón de células no pequeñas (CPCNP) y adenocarcinoma colorrectal (COADREAD) en comparación con tres modelos patológicos de visión y lenguaje de última generación. Esto indica la ventaja de la alineación a nivel de diapositivas habilitada por LongNet, aprovechando datos clínicos del mundo real sobre otras fuentes de datos como Twitter (X).
Conclusiones
El estudio destacó el potencial de Prov-GigaPath para mejorar el diagnóstico clínico y el apoyo a las decisiones en patología digital. Su escalabilidad y adaptabilidad la convierten en una herramienta prometedora para aplicaciones biomédicas más amplias, facilitando un aprendizaje autosupervisado eficiente a partir de imágenes de alta resolución. Prov-Path incluye 1.384.860.229 mosaicos de imágenes de 171.189 diapositivas de patología de aproximadamente 30.000 pacientes, lo que lo hace significativamente más grande que TCGA. GigaPath utiliza LongNet5 para el modelado de contexto ultragrande de WSI de gigapíxeles. Prov-GigaPath demostró un rendimiento de última generación en tareas de patología, subtipificación del cáncer y procesamiento de visión y lenguaje en conjuntos de datos de Providence y TCGA. El éxito del modelo sugiere su aplicabilidad a dominios biomédicos más amplios para un aprendizaje autosupervisado eficiente a partir de imágenes de alta resolución.
2024-05-24 01:06:00
1716514799
#nuevo #modelo #establece #punto #referencia #patología #digital #con #diagnóstico #superior #del #cáncer
