Objective: To evaluate the consistency and objectivity of deep neural networks in embryo scoring and making disposition decisions for biopsy and cryopreservation in comparison to grading by highly trained embryologists.
Design: Prospective double-blind study using retrospective data.
Setting: U.S.-based large academic fertility center.
Patients: Not applicable.
Intervention(s): Embryo images (748 recorded at 70 hours postinsemination [hpi]) and 742 at 113 hpi) were used to evaluate embryologists and neural networks in embryo grading. The performance of 10 embryologists and a neural network were also evaluated in disposition decision making using 56 embryos.
Main outcome measures: Coefficients of variation (%CV) and measures of consistencies were compared.
Results: Embryologists exhibited a high degree of variability (%CV averages: 82.84% for 70 hpi and 44.98% for 113 hpi) in grading embryo. When selecting blastocysts for biopsy or cryopreservation, embryologists had an average consistency of 52.14% and 57.68%, respectively. The neural network outperformed the embryologists in selecting blastocysts for biopsy and cryopreservation with a consistency of 83.92%. Cronbach's α analysis revealed an α coefficient of 0.60 for the embryologists and 1.00 for the network.
Conclusions: The results of our study show a high degree of interembryologist and intraembryologist variability in scoring embryos, likely due to the subjective nature of traditional morphology grading. This may ultimately lead to less precise disposition decisions and discarding of viable embryos. The application of a deep neural network, as shown in our study, can introduce improved reliability and high consistency during the process of embryo selection and disposition, potentially improving outcomes in an embryology laboratory.
Objetivo:: evaluar la consistencia y objetividad de redes neuronales profundas en la valoración de embriones y toma de decisiones de biopsia y criopreservación en comparación con la valoración por parte de embriólogos altamente entrenados.
Diseño:: Estudio prospectivo doble ciego utilizando datos retrospectivos.
Escenario:: Centro de fertilidad académico de Estados Unidos.
Pacientes:: No aplica.
Intervenciones:: Imágenes de embriones (748 registradas a las 70 horas post inseminación (hpi) y 724 a las 113 horas post hpi) fueron utilizadas para evaluar a los embriólogos y a las redes neuronales profundas en la valoración de embriones. El desempeño de 10 embriólogos y de redes neuronales profundas también fue evaluado en la toma de decisiones utilizando 56 embriones.
Medidas de resultado principal:: Se compararon coeficientes de variación (%CV) y medidas de consistencia.
Resultados:: Los embriólogos presentaron un alto grado de variabilidad (promedio de %CV: 82.84% y 44.98%) en la valoración de los embriones. Al seleccionar los blastocistos para biopsia o criopreservación, los emrbriólogos tuvieron un promedio de consistencia de 52.14% y 57.68%, respectivamente. La red neuronal tuvo un desempeño superior al de los embriólogos al seleccionar blastocistos para biopsia o criopreservación con una consistencia de 83.92%. Un análisis de Cronbach reveló un coeficiente α de 0.60 para los emrbriólogos y 1.00 para la red.
Conclusiones:: Los resultados de nuestro estudio muestran un alto grado de variabilidad intra e inter embri_ologo al valorar los embriones, probablemente debido a la naturaleza subjetiva de la valoración morfológica tradicional. Esto podría llevar a decisiones menos precisas y a descartar embriones viables. La aplicación de una red neuronal profunda, como se muestra en nuestro estudio, puede introducer una fiabilidad mejorada y alta consistencia durante el proceso de selección de embriones y disposición, potencialmente mejorando los resultados en un laboratorio de embriología.
Keywords: Convolutional neural networks; deep-learning; embryo assessment; machine learning.
Copyright © 2019 The Authors. Published by Elsevier Inc. All rights reserved.