Purpose: The optimal method for monitoring intensive care unit (ICU) performance is unknown. We sought to compare process control charts using standardized mortality ratio (SMR), p-charts, and cumulative sum (CUSUM) charts for detecting increases in risk-adjusted mortality within ICUs.
Methods: Using data from 17 medical-surgical ICUs that included 29,592 patients in Ontario, Canada, we created risk-adjusted p-charts and SMRs on monthly intervals and CUSUM charts. We defined positive signals as any data point that was above the 3-sigma limit (approximating a 99% confidence interval [CI]) on a p-chart, any data point whose 95% CI did not include 1 for the SMR charts, and when a data point exceeded control limits for an odds ratio of 1.5 for CUSUM charts. We simulated increases in mortality of 10%, 30%, and 50% for each ICU to determine the sensitivity of each method. We calculated sensitivity as the number of positive signals divided by the number of ICUs (equal to number of simulated events).
Results: Cumulative sum charts generated 31 signals in 12 different ICUs, while p-charts and SMR agreed in 10 and 6 of these signals, respectively, followed by 21 signals from p-charts across 14 ICUs (agreement in 10 of these signals for both CUSUM and SMR) and 15 signals from SMR charts across eight ICUs (agreement from p-charts and CUSUM in 10 and six signals, respectively). The p-chart had a sensitivity of 88% (95% CI, 73 to 104) for a 50% simulated increase in ICU mortality followed by CUSUM at 71% (95% CI, 49 to 102) and SMR at 59% (95% CI, 35 to 82). Performance with lower simulated increases was poor for all three methods.
Conclusions: P-charts created with risk-adjusted mortality at monthly intervals are potentially useful tools for monitoring ICU performance. Future studies should consider usability testing with ICU leaders and application of these methods to additional clinical domains.
RéSUMé: OBJECTIF: La méthode optimale pour surveiller le rendement des unités de soins intensifs (USI) n’est pas connue. Nous avons cherché à comparer les graphiques de contrôle des procédés à l’aide du taux de mortalité standardisé (TMS), des graphiques de p et des cartes à somme cumulée pour détecter les augmentations de la mortalité ajustées au risque dans les unités de soins intensifs. MéTHODE: À l’aide des données de 17 unités de soins intensifs médico-chirurgicaux comprenant 29 592 patient·es en Ontario, au Canada, nous avons créé des graphiques de p ajustés au risque et des TMS à intervalles mensuels, ainsi que des cartes à somme cumulée. Nous avons défini les signaux positifs comme tout point de données qui était au-dessus de la limite de 3-sigma (approximant un intervalle de confiance [IC]) à 99 % sur un graphique de p, tout point de données dont l’IC à 95 % n’incluait pas 1 pour les graphiques TMS, et quand un point de données dépassait les limites de contrôle pour un rapport de cotes de 1,5 pour les cartes à somme cumulée. Nous avons simulé des augmentations de la mortalité de 10 %, 30 % et 50 % pour chaque USI afin de déterminer la sensibilité de chaque méthode. Nous avons calculé la sensibilité comme le nombre de signaux positifs divisé par le nombre d’USI (égal au nombre d’événements simulés). RéSULTATS: Les cartes à somme cumulée ont généré 31 signaux dans 12 USI différentes, tandis que les graphiques de p et les TMS concordaient pour 10 et 6 de ces signaux, respectivement, suivis de 21 signaux des graphiques en p pour 14 USI (concordance pour 10 de ces signaux pour les cartes à somme cumulée et les TMS) et de 15 signaux des TMS pour huit unités de soins intensifs (concordance des graphiques en p et des cartes à somme cumulée pour 10 et six signaux, respectivement). Le graphique de p avait une sensibilité de 88 % (IC 95 %, 73 à 104) pour une augmentation simulée de 50 % de la mortalité à l’USI, suivie de la carte à somme cumulée à 71 % (IC 95 %, 49 à 102) et du TMS à 59 % (IC 95 %, 35 à 82). Les performances avec des augmentations simulées plus faibles étaient médiocres pour les trois méthodes. CONCLUSION: Les graphiques de p créés avec la mortalité ajustée au risque à intervalles mensuels sont des outils potentiellement utiles pour la surveillance de la performance des USI. Les études futures devraient porter sur les tests d’utilisabilité avec les responsables des USI et l’application de ces méthodes à d’autres domaines cliniques.
Keywords: intensive care unit (ICU); mortality; quality; standardized mortality ratio; statistical process control.
© 2024. The Author(s).