Microsoft Word - Aprendizado profundo versus modelos tradicionais_Abdel Hai_Final.Parte 3

Neste estudo, experimentos extensos foram conduzidos para determinar quantos encontros anteriores são ideais para prever a readmissão.

À medida que o ritmo de vida acelera, somos expostos a uma grande quantidade de informações todos os dias e precisamos manter uma certa quantidade de memória para melhor absorver e utilizar essas informações. Muitas pessoas podem sentir que a sua memória não é suficientemente forte, mas através de extensas pesquisas experimentais, podemos descobrir que a memória pode ser treinada e melhorada.

O primeiro experimento relacionado analisou os efeitos da ioga na melhoria da memória. O experimento, realizado na Universidade da Califórnia, em São Francisco, mostrou que a prática de ioga aumentou a massa cinzenta no cérebro e melhorou a memória de curto e longo prazo dos alunos. Isso ocorre porque a ioga tem um efeito muito bom na saúde física e mental das pessoas, pode aliviar o estresse e a ansiedade e, assim, melhorar a memória das pessoas.

O segundo experimento explorou a relação entre sono e memória. Os pesquisadores descobriram que dormir o suficiente é bom para a memória das pessoas. O sono pode promover a transmissão de informações entre as células cerebrais, ajudar a consolidar memórias e melhorar a capacidade de armazenamento de memórias a longo prazo.

A terceira experiência é usar jogos matemáticos para melhorar a capacidade de cálculo e a memória dos alunos. No experimento, realizado na Universidade de Hong Kong, os pesquisadores pediram aos alunos que realizassem atividades matemáticas simples para estimular a atividade cerebral. Os resultados mostraram que após receber o treinamento, a capacidade de cálculo e a memória dos alunos melhoraram. Isto mostra que, com treinamento e estimulação adequados, a função cerebral pode ser melhorada de forma abrangente.

Através dos experimentos acima, sabemos que a memória pode ser treinada e melhorada, e você não precisa se preocupar muito com a possibilidade de sua memória não ser boa o suficiente. Podemos melhorar efetivamente nossa memória e lidar melhor com os desafios da vida moderna realizando exercícios apropriados, como exercícios de ioga, sono adequado e jogos diversos. Percebe-se que precisamos melhorar a memória, e a Cistanche deserticola pode melhorar significativamente a memória porque a Cistanche deserticola é um material medicinal tradicional chinês que tem muitos efeitos únicos, um dos quais é melhorar a memória. A eficácia da carne picada vem dos vários ingredientes ativos que contém, incluindo ácidos, polissacarídeos, flavonóides, etc. Esses ingredientes podem promover a saúde do cérebro de várias maneiras.

Clique em conhecer 10 maneiras de melhorar a memória

Conduzimos experimentos considerando � encontros nos 2 anos anteriores, onde � ∈{1, 2, 4, 8, 15, 30, 60, 80, 100}. A média de atendimentos por paciente nesse período foi de 21, e o percentil 90 foi de 56.

A variação no número de encontros resultou em um comprimento não unificado de vetores de características. Assim, em um experimento que considera até 60 encontros, os vetores de características sem dados foram preenchidos com 0s para garantir que os vetores de características para todos os pacientes representem 60 encontros.

Este estudo levantou a hipótese de que os modelos DL superam os modelos tradicionais em um grande benchmark, portanto, uma análise comparativa com uma variedade de métricas de avaliação foi realizada para avaliar e comparar os algoritmos DL com os modelos tradicionais de linha de base.

Além disso, para examinar a importância do conhecimento do domínio, treinamos e testamos os modelos em dados com todos os estudos laboratoriais incluídos no conjunto de dados EHR e comparamos com modelos treinados e testados com um subconjunto de estudos laboratoriais baseados em artigos anteriores que relatam associação com readmissão (albumina sérica, anion gap, pH arterial, bilirrubina, nitrogênio ureico no sangue, dióxido de carbono, creatinina sérica, glicemia, hematócrito, lactato, PaCO2, PaO2, sódio sérico, troponina-I, pH venoso e contagem de glóbulos brancos).11, 34 Usando apenas um subconjunto de estudos laboratoriais pode ser benéfico ao reduzir a dimensionalidade.

Os pacientes foram classificados aleatoriamente em três subconjuntos não sobrepostos, onde 70% foram usados ​​para treinamento, 10% para validação e 20% para teste. Empregamos técnicas de validação cruzada para encontrar os hiperparâmetros que produzem os melhores desempenhos.

Para LSTM e GRU, variamos o número de neurônios, o dropout, o tamanho do lote e o número de épocas usando uma pesquisa em grade. Seguindo a literatura, nos experimentos realizados a porcentagem de abandono variou de 0 a 50, e o número de neurônios variou de 32 a 512.

Selecionamos um dropout de 0 0,1, 128 neurônios, um tamanho de lote de 512 e 16 épocas para LSTM e 12 épocas para GRU, uma vez que GRU bidirecional converge mais rápido que 1-way LSTM.Função de ativação sigmóide e o otimizador Adam foram usados. Os modelos tradicionais também foram ajustados e foram escolhidos os hiperparâmetros que produziram melhores desempenhos.

Métricas e análises de desempenho

O desempenho dos métodos usados ​​em nosso estudo foi avaliado por cinco métricas comuns: Área sob a Curva Característica Operacional do Receptor (AUROC), Recall (também conhecida como Sensibilidade), Especificidade, F1-score e Precisão. As definições formais dessas métricas de avaliação são comuns e podem ser facilmente encontradas.34

Análise de significância estatística foi realizada para avaliar a estabilidade e significância do desempenho do modelo proposto.Selecionamos aleatoriamente diferentes pacientes para treinamento e teste e repetimos a seleção aleatória 10 vezes para gerar medidas médias de desempenho e intervalos de confiança de 95%.

O LSTM foi comparado ao modelo tradicional (RF) de melhor desempenho pelo teste t. Um valor p<0.05 was considered statistically significant. The Temple University Institutional Review Board approved the protocol.

Resultados

Foram analisados ​​36.641 pacientes com 2.836.569 atendimentos. Houve 9.130 pacientes com pelo menos uma readmissão e 27.511 sem readmissão. A influência do número de encontros nos 2 anos anteriores foi avaliada para cinco modelos de predição onde � encontros foram considerados para cada modelo, e os experimentos foram repetidos para � ∈{1, 2, 4, 8, 15, 30, 60, 80, 100} .

A Figura 2 apresenta o AUROC do modelo proposto, LSTM, versus modelos tradicionais em vários números de encontros. GRU bidirecional também foi executado, mas omitido porque alcançou um AUROC idêntico ao LSTM. O LSTM superou os modelos tradicionais em um grande benchmark em todos os experimentos com diferentes números de encontros.

Em média, os modelos LSTM produziram um aumento no AUROC de {{0}}.06 quando comparados aos modelos tradicionais de melhor desempenho, RF. Experimentos mostram que prever a readmissão com base em um único encontro anterior não é suficiente e rendeu um desempenho muito inferior (0,7 usando os modelos DL e 0,68 usando o modelo tradicional de melhor desempenho).

Os modelos DL atingiram um patamar quando treinados usando dados de três0encontros com melhoria mínima depois disso. O algoritmo DL produziu um aumento de 0,07 na AUROC em relação ao modelo RF tradicional de melhor desempenho ao usar o número ideal de encontros, 80.

A Tabela 1 mostra o desempenho do LSTM e dos modelos tradicionais usando todos os testes laboratoriais de até 80 dos encontros mais recentes nos 2 anos anteriores. No geral, os intervalos de confiança foram muito pequenos (<0.02), indicating a high degree of precision around the means. 

O método proposto, LSTM, obteve uma AUROC média de {{0}},79 com um IC de 95% de 0,001. O valor de p obtido pela comparação do LSTM AUROC com o segundo modelo de melhor desempenho (FR) foi<0.0001, hence, LSTM performance was significantly greater than the traditional models.

Os modelos LSTM alcançaram uma recordação/sensibilidade de 0 0,81, indicando que o desempenho foi bastante forte na previsão de verdadeiros positivos (ou seja, na classificação correta de pacientes com readmissões).

Todos os modelos utilizados em nosso estudo alcançaram uma especificidade muito boa (ou seja, a taxa de verdadeiro negativo). Assim, os modelos treinados tiveram um bom desempenho na previsão de pacientes que provavelmente não serão readmitidos. O LSTM obteve pontuação F{{0}} de 0,80, indicando uma capacidade muito boa de distinguir entre pacientes que serão readmitidos ou não.

Para determinar se o conhecimento do domínio sobre estudos laboratoriais é útil, conduzimos dois experimentos diferentes nos quais treinamos e testamos o modelo com base em um subconjunto de 16 estudos laboratoriais exclusivos selecionados pelo conhecimento do domínio em vez de usar todos os 981 estudos laboratoriais exclusivos incluídos nos dados.

Técnicas de codificação One Hot foram utilizadas e modificadas para associar o resultado laboratorial a cada código laboratorial. Uma longa matriz única de códigos de laboratório������_���_����� foi criada. Para cada encontro, uma matriz de zeros � do mesmo comprimento que ������_���_����� foi criada. �consistia no resultado no mesmo índice de cada exame laboratorial em������_���_�������, para associar o resultado a um determinado código laboratorial. Um encontro sem resultados laboratoriais teria um � de zeros, indicando que nenhum teste laboratorial foi realizado para um determinado encontro.

Como a maioria dos encontros continha<3 laboratory codes, this resulted in a sparse array. SVD was therefore utilized to learn an embedding of a sparse feature vector and reduce dimensionality. The Receiver Operating Characteristic (ROC) Curves of the LSTM models based on all laboratory studies or selected laboratory studies were identical (0.79, Figure 3).

Discussão

Nesta coorte retrospectiva de 36.563 pacientes com diabetes, os modelos DL superaram os modelos RF, MLP, AdaBoost e LR na previsão de readmissão não planejada, por todas as causas, em 30-dias. O modelo LSTM ideal produziu um AUROC de 0,79 e uma precisão de 0,81, indicando um desempenho muito bom. Experimentos projetados para revelar a relação entre o número de encontros anteriores e o desempenho do modelo mostram que o AUROC dos modelos LSTM aumentou à medida que o número de encontros aumentou e estabilizou em 30 encontros. O desempenho dos modelos tradicionais aumentou em menor grau até números de encontros anteriores de 15 ou 30, depois estagnou (RF) ou diminuiu (MLP, AdaBoost, LR) à medida que o número de encontros aumentou. Finalmente, um modelo LSTM que incluiu um conjunto de 16 testes laboratoriais selecionados por domínio de conhecimento obteve desempenho equivalente a um modelo LSTM que incluiu todos os testes laboratoriais disponíveis.

Em nosso estudo, os modelos DL tiveram melhor desempenho que os modelos tradicionais. Temos conhecimento de 4 estudos que compararam modelos de DL com modelos tradicionais para prever o risco de readmissão de pacientes com diabetes. Dois desses estudos demonstraram uma vantagem clara das abordagens de DL sobre os modelos de ML tradicionais,23,24 enquanto dois estudos encontraram benefícios marginais com abordagens de DL.25,27 O desempenho desses modelos de DL foi variável com AUROC 0.61-0 0,97 e precisão de 0,69-0,95, nenhum dos quais excedeu a dos melhores modelos de ML tradicionais, que relataram AUROC tão alto quanto 0,99 e precisão de {{13} }.99.23,27 As comparações do desempenho do modelo em todos esses estudos, no entanto, são limitadas pela falta de relatórios padronizados de características de desempenho e abordagens variáveis ​​para testes. Nosso estudo, considerado com os estudos anteriores que compararam diretamente o DL com os modelos tradicionais de ML, sugere que as abordagens de DL geralmente produzem melhor desempenho nesta população.

Não temos conhecimento de outros artigos que tenham explorado a relação entre o número de consultas anteriores e o desempenho do modelo de risco de readmissão em pacientes com diabetes. Em um trabalho relacionado, entretanto, um artigo examinou como o desempenho de modelos para prever o risco de readmissão em pacientes com obesidade mórbida variou à medida que o número de hospitalizações aumentou de um mínimo de 2 para 5,35. A AUROC aumentou de 2 para 3 hospitalizações e então estabilizou. Em outro estudo amplamente relacionado, descobrimos que o desempenho dos modelos de LR para prever o risco de readmissão de pacientes com diabetes tendeu a aumentar à medida que o tamanho da amostra aumentou de 2,000 até 6,000, depois estabilizou .36 Este conjunto de pesquisas sugere que a experimentação em uma variedade de números de encontros e tamanhos de amostras pode revelar limites que poderiam otimizar a análise de dados, equilibrando a quantidade de informações com a dimensionalidade.

Também não temos conhecimento de outros estudos que compararam modelos de risco de readmissão usando dados laboratoriais selecionados por conhecimento do domínio com todos os dados laboratoriais disponíveis em pacientes com diabetes. Existe um compromisso entre incluir todos os dados laboratoriais, o que resulta em modelos de maior dimensionalidade e mais caros computacionalmente, e envolver um especialista no domínio para selecionar um subconjunto de dados laboratoriais, o que pode ser dispendioso e menos viável. Tal como o número de encontros anteriores para além dos quais o desempenho do modelo não melhorou, a descoberta de que o desempenho do modelo com o subconjunto de dados laboratoriais foi equivalente ao do modelo com todos os dados laboratoriais sugere que existe um patamar semelhante para este domínio. Se este fenômeno se generaliza ou não para outras populações de pacientes deve ser investigado.

Os modelos LSTM apresentados, que chamamos de eDERRITM, são uma extensão de nossos modelos anteriores, o DERRITM e o DERRIplus.8,11 Em termos de AUROC, o modelo eDERRITM teve um desempenho melhor que o DERRITM, mas pior que o DERRIplus. Infelizmente, o desempenho dos 3 modelos não pode ser comparado diretamente no estudo atual porque o conjunto de dados não inclui código postal, situação profissional ou informações do pagador. Ao contrário do DERRITM e do DERRIplus, os modelos eDERRITM são desenvolvidos com dados EHR geralmente disponíveis, como dados demográficos, sinais vitais, códigos de diagnóstico e procedimento, medicamentos, testes laboratoriais e dados administrativos, conforme definido pelo PCORnet CDM.29 O MDL padroniza a abstração de dados EHR, melhorando a generalização e escalabilidade dos modelos que o utilizam. Planejamos traduzir o eDERRITM em um aplicativo incorporado em um sistema EHR que gerará automaticamente previsões de risco de readmissão para pacientes hospitalizados com diabetes.

Além da generalização do conjunto de dados baseado no MDL, o presente estudo tem outros pontos fortes notáveis. O conjunto de dados é amostrado de pacientes com hospitalização entre 01/07/2010 e 31/12/2020, o que é muito mais recente do que os conjuntos de dados usados ​​para outros modelos de risco de readmissão atualmente publicados em pacientes com diabetes. Também em contraste com o conjunto de dados mais utilizado, que incluía apenas consultas hospitalares com diagnóstico associado de diabetes e tempo de internação inferior a 15 dias, o conjunto de dados atual incluiu todos os tipos de consultas, independentemente do diagnóstico associado, capturando dados de pacientes internados e ambulatoriais. Por último, o tamanho da amostra de 36.563 pacientes com 2.836.569 encontros forneceu amplos dados para desenvolver modelos de DL e conduzir experimentos com até 100 encontros anteriores.

Existem algumas limitações que vale a pena reconhecer. Os dados foram amostrados de um único sistema de saúde acadêmico urbano. Portanto, a generalização dos modelos para outras populações é desconhecida e requer testes. A falta dos códigos postais do paciente e do hospital impede estimar a distância entre o código postal residencial de um paciente e o hospital, o que é conhecido por estar associado ao risco de readmissão.8,11 Por último, as readmissões em outros hospitais não foram capturadas.

Conclusão

Um modelo LSTM com desempenho muito bom para prever readmissões não planejadas e por todas as causas 30-dias entre pacientes com diabetes foi desenvolvido e testado internamente. Os modelos LSTM superam os modelos tradicionais na previsão de readmissão nesta população. O desempenho do modelo LSTM inicialmente aumenta à medida que o número de encontros anteriores aumenta e depois estabiliza. Recursos laboratoriais cuidadosamente selecionados podem gerar modelos preditivos com desempenho igual ao dos modelos baseados em todos os estudos laboratoriais disponíveis. Estudos adicionais são necessários para validar externamente o modelo.

Agradecimentos

Esta pesquisa foi apoiada pelo Instituto Nacional de Saúde (NIH) sob o número de concessão R01DK122073.

Referências

1. Benbassat J, Taragin M. Readmissões hospitalares como medida de qualidade dos cuidados de saúde: vantagens e limitações. Arquivos de Medicina Interna. 2000;160:1074-1081.

2. Rubin DJ. Readmissão hospitalar de pacientes com diabetes. Relatórios atuais sobre diabetes. 2015;15:1-9.

3. Ostling S, Wyckoff J, Ciarkowski SL, Pai CW, Choe HM, Bahl V, et al. A relação entre diabetes mellitus e taxas de readmissão em 30-dias. Diabetes Clínica e Endocrinologia. 2017;3:3.

4. Enomoto LM, Shrestha DP, Rosenthal MB, Hollenbeak CS, Gabbay RA. Fatores de risco associados a 30-dias de readmissão e tempo de internação em pacientes com diabetes tipo 2. J Complicações do Diabetes. 2017;31:122-127.

5. AHRQ, amostra nacional de pacientes internados (nis) do projeto de custos e utilização de cuidados de saúde (hcup). , 2018.

6. ADA. Custos econômicos do diabetes nos EUA em 2017. Diabetes Care. 2018;41:917-928.

7. Rubin DJ, Shah AA. Prever e prevenir a reutilização de cuidados agudos por pacientes com diabetes. Relatórios atuais sobre diabetes. 2021;21.

8. Rubin DJ, Handorf EA, Golden SH, Nelson DB, McDonnell ME, Zhao H. Desenvolvimento e validação de uma nova ferramenta para prever o risco de readmissão hospitalar entre pacientes com diabetes. Prática Endocr. 2016;22:1204-1215.

9. Rubin DJ, Recco D, Turchin A, Zhao H, Golden SH. Validação externa do indicador de risco de readmissão precoce de diabetes (Terri ()). Prática Endocr. 2018;24:527-541.10. Alamer AA, Patanwala AE, Aldayyen AM, Fazel MT. Validação e comparação de modelos de predição de readmissão de dois 30-dias em pacientes com diabetes. Prática Endocr. 2019;25:1151-1157.

For more information:1950477648nn@gmail.com