Previsão conforme - Conformal prediction

A previsão conforme é uma forma de avaliar a incerteza de uma previsão a partir de um modelo de aprendizado de máquina . Ele faz isso criando valores α usando uma subparte do conjunto de dados total denominado conjunto de calibração. No Mondrian Conformal Prediction, esses valores α são calibrados para sua verdadeira classe e classificados por tamanho. Quando um novo ponto de dados é executado no modelo, ele também obtém um valor alfa. Um valor p é então calculado para cada uma das classes, indicando o quão bem ele está em conformidade com as previsões anteriores. O valor p é condicional à proporção de valores alfa em que o valor alfa da amostra de teste é maior do que para esta classe. Se um valor p for grande o suficiente, a classe correspondente será incluída na saída. O limite é 1 menos a taxa de erro, também chamada de significância . Desta forma, a taxa de erro pode ser definida. Onde normalmente um modelo de aprendizado de máquina supervisionado teria sua variação na taxa de erro, mas sempre fornece uma classe, na previsão conforme a variação está no número de classes geradas.

Teoria

A Predição Conformada foi proposta pela primeira vez por Vovk et.al em 2005. Um tutorial por Vovk e Shafter foi publicado em 2008. Os dados devem ser confirmados por alguns padrões, como cada ponto de dados sendo IID. Para predição conforme, uma região de predição de n % é considerada válida se a verdade for parte da saída n % do tempo. A eficiência é o tamanho da saída. Para classificação, isso significa o número de classes, enquanto para modelo de regressão se refere ao intervalo de saída.

Para as formas mais puras de predição conforme é feita para uma seção online (transdutiva). Isso significa que presume-se que, uma vez que um rótulo tenha sido previsto com um conjunto de confiança, seu verdadeiro rótulo será conhecido antes da próxima previsão. O modelo subjacente pode, portanto, ser treinado novamente usando este novo ponto de dados e a próxima previsão será feita em um conjunto de calibração contendo n + 1 pontos de dados, onde o modelo anterior tinha n pontos de dados.

Predição conformada indutiva (ICP)

A Predição Conformada Indutiva foi inicialmente conhecida como Máquinas de Confiança Indutiva, mas mais tarde foi reintroduzida como ICP. Ele ganhou popularidade em ambientes práticos, pois o modelo subjacente não precisa ser retreinado para cada novo exemplo de teste. Isso o torna interessante para qualquer modelo pesado de treinar, como redes neurais.

Predição conformada indutiva de Mondrian (MICP)

No MICP, os valores alfa dependem da classe (mondrian) e o modelo sublinhado não segue a configuração online original introduzida em 2005.

A estrutura básica da previsão conforme sendo implementada em um Preditor Conformal Mondrian Indutivo é:

  1. Treine um modelo de aprendizado de máquina (MLM)
  2. Execute um conjunto de calibração por meio do MLM, salve a saída do estágio escolhido
    1. Em uma configuração de aprendizado profundo, os valores de softmax são frequentemente usados
  3. Usar uma função não conformidade para gerar α -Valores
    1. Um ponto de dados no conjunto de calibração resultará em valores α para sua verdadeira classe
  4. Para um ponto de dados de teste gerar um novo alfa -Valores
  5. Encontre um valor p para cada classe do ponto de dados
  6. Se o valor p for maior do que o nível de significância, inclua a classe na saída

Campos de aplicação

Modelos de aprendizado de máquina

Vários modelos de aprendizado de máquina diferentes podem ser usados ​​em conjunto com a Predição conforme. Estudos têm mostrado que ele pode ser aplicado a, por exemplo , redes neurais convolucionais , máquinas de vetores de suporte e muito mais.

Dados usados

A previsão conformada é aplicada em uma variedade de campos e uma área ativa de pesquisa. Por exemplo, a biotecnologia tem sido usada para prever incertezas no câncer de mama , riscos de derrame e muito mais. Dentro da tecnologia da linguagem, os artigos de previsão conformados são apresentados rotineiramente no COPA.

Conferências

A previsão conforme é um dos principais assuntos discutidos durante a conferência COPA a cada ano. Tanto a teoria quanto as aplicações de previsões conformes são apresentadas por líderes da área. A conferência acontece desde 2012. Ela foi sediada em vários países europeus, incluindo Grécia, Grã-Bretanha, Itália e Suécia.

Referências

  1. ^ a b c Vovk, Vladimir (2005). Aprendizagem algorítmica em um mundo aleatório . A. Gammerman, Glenn Shafer. Nova York: Springer. ISBN 978-0-387-00152-4. OCLC  209818494 .
  2. ^ a b c Toccaceli, Paolo; Gammerman, Alexander (01/03/2019). "Combination of inductive mondrian conformal preditors" . Aprendizado de máquina . 108 (3): 489-510. doi : 10.1007 / s10994-018-5754-9 . ISSN  1573-0565 .
  3. ^ Norinder, Ulf; Carlsson, Lars; Boyer, Scott; Eklund, Martin (23/06/2014). "Apresentando a Predição Conformada na Modelagem Preditiva. Uma Alternativa Transparente e Flexível para Determinação do Domínio de Aplicabilidade" . Journal of Chemical Information and Modeling . 54 (6): 1596–1603. doi : 10.1021 / ci5001168 . ISSN  1549-9596 .
  4. ^ Alvarsson, Jonathan; McShane, Staffan Arvidsson; Norinder, Ulf; Spjuth, Ola (2021-01-01). "Predicting With Confidence: Using Conformal Prediction in Drug Discovery" . Journal of Pharmaceutical Sciences . 110 (1): 42–49. doi : 10.1016 / j.xphs.2020.09.055 . ISSN  0022-3549 . PMID  33075380 .
  5. ^ a b c Vovk, Vladimir; Shafer, Glenn (03/08/2008). "Um tutorial sobre previsão conformada". Journal of Machine Learning Research . 9 : 371–421.
  6. ^ Papadopoulos, Harris; Proedrou, Kostas; Vovk, Volodya; Gammerman, Alex (2002). Elomaa, Tapio; Mannila, Heikki; Toivonen, Hannu (eds.). "Máquinas de confiança indutiva para regressão" . Aprendizado de máquina: ECML 2002 . Notas de aula em Ciência da Computação. Berlin, Heidelberg: Springer: 345-356. doi : 10.1007 / 3-540-36755-1_29 . ISBN 978-3-540-36755-0.
  7. ^ Papadopoulos, Harris; Haralambous, Haris (2010). Diamantaras, Konstantinos; Duch, Wlodek; Iliadis, Lazaros S. (eds.). "Preditor Conformal Indutivo de Regressão de Redes Neurais e sua Aplicação à Predição de Conteúdo Eletrônico Total" . Redes neurais artificiais - ICANN 2010 . Notas de aula em Ciência da Computação. Berlin, Heidelberg: Springer: 32-41. doi : 10.1007 / 978-3-642-15819-3_4 . ISBN 978-3-642-15819-3.
  8. ^ Papadopoulos, Harris; Vovk, Volodya; Gammerman, Alex (outubro de 2007). "Predição conformada com redes neurais" . 19ª Conferência Internacional IEEE sobre Ferramentas com Inteligência Artificial (ICTAI 2007) . 2 : 388–395. doi : 10.1109 / ICTAI.2007.47 .
  9. ^ Lambrou, A .; Papadopoulos, H .; Gammerman, A. (novembro de 2009). "Evolutionary Conformal Prediction for Breast Cancer Diagnosis" . 2009 9ª Conferência Internacional sobre Tecnologia da Informação e Aplicações em Biomedicina : 1–4. doi : 10.1109 / ITAB.2009.5394447 .
  10. ^ Lambrou, Antonis; Papadopoulos, Harris; Kyriacou, Efthyvoulos; Pattichis, Constantinos S .; Pattichis, Marios S .; Gammerman, Alexander; Nicolaides, Andrew (2010), Papadopoulos, Harris; Andreou, Andreas S .; Bramer, Max (eds.), "Assessment of Stroke Risk Based on Morphological Ultrasound Image Analysis with Conformal Prediction" , Artificial Intelligence Applications and Innovations , Berlin, Heidelberg: Springer Berlin Heidelberg, 339 , pp. 146-153, doi : 10.1007 / 978-3-642-16239-8_21 , ISBN 978-3-642-16238-1, recuperado em 2021-09-15
  11. ^ a b "10º Simpósio sobre Predição Conformal e Probabilística com Aplicações (COPA 2021)" . cml.rhul.ac.uk . Página visitada em 2021-09-15 .