Detecção de anomalia - Anomaly detection

Parte de uma série sobre
Aprendizado de máquina e mineração de dados
Problemas Classificação Clustering Regressão Detecção de anomalia Limpeza de Dados AutoML Regras de associação Aprendizagem por reforço Previsão estruturada Engenharia de recursos Aprendizagem de recursos Aprendizagem online Aprendizagem semissupervisionada Aprendizagem não supervisionada Aprendendo a classificar Indução gramatical
Aprendizagem supervisionada ( classificação  • regressão ) Árvores de decisão Conjuntos Ensacamento Boosting Floresta aleatória k -NN Regressão linear Baías ingénuas Redes neurais artificiais Regressão logística Perceptron Máquina de vetor de relevância (RVM) Máquina de vetores de suporte (SVM)
Clustering BÉTULA CURA Hierárquico k- significa Expectativa-maximização (EM) DBSCAN ÓPTICA Mudança média
Redução de dimensionalidade Análise Fatorial CCA ICA LDA NMF PCA PGD t-SNE
Previsão estruturada Modelos gráficos Rede Bayes Campo aleatório condicional Markov Oculto
Detecção de anomalia k -NN Fator de outlier local
Rede neural artificial Autoencoder Computação cognitiva Aprendizagem profunda DeepDream Perceptron multicamadas RNN LSTM GRU ESN Máquina de Boltzmann restrita GAN SOM Rede neural convolucional U-Net Transformador Spiking rede neural Memtransistor RAM eletroquímica (ECRAM)
Aprendizagem por reforço Q-learning SARSA Diferença temporal (TD)
Teoria Compensação de polarização-variância Teoria de aprendizagem computacional Minimização de risco empírico Aprendizagem Occam Aprendizagem PAC Aprendizagem estatística Teoria VC
Locais de aprendizado de máquina NeurIPS ICML ML JMLR ArXiv: cs.LG
Artigos relacionados Glossário de inteligência artificial Lista de conjuntos de dados para pesquisa de aprendizado de máquina Esboço do aprendizado de máquina
v t e

Parte de uma série sobre
Segurança da informação
Categorias de segurança relacionadas
Segurança informática Segurança automotiva Cibercrime Tráfico de cibersexo Fraude de computador Cybergeddon Terrorismo cibernético Cyberwarfare Guerra eletronica Guerra de informação Segurança da Internet Segurança para celulares Segurança de rede Proteção contra cópia Gestão de direitos digitais
Ameaças
Adware Ameaça persistente avançada Execução arbitrária de código Backdoors Backdoors de hardware Injeção de código Crimeware Cross-site scripting Malware de criptojacking Botnets Violação de dados Download drive-by objetos auxiliares do navegador Crime virtual Vírus Raspagem de dados Negação de serviço Espionagem Fraude de email Spoofing de e-mail Exploits Keyloggers Bombas lógicas Bombas-relógio Bombas fork Bombas zip Discadores fraudulentos Malware Carga útil Phishing Motor polimórfico Escalada de privilégios Ransomware Rootkits Bootkits Scareware Shellcode Spamming Engenharia social (segurança) Captura de tela Spyware Bugs de software cavalos de Tróia Trojans de hardware Trojans de acesso remoto Vulnerabilidade Conchas da web Limpador Worms injeção SQL Software de segurança desonesto Zumbi
Defesas
Segurança do aplicativo Codificação segura Seguro por padrão Seguro desde a concepção Caso de uso indevido Controle de acesso ao computador Autenticação Autenticação multifator Autorização Software de segurança de computador Software antivírus Sistema operacional focado na segurança Segurança centrada em dados Ofuscação de código Mascaramento de dados Encriptação Firewall Sistema de detecção de intrusão Sistema de detecção de intrusão baseado em host (HIDS) Detecção de anomalia Informações de segurança e gerenciamento de eventos (SIEM) Gateway seguro móvel Autoproteção de aplicativo em tempo de execução
v t e

Na análise de dados , a detecção de anomalias (também detecção de outliers ) é a identificação de itens raros, eventos ou observações que levantam suspeitas por diferirem significativamente da maioria dos dados. Normalmente, os itens anômalos se traduzem em algum tipo de problema, como fraude bancária , defeito estrutural, problemas médicos ou erros em um texto. As anomalias também são chamadas de outliers , novidades, ruídos, desvios e exceções.

Em particular, no contexto de abuso e detecção de intrusão de rede , os objetos interessantes geralmente não são objetos raros , mas picos inesperados de atividade. Esse padrão não segue a definição estatística comum de um outlier como um objeto raro, e muitos métodos de detecção de outlier (em particular os métodos não supervisionados) falharão em tais dados, a menos que tenham sido agregados apropriadamente. Em vez disso, um algoritmo de análise de cluster pode ser capaz de detectar os microclusters formados por esses padrões.

Existem três categorias amplas de técnicas de detecção de anomalias. As técnicas de detecção de anomalias não supervisionadas detectam anomalias em um conjunto de dados de teste não rotulado sob a suposição de que a maioria das instâncias no conjunto de dados são normais, procurando por instâncias que parecem se ajustar menos ao restante do conjunto de dados. As técnicas de detecção de anomalias supervisionadas requerem um conjunto de dados rotulado como "normal" e "anormal" e envolve o treinamento de um classificador (a principal diferença para muitos outros problemas de classificação estatística é a natureza desequilibrada inerente da detecção de valores discrepantes). Técnicas de detecção de anomalia semissupervisionada constroem um modelo que representa o comportamento normal de um determinado conjunto de dados de treinamento normal e, em seguida, testam a probabilidade de uma instância de teste ser gerada pelo modelo utilizado.

Formulários

A detecção de anomalias é aplicável em uma variedade de domínios, como detecção de intrusão , detecção de fraude , detecção de falha, monitoramento da integridade do sistema, detecção de eventos em redes de sensores, detecção de distúrbios no ecossistema e detecção de defeitos em imagens usando visão de máquina . Geralmente é usado no pré - processamento para remover dados anômalos do conjunto de dados. No aprendizado supervisionado , a remoção dos dados anômalos do conjunto de dados geralmente resulta em um aumento estatisticamente significativo na precisão.

Técnicas populares

Diversas técnicas de detecção de anomalias foram propostas na literatura. Algumas das técnicas populares são:

• Técnicas baseadas em densidade ( k-vizinho mais próximo , fator de outlier local , florestas de isolamento e muitas outras variações deste conceito).
• Detecção de outliers baseada em subespaço, correlação e tensor para dados de alta dimensão.
• Máquinas de vetores de suporte de uma classe .
• Redes neurais replicadoras ., Autoencoders , autoencoders variacionais, redes neurais de memória de curto prazo longa
• Redes bayesianas .
• Modelos ocultos de Markov (HMMs).
• Determinante de covariância mínima
• Detecção de outliers baseada em análise de cluster .
• Desvios das regras de associação e conjuntos de itens frequentes.
• Detecção de outliers baseada em lógica difusa.
• Técnicas de ensemble , usando feature bagging , score normalization e diferentes fontes de diversidade.

O desempenho de diferentes métodos depende muito do conjunto de dados e parâmetros, e os métodos têm poucas vantagens sistemáticas sobre outros quando comparados em muitos conjuntos de dados e parâmetros.

Aplicação para segurança de dados

A detecção de anomalias foi proposta para sistemas de detecção de intrusão (IDS) por Dorothy Denning em 1986. A detecção de anomalias para IDS é normalmente realizada com limiares e estatísticas, mas também pode ser feita com computação suave e aprendizado indutivo. Os tipos de estatísticas propostas em 1999 incluíam perfis de usuários, estações de trabalho, redes, hosts remotos, grupos de usuários e programas baseados em frequências, médias, variações, covariâncias e desvios-padrão. A contrapartida da detecção de anomalias na detecção de intrusão é a detecção de uso indevido .

Em pré-processamento de dados

Na aprendizagem supervisionada, a detecção de anomalias é frequentemente uma etapa importante no pré-processamento de dados para fornecer ao algoritmo de aprendizagem um conjunto de dados adequado para aprender. Isso também é conhecido como limpeza de dados . Depois de detectar amostras anômalas, os classificadores removem-nas, entretanto, às vezes os dados corrompidos ainda podem fornecer amostras úteis para o aprendizado. Um método comum para encontrar amostras apropriadas para uso é identificar dados ruidosos . Uma abordagem para encontrar valores ruidosos é criar um modelo probabilístico de dados usando modelos de dados não corrompidos e dados corrompidos.

Abaixo está um exemplo do conjunto de dados de flores de íris com uma anomalia adicionada. Com uma anomalia incluída, o algoritmo de classificação pode ter dificuldade em encontrar padrões de maneira adequada ou gerar erros.

Ao remover a anomalia, o treinamento será habilitado para encontrar padrões nas classificações mais facilmente.

Na mineração de dados, os dados de alta dimensão também proporão grandes desafios de computação com conjuntos de dados intensamente grandes. Ao remover várias amostras que podem ser irrelevantes para um classificador ou algoritmo de detecção, o tempo de execução pode ser significativamente reduzido até mesmo nos maiores conjuntos de dados.

Programas

• ELKI é um kit de ferramentas de mineração de dados Java de código aberto que contém vários algoritmos de detecção de anomalias, bem como aceleração de índice para eles.
• Scikit-Learn é uma biblioteca Python de código aberto que possui funcionalidade construída para fornecer detecção de anomalias não supervisionadas.

Conjuntos de dados

• Repositório de dados de referência de detecção de anomalias com conjuntos de dados cuidadosamente escolhidos do Ludwig-Maximilians-Universität München ; Espelho na Universidade de São Paulo .
• ODDS - ODDS: Uma grande coleção de conjuntos de dados de detecção de outlier disponíveis publicamente com informações terrestres em diferentes domínios.
• Referência de detecção de anomalias não supervisionadas em Harvard Dataverse: Conjuntos de dados para detecção de anomalias não supervisionadas com informações reais.
• O Repositório de dados KMASH da Research Data Australia possui mais de 12.000 conjuntos de dados de detecção de anomalias com informações terrestres.

Veja também

• Detecção de mudança
• Controle estatístico do processo
• Detecção de novidade
• Memória temporal hierárquica

Referências