À medida que as organizações recolhem conjuntos de dados maiores com potenciais insights sobre a atividade empresarial, a deteção de dados anómalos ou discrepantes nestes conjuntos de dados é essencial para descobrir ineficiências, eventos raros, a causa raiz dos problemas ou oportunidades para melhorias operacionais. Mas o que é uma anomalia e por que detectá-la é importante?
Os tipos de anomalias variam de acordo com a empresa e a função comercial. A detecção de anomalias significa simplesmente definir padrões e métricas “normais” — com base em funções e objetivos de negócios — e identificar pontos de dados que estão fora do comportamento normal de uma operação. Por exemplo, um tráfego acima da média em um site ou aplicativo durante um determinado período pode sinalizar uma ameaça à segurança cibernética; nesse caso, você desejaria um sistema que pudesse acionar automaticamente alertas de detecção de fraude. Também pode ser apenas um sinal de que uma determinada iniciativa de marketing está funcionando. As anomalias não são inerentemente ruins, mas estar ciente delas e ter dados para contextualizá-las é essencial para compreender e proteger o seu negócio.
O desafio para os departamentos de TI que trabalham em ciência de dados é entender a expansão e a constante mudança dos pontos de dados. Neste blog, veremos como as técnicas de aprendizado de máquina, alimentadas por inteligência artificial, são aproveitadas para detectar comportamento anômalo por meio de três métodos diferentes de detecção de anomalias: detecção de anomalia supervisionada, detecção de anomalia não supervisionada e detecção de anomalia semissupervisionada.
Aprendizagem supervisionada
As técnicas de aprendizagem supervisionada usam dados de entrada e saída do mundo real para detectar anomalias. Esses tipos de sistemas de detecção de anomalias exigem que um analista de dados rotule os pontos de dados como normais ou anormais para serem usados como dados de treinamento. Um modelo de aprendizado de máquina treinado com dados rotulados será capaz de detectar valores discrepantes com base nos exemplos dados. Este tipo de aprendizado de máquina é útil na detecção de valores discrepantes conhecidos, mas não é capaz de descobrir anomalias desconhecidas ou prever problemas futuros.
Algoritmos comuns de aprendizado de máquina para aprendizado supervisionado incluem:
Algoritmo K-vizinho mais próximo (KNN): Este algoritmo é um classificador baseado em densidade ou ferramenta de modelagem de regressão usada para detecção de anomalias. A modelagem de regressão é uma ferramenta estatística usada para encontrar a relação entre dados rotulados e dados variáveis. Funciona supondo que pontos de dados semelhantes serão encontrados próximos uns dos outros. Se um ponto de dados aparecer mais distante de uma seção densa de pontos, isso será considerado uma anomalia. Fator discrepante local (LOF): O fator discrepante local é semelhante ao KNN por ser um algoritmo baseado em densidade. A principal diferença é que enquanto o KNN faz suposições com base em pontos de dados mais próximos, o LOF usa os pontos mais distantes para tirar suas conclusões.
Aprendizagem não supervisionada
As técnicas de aprendizagem não supervisionadas não requerem dados rotulados e podem lidar com conjuntos de dados mais complexos. O aprendizado não supervisionado é alimentado por aprendizado profundo e redes neurais ou codificadores automáticos que imitam a forma como os neurônios biológicos sinalizam entre si. Essas ferramentas poderosas podem encontrar padrões a partir de dados de entrada e fazer suposições sobre quais dados são percebidos como normais.
Essas técnicas podem ajudar muito na descoberta de anomalias desconhecidas e na redução do trabalho de triagem manual de grandes conjuntos de dados. No entanto, os cientistas de dados devem monitorizar os resultados recolhidos através da aprendizagem não supervisionada. Como essas técnicas fazem suposições sobre os dados que estão sendo inseridos, é possível que rotulem anomalias incorretamente.
Os algoritmos de aprendizado de máquina para dados não estruturados incluem:
K-means: Este algoritmo é uma técnica de visualização de dados que processa pontos de dados por meio de uma equação matemática com a intenção de agrupar pontos de dados semelhantes. “Médias”, ou dados médios, referem-se aos pontos no centro do cluster aos quais todos os outros dados estão relacionados. Através da análise de dados, esses clusters podem ser usados para encontrar padrões e fazer inferências sobre dados que são considerados fora do comum.
Floresta de isolamento: Este tipo de algoritmo de detecção de anomalias utiliza dados não supervisionados. Ao contrário das técnicas supervisionadas de detecção de anomalias, que funcionam a partir de pontos de dados normais rotulados, esta técnica tenta isolar anomalias como o primeiro passo. Semelhante a uma “floresta aleatória”, ele cria “árvores de decisão”, que mapeiam os pontos de dados e selecionam aleatoriamente uma área para análise. Esse processo se repete e cada ponto recebe uma pontuação de anomalia entre 0 e 1, com base em sua localização em relação aos demais pontos; valores abaixo de 0,5 são geralmente considerados normais, enquanto valores que excedem esse limite têm maior probabilidade de serem anômalos. Modelos de floresta de isolamento podem ser encontrados na biblioteca gratuita de aprendizado de máquina para Python, scikit-learn.
Máquina de vetores de suporte de classe única (SVM): esta técnica de detecção de anomalias usa dados de treinamento para estabelecer limites em torno do que é considerado normal. Os pontos agrupados dentro dos limites definidos são considerados normais e os que estão fora são rotulados como anomalias.
Aprendizagem semissupervisionada
Os métodos semissupervisionados de detecção de anomalias combinam os benefícios dos dois métodos anteriores. Os engenheiros podem aplicar métodos de aprendizagem não supervisionados para automatizar a aprendizagem de recursos e trabalhar com dados não estruturados. No entanto, ao combiná-lo com a supervisão humana, eles têm a oportunidade de monitorar e controlar que tipo de padrões o modelo aprende. Isso geralmente ajuda a tornar as previsões do modelo mais precisas.
Regressão linear: esta ferramenta preditiva de aprendizado de máquina usa variáveis dependentes e independentes. A variável independente é usada como base para determinar o valor da variável dependente por meio de uma série de equações estatísticas. Estas equações utilizam dados rotulados e não rotulados para prever resultados futuros quando apenas algumas das informações são conhecidas.
Casos de uso de detecção de anomalias
A detecção de anomalias é uma ferramenta importante para manter as funções de negócios em vários setores. A utilização de algoritmos de aprendizagem supervisionada, não supervisionada e semissupervisionada dependerá do tipo de dados coletados e do desafio operacional a ser resolvido. Exemplos de casos de uso de detecção de anomalias incluem:
Casos de uso de aprendizagem supervisionada:
Varejo
O uso de dados rotulados dos totais de vendas do ano anterior pode ajudar a prever metas de vendas futuras. Também pode ajudar a definir benchmarks para funcionários de vendas específicos com base em seu desempenho anterior e nas necessidades gerais da empresa. Como todos os dados de vendas são conhecidos, os padrões podem ser analisados para obter insights sobre produtos, marketing e sazonalidade.
Previsão do tempo
Ao usar dados históricos, algoritmos de aprendizagem supervisionada podem auxiliar na previsão de padrões climáticos. A análise de dados recentes relacionados à pressão barométrica, temperatura e velocidade do vento permite aos meteorologistas criar previsões mais precisas que levam em conta as mudanças nas condições.
Casos de uso de aprendizagem não supervisionada:
Sistema de detecção de intrusão
Esses tipos de sistemas vêm na forma de software ou hardware, que monitoram o tráfego da rede em busca de sinais de violações de segurança ou atividades maliciosas. Algoritmos de aprendizado de máquina podem ser treinados para detectar possíveis ataques a uma rede em tempo real, protegendo as informações do usuário e as funções do sistema.
Esses algoritmos podem criar uma visualização do desempenho normal com base em dados de série temporal, que analisa pontos de dados em intervalos definidos por um período prolongado de tempo. Picos no tráfego de rede ou padrões inesperados podem ser sinalizados e examinados como possíveis violações de segurança.
Fabricação
Garantir que as máquinas estejam funcionando corretamente é crucial para fabricar produtos, otimizar a garantia de qualidade e manter as cadeias de abastecimento. Algoritmos de aprendizagem não supervisionados podem ser usados para manutenção preditiva, obtendo dados não rotulados de sensores conectados ao equipamento e fazendo previsões sobre possíveis falhas ou mau funcionamento. Isto permite que as empresas façam reparos antes que ocorra uma avaria crítica, reduzindo o tempo de inatividade da máquina.
Casos de uso de aprendizagem semissupervisionada:
Médico
Usando algoritmos de aprendizado de máquina, os profissionais médicos podem rotular imagens que contenham doenças ou distúrbios conhecidos. No entanto, como as imagens variam de pessoa para pessoa, é impossível identificar todas as potenciais causas de preocupação. Uma vez treinados, esses algoritmos podem processar informações do paciente e fazer inferências em imagens não rotuladas e sinalizar possíveis motivos de preocupação.
Detecção de fraude
Algoritmos preditivos podem usar aprendizagem semissupervisionada que requer dados rotulados e não rotulados para detectar fraudes. Como a atividade do cartão de crédito de um usuário é rotulada, ela pode ser usada para detectar padrões de gastos incomuns.
Contudo, as soluções de detecção de fraude não dependem apenas de transações anteriormente rotuladas como fraudulentas; eles também podem fazer suposições com base no comportamento do usuário, incluindo localização atual, dispositivo de login e outros fatores que exigem dados não rotulados.
Observabilidade na detecção de anomalias
A detecção de anomalias é alimentada por soluções e ferramentas que proporcionam maior observabilidade dos dados de desempenho. Estas ferramentas permitem identificar rapidamente anomalias, ajudando a prevenir e remediar problemas. O IBM® Instana™ Observability aproveita a inteligência artificial e o aprendizado de máquina para fornecer a todos os membros da equipe uma imagem detalhada e contextualizada dos dados de desempenho, ajudando a prever com precisão e solucionar erros de forma proativa.
IBM watsonx.ai™ oferece uma poderosa ferramenta de IA generativa que pode analisar grandes conjuntos de dados para extrair insights significativos. Por meio de análises rápidas e abrangentes, o IBM watson.ai pode identificar padrões e tendências que podem ser usados para detectar anomalias atuais e fazer previsões sobre valores discrepantes futuros. Watson.ai pode ser usado em vários setores para diversas necessidades de negócios.
Explore a observabilidade do IBM Instana Explore o IBM watsonx.ai
