close

Quero saber mais sobre os produtos e serviços da 3778.

Apenas E-mails corporativos
Apenas E-mails corporativos
Check
Obrigado! Recebemos sua mensagem com sucesso.
Oops! Algo deu errado. Por favor, tente novamente.

Ao preencher o formulário, concordo* em receber comunicações de acordo com meus interesses.

Outliers: os pontos fora da curva

As vezes os outliers são desconcertantes e a existência atrapalha as conclusões (porem usarmos eles como exceção ajuda confirmar a regra)
Outliers: os pontos fora da curva
  • Carregando índice...

Da nossa publicação sobre análise exploratória de dados, uma questão que restou em aberto diz respeito aos famosos outliers. Sim, esses pontos destoantes que vez ou outra aparecem para nos encucar.

Para ilustrar como detectarmos e tratarmos esses casos, vamos utilizar um conjunto de dados públicos pelo Kaggle sobre Contas Médicas (particularmente, esse é um assunto que me interessa bastante e será constante em nossas publicações).

Outliers: O que são?

Traduções de conceitos como "Outliers" às vezes não são perfeitas. Por isso, vou recorrer à seguinte definição:

“Um outlier é uma observação que se diferencia tanto das demais observações que levanta suspeitas de que aquela observação foi gerada por um mecanismo distinto” (Hawkins, 1980).

Outliers: Sempre um erro?

O fato de levantarem suspeita, entretanto, não significa que tais valores atípicos estão inerentemente errados e devam ser sumariamente eliminados.

Pelo contrário, existem situações em que, de fato, os outliers são ocorrências naturais. O nosso dataset é um bom exemplo, já que os pacientes High-Cost são observações que verdadeiramente ocorrem.

Boxplot da distribuição de custo dos pacientes

Além disso, para alguns cenários, os outliers podem ser indicadores úteis e, por isso, devem ser mantidos para o propósito da aplicação. Um bom exemplo é um dos algoritmos que desenvolvemos no Projeto Health Intelligence da 3778, que se propõe a detectar suspeitas de fraudes em contas médicas (não te falei que esse seria um tema constante? Deixaremos para próximas postagens mais detalhamentos):

Plotagem da distribuição de ocorrência e montante de sinistro envolvido na detecção de alguns tipos de suspeita de fraude em contas médicas

Por outro lado, em grande parte das situações, de fato esse será o caso: os outliers são erros artificialmente criados e, portanto, devem ser eliminados (já que, como diria o colega Marcio Gregory, não se faz predição para casos de exceção):

  • Erro de amostragem: ao avaliar a média nas notas em física, normalmente baixas, algumas notas de educação física foram incluídas;
  • Erro ao processar dados: ao fazer o pré-processamento dos dados, pode-se utilizar algum método que crie um outlier;
  • Erro na entrada de dados: erros de digitação ou coleta de informações;
  • Erro de medida: são os mais comuns. Instrumentos danificados ou usados de forma incorreta são fontes constantes de outliers;
  • Erro intencional: ao verificar-se a quantidade de álcool ingerida na última semana em uma classe de jovens, a maior parte, intencionalmente, fornece valores abaixo dos reais. Dessa forma, um jovem que fornece os valores reais aparecerá como um outlier.

Outliers: Qual seu impacto?

Em todo o caso, a simples presença de outliers pode alterar significativamente o conjunto.

Vejam só:

  • Afetam as estatísticas do conjunto, principalmente a média, o desvio-padrão e a amplitude. Afetam menos significativamente o intervalo interquartil e a mediana, motivo pelo qual devem ser utilizados preferencialmente como medidas de tendência central em conjuntos assimétricos.
  • Aumentam a variância do erro e reduzem o poder dos testes estatísticos.
  • Eles podem enviesar ou influenciar estimativas que podem ser de interesse substancial.
  • Eles também podem afetar as suposições básicas de modelos estatísticos.
  • Se os outliers forem distribuídos de forma não aleatória, eles podem diminuir a normalidade.

A título de exemplo, tomemos nosso dataset para verificar a sua descrição estatística, tanto incluindo quanto excluindo os outliers de custo:

Repare na média de custo de 13270.42 e na mediana de 9382.09

Repare na média de custo de 9927,75 e na mediana de 8410,04

Outliers: Como detectar?

Após nosso experimento na seção anterior, você pode estar se perguntando por que cargas d´água, na intenção de descrever o conjunto sem outliers, dropamos os valores de custo maiores que 34489.35, certo?

Ora, isso foi feito porque utilizamos um dos métodos de detecção de outliers, o chamado Método do Intervalo Interquartil. Veja abaixo sobre esse e outro método muito utilizado, o Método do Desvio-Padrão:

1.Método do Intervalo Interquartil:

Em seções anteriores, fizemos questão de plotar um gráfico bastante interessante chamado boxplot. Na figura abaixo, damos mais detalhes de quais são os conceitos envolvidos em sua construção.

Conceitos envolvidos no gráfico de boxblot

Reparem que um dos conceitos centrais para essa construção é justamente o intervalo interquartílico (IQR), usado para medir a dispersão estatística e a variabilidade dos dados, dividindo o conjunto de dados em quartis.

Através desse método, outliers são definidos matematicamente como as observações que estão abaixo (Q1 − 1,5 x IQR) do "bigode inferior" do boxplot ou acima (Q3 + 1,5 x IQR) do "bigode superior" do boxplot.

Em termos de código, utilizemos a seguinte função para facilitar (está aí mais um tema legal de abordarmos em próximos encontros):

Para o nosso cenário, utilizando tal função, teríamos a seguinte detecção:

Valores detectados com o método do intervalo interquatílico para o nosso dataset de contas médicas

2. Método do desvio-padrão:

O desvio padrão é uma métrica de dispersão, demonstrando o quanto os pontos de dados estão espalhados. Em uma distribuição de dados normal ou aproximadamente normal, ocorre um fenômeno em torno da média:

  • cerca de 68% dos valores dos dados estão dentro de um desvio-padrão
  • cerca de 95% dos valores dos dados estão dentro de dois desvios-padrão
  • cerca de 99,7% dos valores dos dados estão dentro de três desvios-padrão
Distribuição normal

Através do método de detecção por desvio-padrão, outliers são definidos matematicamente como as observações que estão desviadas mais ou menos do que 3 desvios-padrão da média.

Em termos de código, utilizemos a seguinte função para facilitar:

Para o nosso cenário, utilizando tal função, teríamos a seguinte detecção:

Coincidentemente, tivemos a mesma conclusão sobre a detecção de outliers utilizando o primeiro e o segundo método. Isso nem sempre será uma verdade e devemos considerar qual método utilizar.

Bem, essas são algumas das estratégias mais simples de detecção de outliers. Mas saiba também que existem muitas outras mais, que, pela complexidade, preferimos abordar em seção à parte. Dentre essas estratégias mais complexas, podemos listar o uso de algoritmos como Isolation Forest e Robust Random Cut Forest.

Em algum momento, depois de galgar os conceitos mais basilares, chegaremos lá. Mas, por ora, nos diga - e aí, qual método de detecção você acha mais intuitivo e aplicaria em nosso conjunto de dados?

Outliers: Como tratar?

Como dissemos em publicação anterior, como cientista de dados, em algum momento sempre teremos que adotar tal ou qual abordagem. No entanto, o mais importante não é exatamente o que adotamos como abordagem, mas o porquê fizemos isso, e como conseguimos justificar tal escolha de forma elegantemente inteligível. É nesse ponto que chegamos quando, uma vez detectados os outliers, temos de decidir como vamos tratá-los.

Naturalmente, essa é uma etapa difícil, mas alguns princípios podem nos guiar. Nesse sentido:

  1. Por um lado, drope os outliers se:
  • Você sabe que é uma observação completamente errada. Por exemplo, não é razoável ter em um dataset um valor de idade de 400 anos para qualquer pessoa, certo?
  • Você tem muitos dados em mãos e algumas dropagens não serão significativas

2. Por outro lado, mantenha os outliers se:

  • Existem muitos outliers. Ora, pode ser que exista um fenômeno subjacente aqui que deve ser investigado, não?
  • Os outliers são o evento de interesse. Foi o caso que exemplificamos com a detecção de fraudes.

Uma vez mantidos, também são possíveis outros tratamentos, por exemplo:

  • Transformação logarítmica: a transformação logarítmica dos dados pode reduzir a variação causada por valores extremos.
  • Tratamento separado: podemos separar os valores em dois grupos e criar modelos individuais.

Gostou? Compartilhe!

Artigos relacionados

RH Inteligente: 6 dicas para aplicar esta tendência

RH Inteligente: 6 dicas para aplicar esta tendência

Desempenhando um papel cada vez mais estratégico, o RH passa a contar com ferramentas de inteligência que o eleva a um novo patamar

Inovação
12
 minutos de leitura
3 dicas para o seu RH reduzir custos usando tecnologia

3 dicas para o seu RH reduzir custos usando tecnologia

Saiba tudo o que a tecnologia pode fazer por você quando o tempo é curto, os dados são muitos e os recursos são escassos

Inovação
11
 minutos de leitura
5 tendências para o RH trazidas pelo pós-pandemia

5 tendências para o RH trazidas pelo pós-pandemia

Mesmo com o fim da pandemia da Covid-19, empresas ao redor do mundo percebem que alguns novos hábitos vieram para ficar e dão o tom da nova

Inovação
8
 minutos de leitura

Assine nossa Newsletter!

Receba informações valiosas sobre a saúde corporativa da sua empresa e dê as boas-vindas à nova era do cuidado

Apenas E-mails corporativos
Verifique o campo de e-mail. Somente serão aceitos e-mails corporativos.
Agradecemos o seu interesse!
A nossa newsletter é publicada semanalmente e enviada para o seu e-mail.
Ops! Algo deu errado ao enviar o formulário.
close
Espero que goste desse artigo. A 3778 pode ajudar a transformar a Saúde da sua empresa. Faça um orçamento para Saúde Ocupacional, Gestão Ambulatorial ou Terceirização em Saúde.