Mineração de texto para evitar erros nas decisões de negócio

Como análise de dados não estruturados economizou alguns milhares de dólares ao corrigir um erro de duplicidade de nomes cadastrais de produtos.

Uma empresa enfrentou um desafio bastante comum: seus métodos de análise de dados estavam levando a conclusões distorcidas e decisões incorretas. Mais especificamente, um erro de interpretação dos nomes cadastrais de produtos comprometeu a análise das preferências dos consumidores. Conheça o caso de detalhes aparentemente triviais no universo corporativo, onde uma imprecisão pouco visível pode desviar o curso estratégico. Vamos explorar como correções sutis nos processos de gestão de dados para análise BI podem influenciar as decisões que afetam resultados empresariais.

“Text mining” – a tecnologia de análise de dados não estruturados

A mineração de textos, ou “text mining”, é uma das frentes do processamento de linguagem natural (PLN). Em suma, no âmbito corporativo ela transforma grandes quantidades de texto em insights valiosos nos processos variados. Esta tecnologia se aplica em diversos contextos, de extração de entidades e análise de sentimentos até sumarização e extração de conhecimento.

Exemplos de uso incluem :  

• extração de informações relevantes de currículos para ajudar os recrutadores a identificar candidatos que atendem a critérios específicos;
• análise de sentimentos para entender grandes volumes comentários de clientes em mídias sociais, feedbacks em pesquisas ou enxergar as menções da marca online;
• análise de log de atendimento para otimizar respostas automáticas em chatbots e serviços de atendimento ao cliente;
• análise de atas de reunião para extrair pontos-chave, decisões e ações a serem tomadas. Isso economiza tempo e garante que informações importantes não sejam perdidas ou esquecidas;
• análise na área de compliance para processar grandes volumes de documentos financeiros e jurídicos e garantir a conformidade com normas e regulamentos;
• análise de contratos para extrair termos-chave, cláusulas e obrigações. Isso facilita a revisão e o gerenciamento de contratos, reduzindo o risco de erros e omissões;
• análise em gestão de conhecimento para organizar os documentos internos e criar uma base de conhecimento – fonte única e integrada;
• análise de publicações setoriais, relatórios de mercado e notícias para identificar tendências emergentes de mercado e ajustar suas estratégias de acordo.

Combatendo duplicidade invisível e a realidade distorcida

A empresa em questão estava analisando a popularidade de produtos em seu catálogo. Neste processo, um erro no processamento de itens (SKUs – Stock Keeping Units) criou uma visão distorcida. Aconteceu que os mesmos produtos com algumas ligeiras diferenças na escrita dos seus nomes eram contabilizados como itens distintos.

O resultado de pequenas e muitas vezes imperceptíveis ao olho humano diferenças foi a interpretação errada da demanda do mercado. Pois esta falha apontava o uísque como um dos produtos mais procurados entre todos os produtos de consumo existentes no Brasil. O resultado era correto em termos de cálculo, mas estranho para o bom senso. A gestão da empresa solicitou uma análise alternativa da nossa equipe.

Para solucionar o caso, implementamos um processo de mineração de texto. Recorremos ao processamento de linguagem natural com o intuito de identificar as diferenças sucintas, identificar as entradas duplicadas, normalizar e padronizar os nomes dos produtos. Neste caso, os métodos clássicos (relativamente rápidos e baratos) de aprendizagem de máquina já bastaram. Não precisamos recorrer aos mais complexos e caros métodos de aprendizagem profunda.

A classificação correta revelou uma realidade muito diferente. Itens como carne, arroz, leite, fraldas e azeite estavam no topo da procura pelo consumidor brasileiro. Assim, o erro corrigido forneceu uma visão adequada para a tomada de decisão.

Problema de manutenção de cadastros

No assunto de manutenção de cadastros a duplicidade, tanto de produtos quanto de clientes, nunca é um detalhe sem importância. Não é segredo que cadastros duplicados são um problema comum e impactam tanto a operação, quanto as análises adequadas operacionais e decisões corporativas. Mesmo em empresas sem histórico de fusões e aquisições, com uma boa gestão e regras claras de cadastramento, duplicidades podem ocorrer.

Essa situação tende a se agravar em organizações que passaram por fusões, mudanças significativas de equipe, ou que carecem de processos robustos. A consequência? No nosso caso, os dados inconsistentes levaram a análise de demanda imprecisa.

São várias as empresas especializadas em soluções complexas de gestão de cadastros no mercado. Nos seus pacotes de serviços, elas oferecem integração com ERP, governança de dados e classificação fiscal automatizada. Essas soluções são voltadas normalmente ao setor enterprise com grandes volumes de dados e com sistemas complexos. Por outro lado, para empresas menores e startups, o alto custo, a complexidade excessiva e a necessidade de equipes de TI especializadas tornam essas soluções pouco práticas. Assim, as empresas menores procuram as opções mais acessíveis e escaláveis, que se alinhem melhor com suas necessidades operacionais e estágio de crescimento.

Desafio de dados não estruturados

Embora o Excel seja uma ferramenta básica nas análises corporativas, suas funções têm limitações significativas quando se trata de manipular dados não estruturados.

Antes de tudo, essas funções exigem que os dados estejam em tabelas. Diferentemente, os dados em formato de texto são intrinsecamente irregulares, sem um formato padrão.

Além disso, os dados não estruturados requerem ferramentas e técnicas específicas, como a mineração de texto. Em outras palavras, é necessário usar as técnicas específicas que podem identificar padrões, tendências e insights. São raros os casos quando as empresas menores possuem o conhecimento técnico em tecnologias mais sofisticadas necessárias para manipular esses tipos de dados.

Em resumo, enquanto o Excel é valioso para tarefas diárias e estruturadas, ele nem sempre é adequado para enfrentar o crescente volume e complexidade dos dados não estruturados no ambiente corporativo moderno das empresas, mesmo menores.

O perigo dos erros invisíveis

Para complicar mais ainda, a estatística apresentada, apesar de tecnicamente correta, pode ser enganosa sem a devida interpretação inteligente.

No caso que descrevemos, um erro do resultado foi bastante evidente ao olho de um gestor experiente com bom senso crítico. Mas o que fazer quando os erros não forem tão explícitos? E se o apreciador não tiver expertise no domínio do relatório? Uma abordagem crítica da análise é vital, mas nem sempre é viável ou disponível. 

Nas empresas maiores ou com a cultura de análise mais evoluída, as pessoas analistas passam a utilizar ferramentas como PowerBi ou bibliotecas Python. Essas oferecem algumas possibilidades de trabalho melhor com dados textuais. No entanto, a área de PLN é vasta e precisa de conhecimento a parte para conseguir análises eficazes de textos.

É aqui que a tecnologia de IA, particularmente o processamento de linguagem natural, se torna um recurso diferenciado. PLN oferece soluções eficazes para identificar e corrigir duplicidades, mesmo quando essas têm caráter difuso, impossíveis de identificar com métodos de Excel. 

A tecnologia de processamento de linguagem natural e mineração de texto facilita a padronização de dados e vai além. Em cenários onde a compreensão humana é limitada ou enviesada, inconsistências passam despercebidas na tomada de decisões empresariais. PLN e aplicações de aprendizado de máquina, quando utilizadas corretamente, oferecem uma visão objetiva e detalhada por conseguirem capturar nuances na linguagem.

Análises corporativas avançadas integram texto e dados não estruturados para insights mais profundos

O caso desta empresa ilustra como a análise inteligente de texto pode ser uma ferramenta vital para as empresas. A mineração de texto consegue salvar recursos e garantir que as decisões sejam baseadas em uma compreensão mais precisa dos dados. Afinal, na era digital, a integração da IA na análise de dados não é só vantajosa. A precisão e a inteligência por trás da interpretação dos dados que a operação gera diariamente são cruciais para o sucesso empresarial. Se corretamente usadas, elas garantem que a realidade, e não apenas números, guie as suas decisões de negócios.