No entanto, embora esse cliente dependa de dados para todas as linhas de negócios, eles descobriram que os relatórios em lote com dados em repouso não eram confiáveis, eram caros e não permitiam reatividade em tempo real. Seu sistema geralmente oferecia relatórios desatualizados sobre o estoque, afetando sua cadeia de fornecedores global, as operações logísticas e, por fim, seus clientes.
Eles decidiram adotar uma estrutura do Kafka no local para aproveitar os dados em tempo real. Eles descobriram rapidamente, no entanto, que o Kafka de código aberto não é apenas um desafio de implementar, mas também requer manutenção em tempo integral e gerenciamento de infraestrutura. Isso resultou em dificuldade de dimensionamento e nenhum suporte do Kafka para seu caminho para a nuvem.
Um arquiteto de TI e CTO de uma das linhas de serviço do cliente explicou: "Um dos desafios do Kafka era sua complexidade operacional. Tivemos que alocar muitos de nossos valiosos recursos técnicos e conhecimentos para cuidar dele e mantê-lo funcionando. Também não é um sistema de dados nativo de nuvem, portanto, não era possível escalar e lidar com os volumes de dados que precisávamos processar."