Hadoop: a biblioteca de software Apache Hadoop é uma estrutura que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores usando modelos de programação simples. Em termos simples, o Hadoop é uma estrutura para o processamento de ‘Big Data’. Ele é projetado para escalar de servidores únicos para milhares de máquinas, cada uma oferecendo computação e armazenamento local. Hadoop é um software de código aberto. O núcleo do Apache Hadoop consiste em uma parte de armazenamento, conhecida como Hadoop Distributed File System (HDFS), e uma parte de processamento que é um modelo de programação Map-Reduce. O Hadoop divide arquivos em blocos grandes e os distribui entre nós em um cluster. Em seguida, ele transfere o código empacotado em nós para processar os dados em paralelo. Hadoop foi criado por Doug Cutting e Mike Cafarella em 2005.Splunk: Splunk é um software usado principalmente para pesquisar, monitorar e examinar Big Data gerados por máquina através de uma interface de estilo web. O Splunk realiza a captura, indexação e correlação dos dados em tempo real em um contêiner pesquisável a partir do qual pode produzir gráficos, relatórios, alertas, painéis e visualizações. Splunk é uma ferramenta de monitoramento. O objetivo é criar dados gerados por máquina disponíveis em uma organização e é capaz de reconhecer padrões de dados, produzir métricas, diagnosticar problemas e conceder inteligência para fins de operação de negócios. Splunk é uma tecnologia usada para gerenciamento de aplicativos, segurança e conformidade, bem como análise de negócios e web. Michael Baum, Rob das e Erik Swan fundaram a Splunk em 2003.
Abaixo está uma tabela com as diferenças entre o Hadoop e o Splunk:
| o Recurso | Hadoop | Splunk |
|---|---|---|
| Definição | Hadoop é um produto open source. É uma estrutura que permite armazenar e processar Big data usando HDFs e MapR | Splunk é uma ferramenta de monitoramento em tempo Real. Poderia br para a aplicação, a segurança, o desempenho e a gestão |
| componentes | HDFS – Hadoop sistema de arquivos distribuídos. Mapa reduzir algoritmo. Redutor |
Splunk Indexador Splunk Encaminhador servidor de Implantação |
| Arquitetura | Hadoop arquitetura segue distribuídos de moda e é um mestre do trabalhador arquitetura para transformar e analisar grandes conjuntos de dados | Splunk arquitetura inclui componentes que são responsáveis pela ingestão de dados, indexação e análise de dados. Splunk de implantação pode ser de dois tipo independente e distribuído |
| Relação | Hadoop passa os conjuntos de resultados para o Splunk | Recolha de dados e o processamento será feito pelo hadoop, a visualização dos resultados e relatório será feito pela Splunk |
| Benefícios | Hadoop identifica as informações sobre a cru de dados e ajuda a empresa a fazer boas escolhas. | Splunk dá inteligência operacional para otimizar as operações de TI de custo |
| Características | Flexibilidade rentável Escalabilidade replicação de Dados Muito rápido no processamento de dados |
Splunk coleta e indexa os dados de muitas fontes monitoramento em tempo Real Splunk tem muito poderosa de pesquisa, a capacidade de análise, Splunk suporte a relatórios e alertas Splunk suporta a instalação do software e de serviços em nuvem |
| Produtos | Hortonworks Hadoop Faísca R servidor Interativo de Consulta |
o Splunk Splunk Nuvem Splunk Luz o Splunk de Segurança |
| Projetado para | Domínio Financeiro Detecção de Fraudes e Prevenção |
Criar Painel para analisar o resultado Monitor de métricas de Negócios |
