Postagens

Mostrando postagens de Maio, 2018

Instalando o Apache Spark e utilizando o Spark Shell

Imagem
Olá pessoal, hoje iremos conhecer e instalar a ferramenta para processamento de dados Apache Spark, esta é uma ferramenta que atualmente vem sendo muito utilizada em ambientes de manipulação de grande quantidade de dados.

O Que é BigData BigData é com certeza uma das palavras mais faladas em tecnologia nos últimos anos, e com isso temos diferentes significados espalhados pelas mais variadas fontes, mas basicamente BigData pode ser resumido em: Volume: Grande quantidade de dados;Variedade: Dados variados, sendo de tipos e fontes diferentes;Velocidade: Dados crescendo/aumentando em alta velocidade. Quando manipulamos uma grande quantidade de dados, começam a surgir desafios do mesmo tamanho, tais como performancecapacidadearmazenamentoescalabilidade, entre outros, e para esses novos desafios foram surgindo várias ferramentas, entre elas: Hadoop, Spark, NoSQL, Hive, entre outras.

Conhecendo o Spark Como falamos anteriormente o Apache Spark foi uma dessas ferramentas que surgiram par…