Pular para o conteúdo principal

Postagens

Mostrando postagens de maio, 2018

Instalando o Apache Spark e utilizando o Spark Shell

Olá pessoal, hoje iremos conhecer e instalar a ferramenta para processamento de dados Apache Spark, esta é uma ferramenta que atualmente vem sendo muito utilizada em ambientes de manipulação de grande quantidade de dados. O Que é BigData BigData é com certeza uma das palavras mais faladas em tecnologia nos últimos anos, e com isso temos diferentes significados espalhados pelas mais variadas fontes, mas basicamente BigData pode ser resumido em: Volume:  Grande quantidade de dados; Variedade:  Dados variados, sendo de tipos e fontes diferentes; Velocidade:  Dados crescendo/aumentando em alta velocidade. Quando manipulamos uma grande quantidade de dados, começam a surgir desafios do mesmo tamanho, tais como  performance ,  capacidade ,  armazenamento ,  escalabilidade , entre outros, e para esses novos desafios foram surgindo várias ferramentas, entre elas: Hadoop, Spark, NoSQL, Hive, entre outras. Conhecendo o Spark Como falamos anteriormente o  Apache Spark  foi uma d