Apache Spark

De BIGDATA
Aller à : navigation, rechercher

Apache Spark est un framework originellement écrit en Scala permettant de réaliser des opérations de façon distribué selon le paradigme MapReduce. Son abstraction de base est le RDD pour Resilient Distributed Dataset sur lequel vont s'effectuer les différentes opérations de Map et de Reduce.

La grande force de Spark est d'être capable de mettre les RDD en mémoire vive, le gain de temps devient considérable sur des algorithmes utilisant de manière itérative un même jeu de données.