Apache Spark
De BIGDATA
Révision de 29 janvier 2016 à 14:54 par Bigdata (discussion | contributions)
Apache Spark est un framework originellement écrit en Scala permettant de réaliser des opérations de façon distribué selon le paradigme MapReduce. Son abstraction de base est le RDD pour Resilient Distributed Dataset sur lequel vont s'effectuer les différentes opérations de Map et de Reduce.
La grande force de Spark est d'être capable de mettre les RDD en mémoire vive, le gain de temps devient considérable sur des algorithmes utilisant de manière itérative un même jeu de données.
Use case 1
We use Spark in order to implement a well know clustering algorithm, the mean shift. Results are encouraging and show that if we multiply by 3 the number of nodes in a cluster, we decrease the execution time by 2.
