SimpleApp.scala

De BIGDATA
Révision de 4 mars 2016 à 10:11 par Ghesmoune (discussion | contributions) (Page créée avec « SimpleApp.scala : import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def... »)

(diff) ← Version précédente | Voir la version courante (diff) | Version suivante → (diff)
Aller à : navigation, rechercher
 /* SimpleApp.scala */
 import org.apache.spark.SparkContext
 import org.apache.spark.SparkContext._
 import org.apache.spark.SparkConf
 
 object SimpleApp {
   def main(args: Array[String]) {
     val logFile = "/usr/lib/spark/spark-1.5.2-bin-hadoop2.6/README.md" // Should be some file on your system
     val conf = new SparkConf().setAppName("Simple Application")
     val sc = new SparkContext(conf)
     val logData = sc.textFile(logFile, 2).cache()
     val numAs = logData.filter(line => line.contains("a")).count()
     val numBs = logData.filter(line => line.contains("b")).count()
     println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
   } 
 }