目录
- 1.scala 中处理多线程解决方案
- 2.scala 与 java 在多线程对比
- 3.scala actor 多线程完成 wordcount 程序
1.scala 中处理多线程解决方案
scala 2.10.x 之前使用 actor；
scala 2.11 之后使用 akka；
Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制；
Scala是运用消息的发送、接收来实现多线程的，使用Scala能够更容易地实现多线程应用的开发。
scala 执行顺序：
- 首先调用start()方法启动Actor
- 调用start()方法后其act()方法会被执行
- 向Actor发送消息
发送消息的方式：
| ! |
发送异步消息，没有返回值。 |
| !? |
发送同步消息，等待返回值。 |
| !! |
发送异步消息，返回值是 Future[Any]。 |
2.scala 与 java 在多线程对比
在Java中，它的多线程实现需要对共享资源（变量、对象等）使用synchronized 关键字进行代码块同步、对象锁互斥等。而且，常常一大块的try…catch语句块中加上wait方法、notify方法、notifyAll方法是让人很头疼的。原因就在于Java中多数使用的是可变状态的对象资源，对这些资源进行共享来实现多线程编程的话，控制好资源竞争与防止对象状态被意外修改是非常重要的，而对象状态的不变性也是较难以保证的。
在Scala中，我们可以通过复制不可变状态的资源（即对象，Scala中一切都是对象，连函数、方法也是）的一个副本，再基于Actor的消息发送、接收机制进行并行编程。
3.scala actor 多线程完成 wordcount 程序
需求： 用actor并发编程写一个单机版的WorldCount，将多个文件（c盘下多个文件）作为输入，计算完成后将多个任务汇总，得到最终的结果。
方案： 思路如下
- 单个线程完成单个文件的局部统计 result ，即相当于mr 中 combiner ，
- 最后在进行结果的汇总 finalResult ，即相当于mr 中 reduce。
import java.io.File
import scala.actors.{Actor, Future}
import scala.collection.mutable
import scala.io.Source
class Task extends Actor {
override def act(): Unit = {
loop {
react {
case SubmitTask(fileName) => {
val contents = Source.fromFile(new File(fileName)).mkString
val arr = contents.split("\r\n")
val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.length)
//val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.foldLeft(0)(_ + _._2))
sender ! ResultTask(result)
}
case StopTask => {
exit()
}
}
}
}
}
object WorkCount {
def main(args: Array[String]) {
val files = Array("c://words.txt", "c://words.log")
val replaySet = new mutable.HashSet[Future[Any]]
val resultList = new mutable.ListBuffer[ResultTask]
for(f <- files) {
val t = new Task
val replay = t.start() !! SubmitTask(f)
replaySet += replay
}
while(replaySet.size > 0){
val toCumpute = replaySet.filter(_.isSet)
for(r <- toCumpute){
val result = r.apply()
resultList += result.asInstanceOf[ResultTask]
replaySet.remove(r)
}
Thread.sleep(100)
}
val finalResult = resultList.map(_.result).flatten.groupBy(_._1).mapValues(x => x.foldLeft(0)(_ + _._2))
println(finalResult)
}
}
case class SubmitTask(fileName: String)
case object StopTask
case class ResultTask(result: Map[String, Int])
|