nextuser 发表于 2017-9-14 14:39 我是保存在了zk中 |
fengfengda 发表于 2017-9-14 14:29 看checkpoint是如何实现的。如下面红字部分便是存储目录 val data = sc.textFile("/tmp/spark/1.data").cache() // 注意要cache sc.setCheckpointDir("/tmp/spark/checkpoint") data.checkpoint data.count |
fengfengda 发表于 2017-9-14 14:24 是写到了磁盘的哪个地方 |
nextuser 发表于 2017-9-14 14:21 使用的是checkpoint |
本帖最后由 nextuser 于 2017-9-14 14:22 编辑 可能有两点 1.线程数不够 2.是否使用checkpoint 1.线程数不够 开了几个线程 SparkConf conf = new SparkConf().setAppName("SparkStreamingPollDataFromFlume").setMaster("local[2]"); 配置SparkConf: * 1,至少2条线程:因为Spark Streaming应用程序在运行的时候,至少有一条 * 线程用于不断的循环接收数据,并且至少有一条线程用于处理接受的数据(否则的话无法 * 有线程用于处理数据,随着时间的推移,内存和磁盘都会不堪重负); 2.如果使用checkpoint,一些数据会定期写到磁盘 |