sparkSQL 错误输出

我使用的是spark1.5.0,下面是我的代码，输出应该就是1000，但是经常输出错误，请教下这是BUG么？

case class data(id:Int,name:Int)
val tmp=(1 to 1000) zip (1 to 1000)
tmp.map(x=>data(x._1,x._2)).toDF.registerTempTable("test_table")
sqlContext.sql("select * from (select *,row_number() over(partition by id order by id DESC)rank from test_table)tmp where rank=1").count

easthome001 · 发表于 2016-2-18 11:28:38

这肯定不是bug的。计算机是我们的老师。只要善用，一切问题都可以自己解决。

交给楼主一个办法，适用于很多情况
sqlContext.sql("select * from (select *,row_number() over(partition by id order by id DESC)rank from test_table)tmp where rank=1").count

下面sql其实很复杂。那么我们可以对他们进行拆分
首先下面应该是比较好判断的，只要懂sql就没有问题的。
sqlContext.sql(" select * from test_table ").count

然后在演变
sqlContext.sql(" select * ,row_number() over(partition by id order by id DESC)rank from test_table ").count

推测结果

然后在演变。
最后找到问题的原因