Spark 统计系统解决方案，请教各位。

业务需求：公司搭建一个统计服务器，存放数据。客户登陆统计系统，选择需要统计的数据，和需要什么类型的统计（如方差，标准差等）。然后提交到服务器，把结果返回客户端。

我自己的解决方案： 用spark计算框架，scala语言编写，但是现在有一个问题，我不是学习统计学的，很多统计方法原理都不了解，所以自己编写一个统计方法肯定有难度，spark提供的成熟的统计方法可以满足我的需求吗？

我这个解决方案能成功吗？

个人认为spark是完全可以满足的。
不管有没有算法，spark sql，spark MLLIB应该都是可以的。关键看你用什么思路。
条条大道通罗马。当然具体还需要结合自己的业务，对这二者有一个详细了解，然后再来确定.

比如：
就拿我们传统程序来说，我们统计一个数据。可以通过写代码实现，也可以通过sql实现。

推荐内容
sparkSQL1.1入门线路指导
http://www.aboutyun.com/forum.php?mod=viewthread&tid=9958

about云系列spark入门5：MLlib 介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=14183



更多：
Spark SQL编程指南

http://www.aboutyun.com/forum.php?mod=viewthread&tid=9132



sparkSQL1.1入门之二：sparkSQL运行架构
http://www.aboutyun.com/forum.php?mod=viewthread&tid=12160

SparkSQL入门

http://www.aboutyun.com/forum.php?mod=viewthread&tid=16386


Spark_Mllib_实践与优化_雷宗雄
http://www.aboutyun.com/forum.php?mod=viewthread&tid=18739

Spark MLBase分布式机器学习系统入门：以MLlib实现Kmeans聚类算法

http://www.aboutyun.com/forum.php?mod=viewthread&tid=10817



Spark MLlib系列——程序框架
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8552



Spark MLlib之 KMeans聚类算法详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19745

einhep 发表于 2016-12-29 14:26
个人认为spark是完全可以满足的。
不管有没有算法，spark sql，spark MLLIB应该都是可以的。关键看你用什 ...

感谢楼上的回复，也给了我很多宝贵的资料。主要是我不是学习统计学的，很多统计原理不知道。如果spark提供成熟的方法，或者包就好了，我调用就可以。

cloudcat 发表于 2016-12-29 14:37
感谢楼上的回复，也给了我很多宝贵的资料。主要是我不是学习统计学的，很多统计原理不知道。如果spark提 ...

没有现成的，关于统计的一些文章SparkSQL结合SparkStreaming，通过SQL实现实时计算数据统计
http://www.aboutyun.com/forum.php?mod=viewthread&tid=16529

Spark 1.4为DataFrame新增的统计与数学函数

http://www.aboutyun.com/forum.php?mod=viewthread&tid=13607

Spark算子：统计RDD分区中的元素及数量

http://www.aboutyun.com/forum.php?mod=viewthread&tid=16917



Spark大数据中文分词统计Scala语言工程源码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20476

Spark MLlib Statistics统计
http://www.aboutyun.com/forum.php?mod=viewthread&tid=13054