用户组:游客
太阳能电池片颜色深浅不一,需要按颜色进行分档分类,在只有极少量标签的情况下,只能使用深度学习中的无监督或半监督来完成,目 ...
想请教一下,为什么说 不论怎么调参数,都不能让多个小文件“划入”一个 split ?
当我的NameNode启动后,运行状态是Running,虽然pid在这里,但是这个服务是否是可用的健康状态呢?这个可用的健康状态要怎么确定 ...
1.Spark中默认的序列化方式?2.配置kryo序列化? 3.合理的设置序列化参数? 序列化有时是shuffle和cache的瓶颈 ...
问题导读 1.如何进行资源参数调优?2.有哪些调优技巧? 所谓Spark资源参数调优,其实主要就是 ...
比如 用户借款表:字段{状态、逾期天数、利息等字段}, 这些字段每天都会更新,因为一些特别的原因,可能还会删除一些记录。 ...
继互联网引起第三次工业革命以后,以大数据驱动的人工智能技术正推动第四次工业革命。下述为杨强教授针对人工智能与大数据的一点 ...
之前用过hbase,当时因为没有设计好表,后来数据量上来了之后,花费了很大时间才把表重新分区了。 当时的rowkey设计是:uid+date ...
苦逼的数据工作,在里面沉陷, 试着做了一个小小的雏形工具: 1、导入杂乱信息的文档 2、把线头理出来 3、批量提取: ...
看到今日头条的广告投放平台,可以选择各种维度的用户定向条件,并根据不同的条件组合实时给出预估覆盖用户量,感觉把各种维度组 ...
前辈好: 一个shell脚本看不明白,如下: tail -n +$(tail -n1 /root/nnn) -F /root/data/web.log | awk 'ARGIN ...
大数据的概念已经在全社会普及,所有的企业都在鼓吹自己的大数据如何如何,好像不跟大数据沾点边就跟不上时代发展一样。 在我看 ...
刚接触hadoop多租户,网上查了很多,资料好少啊。论坛的大佬们有谁做过的吗?多多指教啦~,分享些资料或者链接,说说想法也是可 ...
/** * 使用jedis操作redis需要jedis-2.1.0.jar * 使用Redis连接池,还需commons-pool-1.5.4.jar * 内容描述:操作redis ...
在本地windows环境中使用eclipse连接阿里云来进行hadoop和hbase的开发,老是遇到很多问题,不知道用IntelliJ IDEA会怎么样,配合 ...
我用eclipse配置hadoop的MapReduce开发环境,成功! 现在用eclipse配置spark的开发,java开发环境,提示错误如下。一直找不到ma ...
本帖最后由 redhat1986 于 2014-12-30 15:49 编辑 http://www.aboutyun.com/thread-7881-1-1.html 在此博主的基础上我补充几 ...
本版积分规则 发表帖子
查看 »