立即注册 登录
About云-梭伦科技 返回首页

hyj的个人空间 https://www.aboutyun.com/?2 [收藏] [复制] [分享] [RSS]

日志

分享 java spfa 算法 demo 最短路径双向
2019-5-21 15:47
import java.util.ArrayList; import java.util.HashMap; import java.util.LinkedList; import java.util.List; import java.util.Map; public class MySpfa { public static void main(String ") ); } } //点集合 public int ; if(tt==st){ dist.put(st, 0); / ...
841 次阅读|0 个评论
分享 大数据之进程出现process information unavailable
2019-4-28 20:02
大数据之进程出现process information unavailable
1.在/tmp目录下还有没有这些目录,把所有安装对应进程的客户端都删掉这些文件将爱 2.出现的进程号也删掉 即可解决
774 次阅读|0 个评论
分享 Spark task完成,却一直不结束原因分析
2019-2-15 17:50
经常看到一些老铁问这么个一个问题。 明明我的task已经完成了,为什么作业就是不结束那? 遇到这个问题,如果没有经验,那么最有效的办法就是去跟踪日志。可是很多老铁可能觉得跟踪日志比较麻烦,然后这个问题就根本无法解决了。 这里简单总结下。 其中一个原因可能是Spark与Hadoop相结合,在保存saveAsHadoop ...
1644 次阅读|0 个评论
分享 Spark中executor配置是1G,但是显示大于1G
2018-10-25 14:52
1、spark的内存模型中,如果executor给的内存配置是1G,在yarn的WebUi界面中,内存显示大于1G这是为什么,哪些原因造成的。 回答:yarn对于应用程序所要申请的内存资源,有两个参数来影响实际申请到内存容量: 第一个是yarn.scheduler.minimum-allocation-mb:最小可申请内存量,默认是1024。 第二个是规整化因子( ...
907 次阅读|0 个评论
分享 计算广告与推荐系统有哪些区别?
2015-9-8 19:52
在Facebook工作的时候做的是newsfeed ranking (新鲜事排序),算是一种推荐系统吧,而且newsfeed中也包含了广告(Feed Ads)。说说我的理解。 结论:推荐系统和计算广告是不同维度上的概念。推荐系统是一种技术,广告是一项业务。个性化推荐可以用在广告中,更可以用在别的产品层面。同时,个性化推荐只是计算广告的一 ...
1501 次阅读|0 个评论
分享 hadoop-slave1: nodemanager did not stop gracefully after 5 seconds: killing with
2015-3-31 19:53
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 停止的时候 nodemanage总是不能和ResourceManager通讯 报如下错误: hadoop-slave1: nodemanager did not stop gracefully after 5 seconds: killing with kill ...
12185 次阅读|1 个评论 热度 1
分享 Ubuntu双网卡分别连接内外网的配置
2015-3-2 00:06
在Ubuntu下用virtual box 安装Ubuntu Server 10.04,需要跟外网连接以安装软件,但同时又需要在本机可以访问,如果要想给分配内网ip还需要配置网桥,之前配过一次,太麻烦了 于是考虑使用其他方法解决,比如:给虚拟机两个网卡,一个NAT模式,一个Host-only模式。 由于Linux只能有一个默认网关,NAT模式是virtualb ...
1745 次阅读|0 个评论
分享 调试OpenStack时遇到的主要问题
2014-12-15 00:25
版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明 ( http://blog.csdn.net/quqi99 ) 今天想debug一下nova-compute进程, 用devstack迅速安装之后, kill掉nova-compute进程,然后修改nova/cmd/__init__.py文件的“ev ...
2526 次阅读|0 个评论
分享 solr4.4+hadoop2.1.0beta整合
2014-11-28 19:19
solr4.4支持索引存储到hdfs中 下载 hadoop2.1.0-beta 下载 可以到hadoop家族中寻找 解压 solr4.4, hadoop2.1.0-beta 我的solr是运行在tomcat web容器中 solr4.4用的是hadoop2.0.5alpha版本,如果不改成 hadoop2.1.0-beta会报很多奇怪的错误。 删除solr webapp/WEB-INF/lib中的jar包,用我已经整合 ...
2684 次阅读|4 个评论 热度 6
分享 [转]Request Flow for Provisioning Instance in Openstack
2014-11-5 01:25
[转]Request Flow for Provisioning Instance in Openstack
One of the most important use-case in any cloud is provisioning a VM . In this article we shall do a walk through about an instance(VM) being provisioned in a Openstack based cloud. This article deals with the request flow and the component interaction of various projec ...
1592 次阅读|0 个评论
关闭

推荐上一条 /2 下一条