日志
- 分享
centos7改变记录
-
2018-2-2 17:15
-
CentOS7里面的网卡名称不在是eth0,1,2而改成enoxxxxxx的格式，en代表的是enthernet以太网，o代表onboard内置，这种新的方式不但长，而且难记，不过优点也比较突出，有编号唯一性，迁移系统的时候不容易出错，网卡名称可以改动，下面会介绍。 服务管理 systemd对Linux来说，就是init程序，可以作为sysvinit和 ...
-
1544 次阅读|0 个评论
- 分享
Scala 用法Lazy
-
2016-11-15 10:11
-
Scala中的lazy关键字是实现延迟加载的好帮手。 在Java中想要做到延迟加载，常规的做法是大抵是这样的： private String str = null; public String getStr() { if (str == null) { str = getStrFromWebService(); } return ...
-
1848 次阅读|0 个评论
- 分享
Spark内核介绍：Spark在运行时会把Stage包装成任务提交
-
2016-9-5 19:00
-
Spark在运行时会把Stage包装成任务提交，有父Stage的Spark会先提交父Stage。弄清楚了Spark划分计算的原理，我们再结合源码 看一看这其中的过程。下面的代码是DAGScheduler中的得到一个RDD父Stage的函数，可以看到宽依赖为划分Stage的边界。 上面提到Spark的计算是从RDD调用action操作时候触发的，我们来看一个a ...
-
2048 次阅读|0 个评论
- 分享
Cloudera 系列4：Cloudera Search
-
2016-5-15 12:27
-
Cloudera Search 对存储在或接收到 Hadoop 和 HBase 中的数据提供接近实时的访问。搜索提供与不需要 SQL 或编程技能的既简单又支持全文浏览界面一样出色的近乎实时的索引、批处理索引、全文浏览和向下导航。 搜索与数据处理平台完全集成并使用 CDH 附带的灵活、可扩展且可靠的存储系统。这样，您就无需跨基础架构移动大 ...
-
1886 次阅读|0 个评论
- 分享
Cloudera 系列3：Cloudera Impala
-
2016-5-15 12:26
-
Cloudera Impala 直接对您存储在 HDFS 或 HBase 中的 Apache Hadoop 数据提供快速、交互式 SQL 查询。除了使用相同统一存储平台之外，Impala 也使用与 Apache Hive 相同的元数据、SQL 语法 (Hive SQL)、ODBC 驱动程序和用户界面（Hive 中的 Cloudera Impala 查询用户界面）。这为实时或面向批处理的查询提供一个 ...
-
1859 次阅读|0 个评论
- 分享
Cloudera 系列2：CDH介绍
-
2016-5-15 12:23
-
CDH 提供： 灵活性 - 存储任何类型的数据，并使用多种不同的计算框架进行处理，包括批处理、交互式 SQL、自由文本搜索、机器学习和统计计算。 集成 - 启动并在完整的 Hadoop 平台（与多种硬件和软件解决方案一起工作）上快速运行。 安全性 - 处理和控制敏感数据。 可升级性 - 启用多种应用程序，并根据您的要求将其升 ...
-
1575 次阅读|0 个评论
- 分享
Cloudera 系列1：Cloudera 入门指南
-
2016-5-15 12:23
-
问题导读 1.Cloudera 提供了那些产品和工具？ 2.Cloudera Navigator的作用是什么？ Cloudera 提供一个可扩展、灵活、集成的平台，可用来方便地管理您的企业中快速增长的多种多样的数据。业界领先的 Cloudera 产品和解决方案使您能够部署并管理 Apache Hadoop 和相关项目、操作和分析您的数据以 ...
-
1652 次阅读|0 个评论
- 分享
lucene 查询的使用 各种查询 方式一：使用QueryParser与查询语法。（会使用分词器） ...
-
2015-4-27 00:59
-
各种查询 方式一：使用QueryParser与查询语法。（会使用分词器） MultiFieldQueryParser 查询字符串 ------------------------ Query对象 例如： 上海 AND 天气 上海 OR 天气 上海新闻 AND site:news.163.com ... 方式二： 直接创建Query的实例（子类的），不会使用分词器 new TermQuery(..); new BooleanQuery(.. ...
-
3116 次阅读|0 个评论
- 分享
从veth看虚拟网络设备的qdisc
-
2015-4-13 00:23
-
背景 前段时间在测试docker的网络性能的时候，发现了一个veth的性能问题，后来给docker官方提交了一个PR，参考 set tx_queuelen to 0 when create veth device ，引起了一些讨论。再后来，RedHat的网络专家 Jesper Brouer 出来详细的讨论了一下这个问题。 可以看到，veth设备qdisc队列，而环回设备/桥接设备是 ...
-
1609 次阅读|0 个评论
- 分享
推荐算法注意事项总结
-
2015-4-6 16:46
-
本文总结了多种推荐场景中的注意事项，或者推荐中比较关键的因素，不涉及算法描述，仅仅说明关注点，仅供参考。 推荐算法有很多种，从算法的角度来说，我认为主要由以下几种：协同过滤系列（基于item和user），机器学习分类系列（喜欢和不喜欢二分类，或者回归中的分值代表喜欢程度），矩阵分解系列（mahout ALS算 ...
-
2115 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
