分享 Hadoop的后台进程

liqisheng 2017-9-22 17:30

1、NameNode 1）HDFS的守护程序，是HDFS的核心程序，起到对文件系统总控的一个作用 2) 记录文件是如何分割成数据块的，以及这些数据块被存储到哪些节点上 3) 对内存和I/O进行集中管理 4) 是个单点，发生故障将使集群崩溃 2、Secondary NameNode 1) 监控HDFS状态的辅助后台程序 2) 每个集群都有一个 3) 与NameN ...

998 次阅读|0 个评论

分享 什么是Hadoop？

liqisheng 2017-9-22 11:04

什么是Hadoop？ 1.面向大数据处理 什么样的数据叫做大数据？1G是大数据吗？100G是大数据吗？学术上：大数据是指以目前的以硬件和软件的能力没办办法解决的数据。需要比较复杂的技巧才能处理的数据。 2.擅长离线数据分析 并不是在生产系统上直接处理数据，而是将数据导入另一个专门数据环境，和生产系统脱离，在与生 ...

856 次阅读|0 个评论

分享 基于Hadoop大数据分析应用场景与实战

中国风2000 2017-9-21 14:23

为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了Hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。 一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技 ...

1069 次阅读|0 个评论

分享 Java虚拟机自动内存管理

中国风2000 2017-9-19 14:19

生活规律告诉我们，在享受便利的同时一般都会付出巨大的代价，如果你在享受了便利的同时，还没有为此付出代价，不是说明没有，只是还没到付出的时候。试问，有哪个Java系统架构师不懂Java虚拟机？纵观Java程序员的发展历程，又有多少人是卡在了Java虚拟机之上。所以如果你还没有感觉到为此付出代价，说明你已经Java虚拟机 ...

844 次阅读|0 个评论

分享 CDH5.11.1安装spark1.6.0找不到Java home的记录

desehawk 2017-9-15 19:02

CDH5.11.1安装中，所有的组件都识别Java home，但是spark不识别自己安装的jdk的Java home，如下图 原因： 部署spark的时候默认会把usr/java/default当做JAVA_HOME 解决办法 将ＪＡＶＡ＿ＨＯＭＥ建个软链然后就解决了 不会软连接，可参考 大数据云技术基础之：Linux软链接ln -s http://www.aboutyun.com/fo ...

1004 次阅读|0 个评论

分享 ELK（分布式大数据搜索和日志挖掘及可视化）之核心elasticsearch（ES）

Godman 2017-9-15 10:06

问题向导: (1)什么是ELK，有什么作用？ (2)elasticsearch（ES）简介。 (3)基本操作与详细介绍 (4) elasticsearch（ES）与solr的简单对比 1、ELK介绍 通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁 ...

915 次阅读|0 个评论

分享 Dubbo 2.5.4是发布恢复维护后的第一个版本

中国风2000 2017-9-11 16:02

Dubbo发布了恢复维护后的第一个版本 2.5.4，主要是解决 issues 和依赖升级。 dubbo-2.5.4 Fixed issues 1. 不能优雅停机的问题 2. MonitorFilter监控统计功能阻塞rpc流程 3. 动态配置：设置指定的consumer不生效，provider端动态配置删除后仍起作用 4. 路由规则解析错误，导致路由规则不生效 ...

798 次阅读|0 个评论

分享 了解人工智能之基础概念-基本概念问答

中国风2000 2017-9-1 15:56

在关注了 机器学习 一段时间以后，最近我开始投入到这个领域的研究中。 去年，我开始学习自然语言处理的相关知识，并撰写了一些这方面的文章。 同时我开始更广泛地接触机器学习理论，并主要专注于文本理解和文本处理。周围一些对人工智能有兴趣的朋友和同事时常会问我一些相似的问题，而我尽可能地就我所知道的给予他 ...

855 次阅读|0 个评论

分享 自定义jwt实现spring cloud nosession

中国风2000 2017-8-30 10:26

JWT实现在网关模块，网关的路由是默认配置。 jwt 生成、验证依赖 io.jsonwebtokenjjwt0.7.0 最核心的配置是在spring security中加入我们token校验机制的fiter：JwtAuthenticationTokenFilter protectedvoiddoFilterInternal( &nb ...

969 次阅读|1 个评论

本页有 1 篇日志因作者的隐私设置或未通过审核而隐藏