about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

分享 Spark RDD详解--加米谷大数据
加米谷大数据 2018-1-16 11:58
1、RDD是什么 RDD:Spark的核心概念是RDD (resilientdistributed dataset),指的是一个只读的,可分区的分布式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。 为什么会产生RDD? (1)传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点,但是其最大缺点是采用非循环式的数据流模 ...
9 次阅读|0 个评论
分享 如何扩容DataNode及遇到问题总结
easthome001 2018-1-4 20:09
如何扩容DataNode及遇到问题总结
一个集群节点进行扩容,然后修改了配置参数文件dfs.datanode.data.dir参数后面追加挂载的数据目录, 发现启动时正常,后面索性多修改几个节点发现集群后面修改的DataNode全部启动报错(日志记录在/var/log/hadoop/dfs/hadoop-hdfs-datanode-*.log): Too many failed volumes - current valid volumes: 1, volumes conf ...
75 次阅读|0 个评论
分享 如何在Hadoop上支持PL/SQL
qcbb001 2017-12-29 18:13
介绍一个基于Apache协议开源的工具—— HPL/SQL ,已经在Hive 2.0中被引入,为Hive、SparkSQL等SQL-on-Hadoop产品、NoSQL和RDBMS提供了过程式SQL语言支持。 HPL/SQL语言兼容80%以上的Oracle PL/SQL语法,并很大程度上与ANSI/ISO SQL/PSM(如IBM DB2,MySQL和Teradata等),Teradata的BTEQ,PostgreSQL的PL/ pgSQL(来自Ne ...
38 次阅读|0 个评论
分享 Hadoop3.0 Yarn支持网络资源:network原理设计文档说明【中文】
pig2 2017-12-26 17:06
问题导读 1.网络作为Yarn的资源,有什么好处? 2.Yarn是否只支持调度和强制执行“传出流量”? 3.Yarn是否支持入口流量? 4.DistributedShell是否可以让用户指定网络带宽? 5.hadoop3.0网络设计存在哪些已知的问题? 开始在学习之前,其实需要一定的基础,因为Yarn里面使用了Linux TC和C ...
46 次阅读|1 个评论 热度 1
分享 hadoop3.1开始支持disk,网络,带宽等资源类型
pig2 2017-12-23 15:18
hadoop3.1资源类型支持比如: disk(YARN-2139), network(YARN-2140), and HDFS 带宽(YARN-2681). 链接: 磁盘(disk) https://issues.apache.org/jira/browse/YARN-2139 网络(network) https://issues.apache.org/jira/browse/YARN-2140 HDFS 带宽 https://issues.apache.org/jira/browse/YARN-268 ...
154 次阅读|3 个评论 热度 2
分享 Hadoop常用端口号
jiewuzhe02 2017-12-9 15:38
文章来源:http://blog.csdn.net/baibenny/article/details/53887328 Hadoop集群的各部分一般会用到多个端口,有些事daemon之间进行交互之用,有些事用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。 这里包含使用的组件:HDFS、YARN、HBase、 ...
35 次阅读|0 个评论
分享 阿里商业服务生态解读
中国风2000 2017-12-6 15:35
无线化、数据化、全渠道、国际化 是商业服务生态客观的历史进程和发展趋势,不论企业喜欢还是不喜欢,准备好还是没有准备好,这些趋势都以前所未有的速度发展,已经并将继续对经营的方方面面产生重要影响。 一 无线互动 “无线互动业务”是移动端 链接商家与消费者 的枢纽,商家无线运营主阵地。 在消费者端,无 ...
116 次阅读|1 个评论 热度 1
分享 mongoDB同步数据到hive思路
desehawk 2017-11-29 17:25
mongoDB同步数据到hive思路
sqoop作为很常用的数据同步工具,用于RDBMS和HDFS的数据迁移,但是不支持NoSql,比如说MongoDB,那如果我们需要同步mongoDB的数据到hive该怎么处理呢?下面提供下我的思路: 这里写图片描述 1.我先去查询了一下mongoDB可以导出数据为CSV格式或者json格式的文件,CSV是以逗号分隔的,这样可以直接把这个文件put ...
109 次阅读|1 个评论 热度 1
分享 数据库读写分离与事务纠缠的那点坑
中国风2000 2017-11-29 15:39
本篇文章讨论在数据库读写分离时使用事务的那些坑: 1. 在读写分离时会不会造成事务主从切换错误 一个线程在Serivcie时Select时选择的是从库,DynamicDataSourceHolder中ThreadLocal对应线程存储的是slave,然后调用Manager时进入事务,事务使用默认的transacatinManager关联的dataSource,而此时会不会获取到的是slave ...
122 次阅读|0 个评论
分享 Hive 创建表采用^A 作为分隔符案例
JasonQi_DeDG4 2017-11-24 09:31
数据结构: Hello^AWorld Hello^AWorld Hello^AWorld Hello^AWorld Hello^AWorld Hello^AWorld Hello^AWorld 创建表语句: create table if not EXISTS helloworld(Hello string, World string) row format delimited fields terminated by '\001' lines terminated by '\n' STORED AS TextFile; LOAD DA ...
47 次阅读|0 个评论
关闭

站长推荐上一条 /4 下一条

QQ|小黑屋|about云开发-学问论坛|社区-大数据云技术学习分享平台 ( 京ICP备12023829号

GMT+8, 2018-1-21 16:56 , Processed in 0.317292 second(s), 15 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

© 2001-2013 Comsenz Inc.

返回顶部