图文精华

About云-梭伦科技 › 日志

    blog 日志

    最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器
    分享 Hbase如何将hfile二进制文件转换为文本txt格式
    nettman 2019-5-14 19:56
    我们知道hbase文件hfile直接是不能阅读的，我们如何转换为可以阅读的格式 通过命令 hbase org.apache.hadoop.hbase.io.hfile.HFile -f hdfsHfilepath -p -b -m -v hdfsHfilepath 写成你要查看的路径
    1275 次阅读|0 个评论
    分享 centos7 ssh权限过高反而不能成功
    阿飞 2019-5-10 08:39
    我们在安装ssh的时候，权限都授权为777，还是不能成功。按照下面的方式权限 sudo chmod 700 ~/.ssh sudo chmod 644 ~/.ssh/authorized_keys 每台都改下，然后重启 ssh成功，因此我们要注意权限问题
    876 次阅读|0 个评论
    分享 mysql Your password does not satisfy the current policy requirements问题的解决办 ...
    nettman 2019-5-3 11:39
    mysql Your password does not satisfy the current policy requirements问题的解决办 ...
    在搭cdh执行命令：/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hs201 -uroot -proot_pwd_123 --scm-host s201 scm scm scm，初始化cm的时候，一直报：java.sql.SQLException: Your password does not satisfy the current policy requirements这个错 通过mysql shell修改了policy ，可是依然 ...
    2017 次阅读|0 个评论
    分享 什么是匿名内部类
    pig2 2019-4-30 15:23
    什么是匿名内部类： 对于Java的匿名内部类还是比较难以理解的。甚至在阅读代码中，我们可能都不能阅读出这事匿名内部类。这里总结下： 匿名内部类一般是接口和抽象类。 他们的使用匿名内部类的时候，都会使用new。 也就是说当你看到一个接口或则抽象类，在前面加一个new的时候，这个可能就是内部类的实现。 ...
    908 次阅读|0 个评论
    分享 Spark处理多少数据是否需要多少内存
    jixianqiuxue 2019-4-30 12:40
    Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs上1tb大文件为例：若每个block大小为128mb，则一共有8192个block，产生的task也有8192个。假如executor的core为2，内存为1g，则executor同时可运行2个task，此时每个task可获得的堆内存最大约为1 ...
    1993 次阅读|0 个评论
    分享 producer如何发送数据集及副本间是如何复制数据的
    阿飞 2019-4-29 18:43
    Producer向kafka发送消息的步骤： 1，一条record过来时，首先根据topic向kafka申请这个topic的元数据，包括topic每个partition存储在哪个broker上（Ip地址端口号）。 2，拿到元数据后，根据producer的partioner进行数据分区。默认是hashpartitioner，根据key的hash值分到对应的partition中。如果key为null则轮询发送 ...
    757 次阅读|0 个评论
    分享 大数据之进程出现process information unavailable
    hyj 2019-4-28 20:02
    大数据之进程出现process information unavailable
    1.在/tmp目录下还有没有这些目录,把所有安装对应进程的客户端都删掉这些文件将爱 2.出现的进程号也删掉 即可解决
    776 次阅读|0 个评论
    分享 hbase按行分region，再按列族分store，为什么store内有若干HFile，为啥不存成1个HFile
    s060403072 2019-4-25 18:49
    微信群讨论经典记录： hbase按行分region，再按列族分store，为什么store内有若干HFile，为啥不存成1个HFile hbase的写操作：首先写入到表中region的columnfamily对应的store的memstore。当一个region的所有memstore大于hbase.hregion.memstore.flush.size时，则会把Memstore的数据写出到hdfs中，也就是hfile。 一 ...
    963 次阅读|0 个评论
    分享 Cloudera下载100%，重回%0，如此反复的原因是什么
    s060403072 2019-4-24 17:01
    Cloudera下载100%，重回%0，如此反复的原因是什么
    About云微信群中老铁遇到问题，Cloudera下载100%，重回%0，如此反复的原因，原来是因为权限导致。 换成用户：cloudera-scm即可 也就是说可能用户权限导致的
    695 次阅读|0 个评论
    分享 不让发帖的第一天~
    Fang_cjzdk 2019-4-16 16:00
    CREATE TABLE f ( id int comment '哈哈' , name string comment '呵呵' )comment '我去' PARTITIONED BY(mydate string comment '嘿嘿') ;
    677 次阅读|1 个评论 热度 1
    1 ...8910111213141516... 206下一页
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000