图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器

分享机器学习工程师|数据科学家面试流程介绍（含面试题）: admin 2018-9-13 22:32; 问题导读 1.机器学习工程师面试的流程是什么？ 2.本文典型的第一轮面试由哪三部分组成? 3.对于基本的常识问题你是否有更好的理解及答案？关注最新经典文章，欢迎关注公众号对于招聘机器学习工程师或数据科学家来说，典型的过程有多轮。基本筛选轮次 - 目标是检查本轮中的最低适应度。算 ...; 1030 次阅读|0 个评论

分享机器学习中偏差---方差之间的权衡吗？: pig2 2018-9-13 16:39; 我认为对偏差 - 方差之间的权衡判读对学习机器学习是非常重要的。那么为什么这么说呢？因为这个现象的背后是所有参数，性能和几乎所有机器学习模型的深层原因。如果你能很深刻的理解这个，我保证你能很好的理解机器学习的每一个模型。所以，我们就不浪费时间在无聊的介绍中，直接深入挖掘吧。理论讲解可能有一点枯 ...; 1450 次阅读|0 个评论

分享 kafka启动producer报错：Error while fetching metadata with correlation id  ..: Aningorg 2018-9-13 09:13; 执行： bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test kafka出现: Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE} 表示无法识别 kafka hostname 处理方式： 1、修改server.properties如下，目的是让 ...; 2731 次阅读|0 个评论

分享 The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions: 阿飞 2018-9-8 21:30; The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw- 解决办法： hadoop fs -chmod -R 777 /tmp; 1134 次阅读|0 个评论

分享 RAID 技术: Aningorg 2018-9-6 11:18; RAID 的两个关键目标是提高数据可靠性和 I/O 性能。从实现角度看， RAID 主要分为软 RAID、硬 RAID 以及软硬混合 RAID 三种。软 RAID 所有功能均有操作系统和 CPU 来完成，没有独立的 RAID 控制 / 处理芯片和 I/O 处理芯片，效率自然最低。硬 RAID 配备了专门的 RAID 控制 / 处理芯片和 I/O 处理芯片以及阵列缓冲，不占 ...; 704 次阅读|0 个评论

分享 CentOS6本地yum源配置(6.4和6.5已测): Aningorg 2018-9-5 14:23; 1、挂载系统ISO镜像，或拷贝系统安装包 1) mkdir /local_yum 创建存储rpm包的目录 2) mkdir /mnt/cdrom 3) mount -o loop -t iso9660/opt/CentOS-6.8-x86_64-bin-DVD1.iso ...; 738 次阅读|0 个评论

分享【Linux】Linux下统计当前文件夹下的文件个数、目录个数: Aningorg 2018-9-5 14:01; 1.统计当前文件夹下文件的个数，包括子文件夹里的 ls -lR|grep "^-"|wc -l 2.统计文件夹下目录的个数，包括子文件夹里的 ls -lR|grep "^d"|wc -l 3.统计当前文件夹下文件的个数 ls -l |grep "^-"|wc -l 4.统计当前文件夹下目录的个数 ...; 740 次阅读|0 个评论

分享 spark开发必须注意Scala版本: admin 2018-9-3 21:15; 使用的版本是spark2.3： spark发布，都会在官网公布所支持的Scala版本，但是新手开发往往容易忽略这个问题，所以在出现错误的时候，根本无从下手。下面错误是由于Scala版本问题所造成的错误。 Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;) Ljava/lang/O ...; 932 次阅读|0 个评论

分享 spark读取kafka为什么这么慢: sstutu 2018-9-2 13:09; sparkstreaming2.3, kafka消息处理慢，进行全流程打点，发现消息创建的时间和streaming中开始处理的时间相差比较大，处理过程很快，随着streaming运行时间增长，消息拉取越来越慢，加大cpu 内存都不起作用。 qq群里老铁遇到这么个问题，而且很多遇到了，这里说下，遇到问题，首先要做的是分析日志，然后分析源码。 ...; 2395 次阅读|0 个评论

分享 Hadoop3.x改变了多副本冗余暂用大量存储空间的问题: admin 2018-8-27 11:03; 问题导读 1.Hadoop3.x通过什么方式来容错？ 2.Hadoop3.x存储开销减少了多少？ 3.Hadoop3.x MR API是否兼容hadoop1.x？最新经典文章，欢迎关注公众号 1.目的在这篇文章中，我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop ...; 2592 次阅读|0 个评论

1 ... 16 17 18 192021 22 23 24 ... 206 / 206 页下一页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈