图文精华

About云-梭伦科技 › 日志

    blog 日志

    最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器
    分享 Mysql5.1升级到5.7及报错处理
    Aningorg 2018-12-10 15:48
    1 、查看旧的 MySQL 版本，并创建测试数据库和测试表 mysql select version(); +------------------+ | version() | +------------------+ | 5.1.71-community | +------------------+ mysql create database z ...
    880 次阅读|0 个评论
    分享 yum 安装报错No package ** available
    Aningorg 2018-12-10 15:31
    1. 今天 yum 在安装 sshfs 时报错，不能安装。 执行：yum -y install sshfs 报错：No package ** available 没有这个包。 解决(联网下)：先添加仓库 （ 1 ） wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm （ 2 ） rpm -Uvh epel-release-6*.rpm ...
    1251 次阅读|0 个评论
    分享 Flink自定义一个简单source及mysqlsource实例
    pig2 2018-11-21 17:50
    1.一个简单的source import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.datastream.Sin ...
    1665 次阅读|0 个评论
    分享 Spark 运行内存溢出：memoryOverhead issue in Spark以及 内存不足问题：Missing an o ...
    Aningorg 2018-10-31 14:08
    Spark和Hadoop做大数据应用的时候，经常遇到这个问题： “ Container killed by YARN for exceeding memory limits. 16.9 GB of 16 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead ” 这个错误总会使你的job夭折。它的意思是：因为 超出内存限制，集群停掉了container 。 ...
    3185 次阅读|0 个评论
    分享 大数据学习笔记1000条
    s060403072 2018-10-29 15:58
    1. Zookeeper用于集群主备切换。 2. YARN让集群具备更好的扩展性。 3. Spark没有存储能力。 4. Spark的Master负责集群的资源管理，Slave用于执行计算任务。 5. Hadoop从2.x开始，把存储和计算分离开来，形成两个相对独立的子集群：HDFS和YARN，MapReduce依附于YARN来运行。 6. YARN可以为符合YARN编程接口需求的集群 ...
    898 次阅读|0 个评论
    分享 双网卡绑定bond 0
    Aningorg 2018-10-19 11:31
    做了bond之后，的确可以实现 网口的冗余 和 网络性能的提高 # 停止ֹNetworkManager /etc/init.d/NetworkManager stop chkifconfig NetworkManager off # 编辑网卡 eth0 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 ONBOOT=yes BOOTPROTO=none USERCTL=no M ...
    1041 次阅读|0 个评论
    分享 数字货币中的押注，你可选对了？
    taocoin 2018-10-19 11:01
    市场上的数字货币种类很多，不管是散户还是投资人，肯定都想投资最有价值的。下面， 我们 来细说细说： 一、比特币 (缩写：BTC) 首选肯定是比特币。因为它是首款数字货币，且价值无法估量。虽然后来的数字货币，可能某些方面，要比比特币好，但是往往最好的，还是资历最老，最先入市的。 二、以太币 ...
    797 次阅读|0 个评论
    分享 yarn队列提交spark任务权限控制
    Aningorg 2018-10-18 15:37
    1 CapacityScheduler 1.1 模型介绍 Capacity Scheduler是一个hadoop支持的可插拔的资源调度器，它允许多租户安全的共享集群资源，它们的applications在容量限制之下，可以及时的分配资源。使用操作友好的方式运行hadoop应用，同时最大化吞吐能力和集群利用率。 Capacity Scheduler提供的核心理念就是Queues（队列），这 ...
    874 次阅读|0 个评论
    分享 hbase、impala、hive整合，impala查询遇到问题总结
    sstutu 2018-10-9 17:00
    问题背景： hbase、impala、hive整合，impala查询遇到问题总结 impala用来查询实时数据 hive用来查询数据量比较大的数据 为何不用hbase查询？ 原因impala支持sql语义，交互性更好，根适合业务开发 问题描述： hive建的表映射的hbase表，在用impala 窗口查询hive。遇到个很妖怪的事情。select 表，where条件如果 ...
    1315 次阅读|0 个评论
    分享 什么情况下使用MongoDB与Redis
    sstutu 2018-9-29 14:56
    MongoDB(v2.4.9)： 依赖内存,TPS较高 Redis： 依赖内存,TPS非常高 比较： Redis优于MongoDB ###################### MongoDB(v2.4.9)： 丰富的数据表达,索引;最类似于关系型数据库,支持丰富的查询语句 Redis： 数据丰富,较少的IO 比较： MongoDB优于Redis
    1425 次阅读|0 个评论
    1 ...456789101112下一页
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000