图文精华

About云-梭伦科技 › 日志

    blog 日志

    分享 Spark处理多少数据是否需要多少内存
    jixianqiuxue 2019-4-30 12:40
    Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs上1tb大文件为例：若每个block大小为128mb，则一共有8192个block，产生的task也有8192个。假如executor的core为2，内存为1g，则executor同时可运行2个task，此时每个task可获得的堆内存最大约为1 ...
    1991 次阅读|0 个评论
    分享 恢复系统主题(win7X64)
    jixianqiuxue 2019-3-11 11:01
    恢复系统主题(win7X64).zip 解决VirtualBox在WIN7 X64使用出现的以下问题： Unable to load R3 module D:\Program Files\Oracle\VirtualBox/VBoxDD.dll (VBoxDD):GetLastError=1790 (VERR_UNRESOLVED_ERROR) 返回 代码: E_FAIL (0x80004005) 组件: Console 界面: IConsole {8ab7c520-2442-4b66-8d74-4ff1e195d2b6} 链 ...
    993 次阅读|0 个评论
    分享 hadoop大数据错误总结
    jixianqiuxue 2016-5-13 16:01
    启动CM出现 “JDBC Driver class not found: com.mysql.jdbc.Driver” 以及“Error creating bean with name 'serverLogFetcherImpl'”问题的解决方法 问题：“JDBC Driver class not found: com.mysql.jdbc.Driver” 通过以下命令启动cm # /etc/init.d/cloudera-scm-server start 通过ps查看进程 ...
    2481 次阅读|0 个评论
    分享 在VMware下实现主机与虚拟主机之间的IPv6通信
    jixianqiuxue 2016-5-10 07:55
    在VMware下实现主机与虚拟主机之间的IPv6通信
    首先需要安装一个虚拟机，本次实验采用的是linux系统，首先需要确认Linux系统可支持IPv6地址，查询方法：输入 ifconfig，回车后，如果有类似inet6 addr : fe80::20c:29ff:fed7:4563/64 Scope:link 类型的地址，说明这个 linux系统可支持IPv6，否则需要先加载IPv6模块 运行命令insmod ipv6或者m ...
    1616 次阅读|0 个评论
    分享 beeline使用账号密码连接hiveserver2报错
    jixianqiuxue 2016-5-9 13:33
    报错如下： beeline !connect jdbc:hive2://master:10000 Connecting to jdbc:hive2://master:10000 Enter username for jdbc:hive2://master:10000: root Enter password for jdbc:hive2://master:10000: &n ...
    7918 次阅读|0 个评论
    分享 openstack windows下远程debug调试（komodo）
    jixianqiuxue 2015-11-22 18:48
    openstack windows下远程debug调试（komodo）
    本文讲解openstack的两个调试工具：pycharm、komodo（以对openstack的nova api远程调试为例） 注：后续有时间再对eclipse进行讲解。 一：komodo（官方文档： http://docs.activestate.com/komodo/6.0/debugpython.html ） 1、配置python解释器：（ ”Edit”--”Preferences” ） 选择python： ...
    2094 次阅读|0 个评论
    分享 spark-sql与elasticsearch整合&测试
    jixianqiuxue 2015-11-21 19:51
    1. 前置条件 spark是1.4.1版本 elasticsearch是1.7版本 java是1.7版本 2. 依赖jar包 需要使用elasticsearch-hadoop 下载地址：http://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-hadoop/2.2.0-m1 3. 配置 将下载的elasticsearch-hadoop包放置到$SPARK_HOME/lib/下 ls -lh ...
    3309 次阅读|0 个评论
    分享 oozie hive action注意事项
    jixianqiuxue 2015-4-30 19:11
    注：本文指针对版本oozie-3.2.0-incubating。 oozie-hive注意事项： 理论上将hive相关的配置放在oozie.hive.defaults属性指定的文件(hive-default.xml)即可，如下： property nameoozie.hive.defaults/name valuehive-default.xml/val ...
    1067 次阅读|0 个评论
    分享 nova读取配置文件流程
    jixianqiuxue 2015-4-23 11:45
    在我们安装nova的过程中，设置它的配置文件/etc/nova/nova.conf是必不可少的一步。配置好nova.conf文件，nova-compute、nova-network等服务才有可能正常启动。当然在修改nova.conf文件后，必须重启nova的所有服务，新的配置才能生效。 其实我们的配置文 ...
    1233 次阅读|0 个评论
    分享 storm出现 still hasn't started问题总结
    jixianqiuxue 2015-4-23 10:43
    1.问题描述 在Storm中提交Topology后，一直处于分派状态，查看Supervisor日至，显示 2013-12-02 14:49:52 supervisor 46b25fa5-b333-4985-9c1d-3f112d5c615a still hasn't started 2013-12-02 14:49:52 supervisor 46b25fa5-b333-4985-9c1d-3f112d5c615a still hasn't started 2013-12-02 ...
    4539 次阅读|0 个评论
    123下一页
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000