日志
linux tips|
linux|
sqoop|
kafka|
hive|
Greenplum|
spark|
ElasticSearch|
Mysql|
nginx|
hbase|
psychology|
postgresql|
- 分享 elasticsearch设置启动内存三种方式
- 以下三种方式中前两种在我使用过程中未生效。 1.修改es的家目录中的启动文件：vim /elasticsearch-2.3.4/bin/elasticsearch 添加： export ES_HEAP_SIZE=10g 2.修改es配置文件： vimelasticsearch-2.3.4/config/elasticsearch.yml 添加： ##分配给es的最小内存 让min == max 建议怎么做，让gc跑起来 set. ...
- 分享 elasticsearch重命名索引名及字段名
- 这两步是基础：reindex数据复制，重索引POST _reindex { "source": { "index": "twitter" }, "dest": { "index": "new_twitter" } } 字段重命名 把flag重命名为tag POST _reindex { "source": { "index": "test" }, "dest": { "index": "test2" }, " ...
- 分享 nginx 重定向 端口丢失解决方案net::ERR_NAME_NOT_RESOLVED和404 not found
- 很多时候，我们在做项目过程中，可能需要 用到相同的 ip，相同的端口，但 又要区分不同的应用等，这时候 我们就需要用 nginx 做代理， 如 ：我们项目中 要用到图片，上传的时候，我们会配置一个目录，通过java代码写入到该文件夹，然后可以通过某个地址可以访问到，这时候 就得用nginx了。 #利用nginx根目 ...
- 分享 Mysql5.1升级到5.7及报错处理
- 1 、查看旧的 MySQL 版本，并创建测试数据库和测试表 mysql select version(); +------------------+ | version() | +------------------+ | 5.1.71-community | +------------------+ mysql create database z ...
- 分享 yum 安装报错No package ** available
- 1. 今天 yum 在安装 sshfs 时报错，不能安装。 执行：yum -y install sshfs 报错：No package ** available 没有这个包。 解决(联网下)：先添加仓库 （ 1 ） wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm （ 2 ） rpm -Uvh epel-release-6*.rpm ...
- 分享 elasticsearch更新license
- 初次安装Marvel,有30天的使用时间，当到期后，只保存7天的数据，所以需要注册申请一个license: 一、注册信息可随意填写 注册申请地址： https://register.elastic.co/marvel_register 注册后的license会以邮箱的形式进行反馈。 下载相应的lincese版本,上传至服务器。 二、使用以下命令查看elasticsearch版本 curl -XG ...
- 分享 Spark 运行内存溢出：memoryOverhead issue in Spark以及 内存不足问题：Missing an o ...
- Spark和Hadoop做大数据应用的时候，经常遇到这个问题： “ Container killed by YARN for exceeding memory limits. 16.9 GB of 16 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead ” 这个错误总会使你的job夭折。它的意思是：因为 超出内存限制，集群停掉了container 。 ...
- 分享 双网卡绑定bond 0
- 做了bond之后，的确可以实现 网口的冗余 和 网络性能的提高 # 停止ֹNetworkManager /etc/init.d/NetworkManager stop chkifconfig NetworkManager off # 编辑网卡 eth0 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 ONBOOT=yes BOOTPROTO=none USERCTL=no M ...
- 分享 yarn队列提交spark任务权限控制
- 1 CapacityScheduler 1.1 模型介绍 Capacity Scheduler是一个hadoop支持的可插拔的资源调度器，它允许多租户安全的共享集群资源，它们的applications在容量限制之下，可以及时的分配资源。使用操作友好的方式运行hadoop应用，同时最大化吞吐能力和集群利用率。 Capacity Scheduler提供的核心理念就是Queues（队列），这 ...
/2 
