日志
- 置顶 ·分享
spark开发基础：一文能帮助大家阅读比较常见的Scala程序
-
2016-11-6 19:52
-
问题导读 1.Scala中有哪些常见符号？ 2.本文讲了哪些符号？ 3.你对符号的理解是什么？ 4.-,-,=,Int=,_ 它们含义是什么？用在什么地方？ 当我们学习spark的时候，我们知道spark是使用Scala语言开发的，由于语言是相通的，所以对于传统程序员【Java，.net，c等】，我们能看懂Scala程序是 ...
-
1719 次阅读|0 个评论
- 置顶 ·分享
hadoop、hbase、hive、zookeeper版本对应关系
-
2014-4-9 21:58
-
最新版本： hadoop、hbase、hive、zookeeper版本对应关系续 hadoop与HBase版本对应关系: Hbase Hadoop 0.92.0 1.0.0 0.92.1 1.0.0 0.92.2 1.0.3 0.94.0 1.0.2 0.94.1 1.0.3 0.94.2 1.0.3 0 ...
-
25791 次阅读|7 个评论
热度 17
- 分享
QPS性能测试工具WRK的简明教程
-
2020-12-14 16:31
-
一、wrk介绍 wrk 是一款针对 Http 协议的基准测试工具，它能够在单机多核 CPU 的条件下，使用系统自带的高性能 I/O 机制，如 epoll，kqueue 等，通过多线程和事件模式，对目标机器产生大量的负载。 二、 wrk 的优势与劣势 1、优势： 轻量级性能测试工具; 安装简单（相对 Apache ab 来说）; 学习曲线基本为零 ...
-
1137 次阅读|0 个评论
- 分享
记一次性能优化，单台4核8G机器支撑5万QPS
-
2020-12-14 15:51
-
前言 这篇文章的主题是记录一次Python程序的性能优化，在优化的过程中遇到的问题，以及如何去解决的。为大家提供一个优化的思路，首先要声明的一点是，我的方式不是唯一的，大家在性能优化之路上遇到的问题都绝对不止一个解决方案。 如何优化 首先大家要明确的一点是，脱离需求谈优化都是耍流氓，所以有谁跟你说在 ...
-
1368 次阅读|0 个评论
- 分享
kibana api 资料汇总
-
2020-10-22 16:00
-
书籍： Elasticsearch之kibana中文指南 https://www.aboutyun.com/forum.php?mod=viewthreadtid=20511 Kibana中文指南 https://www.aboutyun.com/forum.php?mod=viewthreadtid=26718 使用API自动创建kibana索引 https://www.cnblogs.com/alaska/p/12860182.html Kibana REST API 的使用 ...
-
667 次阅读|0 个评论
- 分享
Flink写Redis Demo
-
2020-8-26 15:13
-
1 pom文件 ?xml version="1.0" encoding="UTF-8"? project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http: ...
-
768 次阅读|0 个评论
- 分享
破解版navicat11_linux_X64
-
2020-8-25 14:47
-
破解版数据库的可视化工具linux_navicat 超级好用的 链接: https://pan.baidu.com/s/1pycgImoAX_28GxcZ4TzcJg 提取码: ihni
-
679 次阅读|0 个评论
- 分享
数据仓库笔记
-
2020-8-1 12:39
-
数据仓库的设计为何与传统数据库设计不一样： 因为他们的特点不一样 数据库是面向事务的设计，数据仓库是面向主题设计的。集成的、不可更新的 数据一般存储业务数据，数据仓库存储的一般是历史数据。 数据库设一是尽量避免冗余，一般针对某一业务应用进行设计，比如一张简单的User表，记录用户名，密码等简单数 ...
-
703 次阅读|0 个评论
- 分享
Spark任务倾斜解决方案
-
2020-8-1 11:09
-
About云技术交流群，spark进行etl，session.read.text读取hdfs文件，但是hdfs文件大小不均匀，造成个别task运行特别慢或者内存溢出。对于这种数据源端的倾斜问题，如何解决。 一、Spark推测执行spark.speculation（谨慎使用） task倾斜原因比较多，网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢，可以去看 ...
-
704 次阅读|0 个评论
- 分享
awk使用和详解
-
2020-2-10 14:59
-
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk ...
-
1088 次阅读|0 个评论
- 分享
女码农开启深度学习之路--该如何选择书籍
-
2019-9-9 11:18
-
问题导读： 1.想要学习人工智能该怎么开始？ 2.为什么选书籍而不是视频？ 3.为什么选择deep learning这本书而不是其他书籍？ 序 人工智能几乎被媒体以及当代新闻炒得如日中天，虽然发展史不长，但你可以从如今——2019年的生活中处处听到关于它的消息，哪怕你不是工程师，哪怕你不是数据科学家， ...
-
783 次阅读|0 个评论
- 分享
Hbase图片如何解决小文件问题
-
2019-7-12 16:50
-
提问： 群主您好：业务场景就是把实时拍的的图片发在一个地方，用spark实时用模型做分拣出正常的和异常的,每个图片几M的小文件，存在hdfs会造成小文件特多，要好的解决方案吗 如果说只是小文件，其实解决方案还是挺多的，比如Hadoop Archive，Sequence file，CombineFileInputFormat等都可以解决。但是这里 ...
-
1027 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
