hyj的空间 About云-梭伦科技 -

hyj

统计信息

已有 1058 人来访过

现在还没有相册

现在还没有动态

ClickHouse 连表update 2021-07-08: CREATE TABLE table2_join Engine = Join(ANY, INNER, id) INSERT INTO table2_join SELECT * from table2 ALTER TABLE table1 UPDATE name= joinGet(' ...; (1867)次阅读|(0)个评论

面试必备Hive stage划分 2021-03-25: Hive stage划分见下图：更多细节可参考 https://blog.csdn.net/weixin_43878293/article/details/102648655 https://blog.csdn.net/jiayuanv ...; (1467)次阅读|(0)个评论

Azkaban安装 2021-02-02: Azkaban安装 1 Azkaban介绍 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义 ...; (772)次阅读|(0)个评论

解决开发中由于group by造成数据倾斜解决办法 2021-01-19: 如果设置hive.map.aggr为true,hive.groupby.skewindata为true，执行流程如下：会生成两个job来执行group by，第一个job中，各个map是平均读取分片 ...; (1434)次阅读|(0)个评论

Python 3.7 下安装face_recognition必须先有dlib库 2020-05-07: Python 3.7 下安装face_recognition必须先有dlib库，而一般方式安装很麻烦，使用whl文件就可以直接安装，无需编译。安装办法：下载资源文件，解压出dlib-19.1 ...; (1512)次阅读|(0)个评论

Hadoop(MapR)分布式安装及自动化脚本配置 2020-02-02: 　MapR的分布式集群安装过程还是很艰难的，远远没有计划中的简单。本人总结安装配置，由于集群有很多机器，手动每台配置是很累的，编写了一个自动化配置脚本，下 ...; (1157)次阅读|(0)个评论

macWang 2017-6-5 09:50: 博主你好，请问一下，你对sparkContext.newAPIHadoopFile熟悉吗？想请教你怎么去设置它生成的RDD的分区数。旧的hadoopFile会有一个numPartition参数，可是新的API没有，试了几种方式都不行，请指教一下，谢谢

tan_323 2017-3-23 11:10: 您好，我照着这篇 http://www.aboutyun.com/thread-7684-1-1.html 文章配置好了hadoop2.2的集群，但是报了以下的错误， 17/03/20 10:40:53 INFO mapreduce.Job: Job job_1489976045893_0001 running in uber mode : false 17/03/20 10:40:53 INFO mapreduce.Job: map 0% reduce 0% 17/03/20 10:40:53 INFO mapreduce.Job: Job job_1489976045893_0001 failed with state FAILED due to: Application application_1489976045893_0001 failed 2 times due to ApplicationMaster for attempt appattempt_1489976045893_0001 ... ...

hlyaowan 2017-3-15 16:57: 看了你写的日志，你的技术好高啊，加我QQ好么？280977278 一起探讨技术。果然遇到大牛了，可以问下大牛在哪里上班吗？