新浪博客

hive 动态分区 与分区个数限制

2012-11-07 17:04阅读:
set hive.exec.dynamic.partition=true;
set hive.exec.max.dynamic.partitions=2000;
set hive.exec.max.dynamic.partitions.pernode=100000;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.parallel.thread.number=264;
set hive.exec.max.dynamic.partitions=20000; 不起作用,默认为1000,如果你设置的分区的组合超过1000,会报错,如果需要修改代码,请修改hive.java这个文件,使新的conf生效即可。其他各配置项查看对应的文档


下面给出例子


insert overwrite table etl_tmp.tmp_xxx_test PARTITION(ds,sn_id,client_id,game_id)
SELECT user_uid, ds,sn_id,client_id,game_id from default.xxx
distribute by ds,sn_id,client_id,game_id

我的更多文章

下载客户端阅读体验更佳

APP专享