最新要闻

广告

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

 警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

  1. 首页
  2. 移动通信
  3. 内容

hive配置Tez引擎，并安装Tez-ui

来源：博客园
目录
  • 一、下载Tez
    • 1、下载 apache-tez-0.9.2-bin.tar.gz 包
  • 二、hive配置tez引擎
    • 1、解压 apache-tez-0.9.2-bin.tar.gz
    • 2、进入 tez 目录，上传tez目录下的 share/tez.tar.gz 到 hdfs 上
    • 3、tez目录不用做任何修改，直接分发到其他集群节点上
    • 4、在 hadoop-env.sh 配置
    • 5、重启hadoop，启动hive
  • 三、配置tez-ui
    • 1、下载tomcat
    • 2、解压tomcat
    • 3、在 tez 目录下找到 tez-ui-0.9.2.war，放到tomcat下
    • 4、配置yarn-site文件，并启动timelineserver
    • 5、在 $HADOOP_HOME/etc/hadoop 目录下，创建 tez-site.xml
    • 6、在hive-site.xml文件下添加如下参数，不配置的话，tez-ui中的 All Queries 不会显示数据
    • 7、启动 tomcat ，访问 tez-ui 界面

一、下载Tez

1、下载 apache-tez-0.9.2-bin.tar.gz 包

  • 官网：https://dlcdn.apache.org/tez/0.9.2/

二、hive配置tez引擎

1、解压 apache-tez-0.9.2-bin.tar.gz

tar -zxvf apache-tez-0.9.2-bin.tar.gz -C /home/hadoop/model/

2、进入 tez 目录，上传tez目录下的 share/tez.tar.gz 到 hdfs 上

hadoop fs -put tez.tar.gz /tez/

3、tez目录不用做任何修改，直接分发到其他集群节点上

scp -r apache-tez-0.9.2-bin/ root@hadoop002:$PWDscp -r apache-tez-0.9.2-bin/ root@hadoop003:$PWD

4、在 hadoop-env.sh 配置

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

在 hadoop-env.sh 加入以下配置，可能也需要配置一下tez系统环境变量

export TEZ_HOME=/home/hadoop/model/apache-tez-0.9.2-binfor jar in `ls $TEZ_HOME |grep jar`; do    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/$jardonefor jar in `ls $TEZ_HOME/lib`; do    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/lib/$jardone

5、重启hadoop，启动hive

stop-all.shstart-all.shhive

在hive中运行如下参数，不建议把参数配置在hive或yarn配置文件中

set tez.lib.uris=hdfs://hadoop001:9000/tez/tez.tar.gz;set hive.execution.engine=tez;set hive.tez.container.size=1024;set tez.use.cluster.hadoop-lib=true;set tez.am.resource.memory.mb=2014;set tez.am.resource.cpu.vcore=1;set tez.task.resource.memory.mb=1024;set tez.task.resource.cpu.vcores=1;set tez.container.max.java.heap.fracion=0.4;set mapreduce.framework.name=yarn;

执行insert语句


(资料图片仅供参考)

insert into table student(select 1004 id, "nameD" name);

三、配置tez-ui

1、下载tomcat

tomcat官网：https://tomcat.apache.org/download-90.cgi

2、解压tomcat

tar -zxvf apache-tomcat-9.0.70.tar.gz -C /home/hadoop/model/

在 webapp下创建 tez-ui 目录

mkdir /home/hadoop/model/apache-tomcat-9.0.70/webapps/tez-ui

3、在 tez 目录下找到 tez-ui-0.9.2.war，放到tomcat下

cp tez-ui-0.9.2.war /home/hadoop/model/apache-tomcat-9.0.70/webapps/tez-ui/

在 apache-tomcat-9.0.70/webapps/tez-ui/ 下解压 tez-ui-0.9.2.war

java -xvf tez-ui-0.9.2.war

修改解压后的config/configs.env 文件，配置读取yarn的timeline的端口

4、配置yarn-site文件，并启动timelineserver

在 yarn-site.xml 中添加如下参数（记得修改主机名），分发节点后重启yarn

            yarn.timeline-service.enabledtrue      yarn.timeline-service.hostname        tmaster              yarn.timeline-service.http-cross-origin.enabled        true               yarn.resourcemanager.system-metrics-publisher.enabled        true      yarn.timeline-service.generic-application-history.enabledtrue              Address for the Timeline server to start the RPC server.        yarn.timeline-service.address        hadoop001:10201              The http address of the Timeline service web application.        yarn.timeline-service.webapp.address        hadoop001:8188              The https address of the Timeline service web application.        yarn.timeline-service.webapp.https.address        hadoop001:2191              yarn.timeline-service.handler-thread-count        24

启动 timelineserver

yarn timelineserver

5、在 $HADOOP_HOME/etc/hadoop 目录下，创建 tez-site.xml

在 $HADOOP_HOME/etc/hadoop 目录下，创建 tez-site.xml，添加如下配置（记得分发节点），tez-ui地址对应tomcat下的tez-ui路径

        tez.history.logging.service.class        org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService                tez.tez-ui.history-url.base        http://hadoop001:8080/tez-ui/

6、在hive-site.xml文件下添加如下参数，不配置的话，tez-ui中的 All Queries 不会显示数据

hive.exec.pre.hooksorg.apache.hadoop.hive.ql.hooks.ATSHookhive.exec.post.hooksorg.apache.hadoop.hive.ql.hooks.ATSHookhive.exec.failure.hooksorg.apache.hadoop.hive.ql.hooks.ATSHook

7、启动 tomcat ，访问 tez-ui 界面

进入tomcat/bin目录下,启动tomcat

sh startup.sh

tez-ui界面地址（tomcat地址加/tez-ui后缀）：http://hadoop001:8080/tez-ui

关键词： 系统环境 配置文件