hadoop集成hive

2025-04-29 22:51:52

1、进入$HIVE_HOME/conf/修改文件cp hive-default.xml.template hive-site.xmlcp hive-env.sh.template hive-env.sh修改$HIVE_HOME/bin的hive-env.sh,增加以下三行HADOOP_HOME= --hadoop的home目录export HIVE_CONF_DIR= --hive的conf目录 export HIVE_AUX_JARS_PATH= --hive的lib目录生效文件:source /hive-env.sh(生效文件)

2、修改$HIVE_HOME/conf/hive-site.xml<property> <name>jav锾攒揉敫ax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value></property><property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value></property><property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value></property><property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value></property>

3、修改$HIVE_HOME/conf/hive-site.xml(1)设定数据目录<property> <na罪焐芡拂me>hive.metastore.warehouse.dir</name> <value>/usr/local/hive/warehouse</value></property>(2)设定临时文件目录<property> <name>hive.exec.scratdir</name> <value>/usr/local/hive/tmp</value></property>(3)hive相关日志的目录<property> <name>hive.querylog.location</name> <value>/usr/local/hive/log</value></property>

4、sqoop的安装与配置(1)下载、解压:tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz /rootcd /rootln -s sqoop-1.4.3.bin sqoop(2)配置sqoop:vi ~/.bash_profileexport SQOOP_HOME=/usr/local/sqoopexport PATH=$SQOOP_HOME/bin:$PATH

5、测试环境:(1)测试连接数据库并列出数据库:sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456(2)将mysql中的表导入到hive中:sqoop import --connect jdbc:mysql://localhost:3306/gwifi --username root --password 123456 --table think_access --hive-import -m 1;

6、运行demo:

hadoop集成hive
声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。
相关推荐
  • 阅读量:80
  • 阅读量:86
  • 阅读量:35
  • 阅读量:47
  • 阅读量:69
  • 猜你喜欢