阿豆的博客

置顶 MapReduce编程

Posted by 阿豆 on 2019-07-11

mapreduce

置顶 Hive部署

Hive部署安装包和环境配置 CDH-5.16.2 wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2.tar.gz 安装解压：tar -zxvf hive-1.1.0-cdh5.16.2.tar.gz -C ~/app/ 配置环境变量：source export HIVE_HOME=/h......

Posted by 阿豆 on 2015-07-11

hive

置顶 HDFS架构

HDFS架构 Namenode: 主存储: 文件系统的命名空间 a.文件的名称 b.文件的目录结构 c.文件的属性权限创建时间副本数 d.文件对应被切割为哪些数据块+副本数–》数据块分布在哪些DN节点上 blockmap 当然nn节点不会持久化存储这种映射关系，是通过集群启动和运行是，dn会定期发送blockreport给nn，依次nn在内存中动态维护这种映射关系作用......

Posted by 阿豆 on 2015-07-11

hadoop

置顶 Hadoop部署

Hadoop单节点部署 Hadoop官网 JAVA配置在/usr/java下解压安装包修正用户和用户组：chown -R root:root jdk1.8.0_45 配置全局环境变量 /etc/profile下添加: #env export JAVA_HOME=/usr/java/jdk1.8.0_45 export PATH=$JAVA_HOME/bin:$PATH 添加完成后 so......

Posted by 阿豆 on 2015-07-11

hadoop

置顶 Sqoop

Sqoop Sqoop部署下载 cdh5 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.16.2.tar.gz 解压 tar -zxvf sqoop-1.4.6-cdh5.16.2.tar.gz -C ~/app/ 配置系统环境变量 export SQOOP_HOME=/home/hadoop/......

Posted by 阿豆 on 2015-07-11

sqoop

置顶 Hive相关学习

Hive相关学习 Hive的基础概念构建在Hadoop（HDFS/MapReduce/YARN）之上的数据仓库 Hive的数据是存放在HDFS之上 Hive底层执行引擎：MapReduce/Tez/Spark 只需要通过一个参数就能够切换底层的执行引擎 Hive作业提交到YARN上运行提供了HQL查询语言和SQL类似，但不完全相同所谓的大数据“云化”：是......

Posted by 阿豆 on 2015-07-11

hive