存储格式 文本导入到hive中,必须是TextFile格式. RCFile 存储空间TextFIle-RCFile-SequnceFile MapReduce 过程 HIVE架构分析
HADOOP搭建过程 ①HDFS分布式文件框架 把文件切成块,分机器存储,同时每一块都被拷贝成3份. Namenode–负责文件的路径映射到机器上的数据 Datanodes–负责具体的读和写 ②MapReduce分布式计算框架 Map负责搜集数据,Reduce负责计算数据
搭建Hadoop环境 ①安装VmWare 下一步执行即可 ②安装CentOs 网关设置vm8 nat 地址配置 192.168.2.1 ip 地址,虚拟机和物理机都配置成192.168.2.* 子网掩码 255.25.255.0 启动虚拟机,别忘记bios打开intel cpu虚拟化技术 centos问你如何启动,是moved还是copied,选择copied ③图形界面操作 配置ip地址 终端输入 ifconfig 查看ip 右上角连接处,固定机器的ip地址, edit connection 双击 System eth0 打开Ipv4 settings 选择Mannual ip配置 192.168.2.100 子网掩码 255.255.255.0 网关 192.168.2.1 DNS 8.8.8.8 配置好了之后,ping一下网关 也可以用setup命令进入伪图形界面 配置完了centos之后,用init 3关掉虚拟机的图形界面 在windows上面用SecureCRT打开远程连接 ④ SecureCRT配置 打开SecureCRT 连接,输入centos的ipv4地址,然后开始连接,数据电脑的密码即可登录 centos的权限管理,hadoop作为普通用户,无法更改系统文件,需要授予管理员权限, 输入su 进入root用户,输入密码. vi /etc/sudoers 打开之后, root ALL=(ALL) ALL 下面添加一句 hadoop ALL=(ALL) ALL 关于linux的vim操作,见 https://jingyan.baidu.com/article/495ba8410ff14d38b30ede01.html vi /etc/sudoers 编辑好之后 esc : wq! vim 下输入i进入编辑模式 sudo vi/etc/inittab 把启动模式改成3 --取消图形可视化界面 sudo service network restart–重启网络服务 sudo vi/etc/sysconfig/network --修改主机名 sudo hostname baokaige–修改主机名 exit–推出当前用户 修改主机名的绑定ip地址 sudo vi/etc/hosts 修改hosts文件,增加 192.168.91.100 baokaige Ctrl+c 终止命令行 安装jdk 使用secureFX上传jdk到linux服务器 tar -zxvf jdk -c /app/jdk --解压 sudo vi /etc/profile 配置环境变量 export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585 export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
