Hadoop Training Sheet

1. 操作系统

  • Linux操作系统（检查操作系统版本号）

  • Linux操作系统概述

  • 安装Linux操作系统

    CentOS、Ubuntu

  • Linux Shell相关工具的使用

    Xshell、Xftp

  • Linux图形界面、字符界面

  • Linux基本命令

    • 查看主机名：hostname

    • 硬件配置：df、free、ethtool

    • 文件/文件夹操作：cd、mkdir、rm、cp、mv、touch、du、lsof

    • 查看文本：cat、less、tail、vim、vi

    • 查找类：grep、find

    • 压缩解压缩：tar、gzip、zip、unzip

    • 软件安装类：rpm、yum、apt-get

    • 帮助类：man

    • 时间类：date

    • IO类：lostat

    • 权限类：sudo、chown、chmod、chgrp

    • 端口连接类：netstat、ping、telnet

    • 启停服务类：etc/init.d/mysqld [start|stop|restart]

    • 网页类：elinks http://192.168.1.210:60010

    • 挂载类：mount、umount

  • 用户、组群和权限管理

  • 文件系统管理

  • 软件包管理与系统备份

  • Linux网络配置

  • Linux基本服务配置

    DNS服务、DHCP服务、HTTP服务、FTP服务、SMTP服务、POP3服务

  • Linux Shell命令

    • 文件及文本常用命令：tar、find、cut、wc、split、grep、head、tail、sed、awk

    • 系统运行状况命令：top、watch、free、mpstat、vmstat、lostat、pidstat、df、du

    • 系统运行进程命令：ps、nice、renice、lsof、pgrep、pkill

    • 追踪命令：strace

    • 排序命令：sort

    • 删除重复行：uniq

    • 正则表达式

  • Linux Shell脚本编写

    • 定时备份系统日志

    • 自动监控其它主机硬盘及内存使用状况

    • 自动化安装JDK、Tomcat

2. 数据库

  • 关系型数据库原理

  • 在Linux上安装Mysql、SQL-Server、DB2、Oracle数据库

  • DDL、DML、DCL语法

    Mysql、SQL-Server、Oracle、DB2

  • SQL基础

    • 基本语句：insert、select、where、update、delete、join、group by、having、desc、asc、limit、isnull、等

    • 函数：日期函数、嵌套函数、字符串函数、数字函数、聚集函数

  • SQL高级

    • PL/SQL、if、case、loop、while、for、游标、视图、索引、存储过程、事务、SQL编程

  • 数据库管理

    • 容量规划

    • 安全

    • 性能

    • 对象

    • 存储管理

    • 变化管理

    • 任务调度

    • 网络管理

    • 故障排查

    • 管理工具

      • Mysql：Workbench、Navicat
      • SQL-Server：SSMSE
      • Oracle：OEM、PL/SQL developer、Toad
      • DB2：DB2top、Toad for db2

  • 备份与恢复

    • 文件：参数文件、控制文件、数据文件、转储文件、重做日志

    • 备份：冷备份、热备份

    • 还原和恢复：备份控制文件、归档日志文件

  • 数据库优化

    • 表：建立分区表、重建索引

    • I/O：将数据、日志、索引放在不同I/O设备

    • 切分：横/纵向分割表

    • 硬件：升级CPU、内存、网络带宽等

    • 业务分离：OLTP与OLAP分离

    • 字段选取：where后的查询字段避免冗余

3. 大数据

一、原生Hadoop

  • Hadoop框架

    • 大数据概念及应用场景

    • Hadoop介绍

    • Hadoop组件

  • HDFS组件

    • HDFS读取过程

    • HDFS基本命令：cat、chgrp、chmod、chown、cp、df、du、find、get、ls、lsr、mkdir、mv、put、rm、rmdir、rmr、tail、stat等

  • Hive组件

    • Hive表结构与数据存储

    • Hive与RDBMS区别

    • Hive数据库与表

    • 基本HiveQL语法

    • 向Hive装载数据

  • Sqoop组件

    • Sqoop工作原理

    • Sqoop数据流转

  • Flume组件

    • Flume工作原理

    • Flume参数配置

    • 实时将系统日志文件导入HDFS

  • HBase组件

    • HBase概念及应用场景

    • HBase与RDBMS联系与区别

    • HBase表结构与数据存储

二、TDH发行版本

#

安装前准备

  • 操作系统版本 CentOS 6.3-6.5/REHL 6.3-6.5/ Suse SP2-SP3/操作系统是否干净？

  • 是否需要配置sudo用户安装TDH？

  • 机器硬件配置 CPU/MEM是否满足要求？/ 系统根分区大于300G?/千兆以上网络？

  • 是否配置了SSD？

  • 是否操作系统双盘RAID1，数据盘RAID0？

  • 配置是否对称同构

    （1）磁盘同构： 数据盘对应的每块磁盘是否一样大？（严禁大小磁盘混合做数据盘，例如300G /mnt/ disk1, 2.7T /mnt/disk2）

    （2）网络同构： 每台机器网卡配置是否相同？

    （3）CPU/内存大小是否同构：

  • 系统时间是否正确。 > date -s ‘2015-11-11 09:45:00’

  • 确认网络解析是用/etc/hosts文件还是DNS server。

    （1）推荐使用hosts文件解析。

    （2）若用hosts文件解析，确保/etc/resolv.conf 为空或隐掉。并保证/etc/nsswitch.conf 中 files 解析在DNS解析之前

    （3）各节点尽可能的在一个网段

  • hostname只能是以字母和数字的组合(中间允许’-’)，不能有“,” / ”.” / “_”等特殊字符。

TDH安装与运维

  • 安装

    • root安装、非root安装

    • 配置RACK（机柜命名一定要以’/’ 开头，如 /default）

    • 添加节点、添加硬盘、升级Licence

  • 配置检查

    • Zookeeper的重要配置
      Zookeeper 配置个数是否检查？（奇数个，10个节点以下3个，10-50个节点 5个）

    • HDFS的重要配置
      HDFS 的1 个目录配置是否只包含 /mnt/disk*的数据盘，SSD是否排除在外？

    • YARN的重要配置

      （1）YARN 的2个目录配置是否只包含 /mnt/disk*的数据盘，SSD是否排除在外？

      （2）YARN 的 vcore/Mem配置是否配置成了1个core对应2G内存？

    • Inceptor的重要配置
      （1）Inceptor 是否配置了HiveServer2 （推荐 Kerberos+LDAP HA模式）

      （2）Inceptor 的 fastdisk 是否配置了SSD？

      （3）Inceptor 的localdir 配置里是否只包含 /mnt/disk* ，SSD是否排除在外？

      （4）Inceptor 的资源配置是否合理？ 每个core是否都分配了1.5-2G内存？

    • Hyperbase的重要配置

    • Hmaster个数是否为奇数？（3个或者5个）

    • Fair Schedule配置

  • 日志相关

    • Zookeeper的日志位置（/var/log/zookeeper1）

    • HDFS的日志位置（/var/log/hdfs1）

    • YARN的日志位置（/var/log/yarn1）

    • Hyperbase的日志位置（/var/log/hyperbase1）

    • Inceptor的日志位置（/var/log/inceptor1）

  • 服务启停

    • 查看机器已启动的服务

    • 各服务启停的顺序

    • Zookeeper的启停

    • HDFS的启停

    • Hyperbase的启停

    • YARN的启停

    • Inceptor的启停

  • 管理页面

    • HDFS/YARN/Hyperbase/Inceptor重要的管理界面

    • HDFS健康状态的检查

    • YARN状态的检查

    • Hyperbase状态的检查

    • Inceptor运行状态的检查

  • 安全相关

    • 开启Kerberos

    • 添加/删除用户

  • HDFS状态检查

    • 查看HDFS状态

    • 查看损坏文件

    • fsimage和editlog存放的位置

  • Inceptor操作

    • Hive、Inceptor默认的分隔符

    • 创建外表以及数据存放位置

    • 创建ORC格式表及数据存放位置

    • 创建Transaction ORC表及数据存放位置

    • 创建Hyperbase外表及数据存放位置

  • 数据迁移

    • Sqoop应用场景

    • Sqoop工具的使用

  • 常用BI工具对接

    • Tableau对接

    • JDBC程序对接

    • SQuirreL对接

  • Hyperbase操作

    • 全局索引、local索引、全文索引的概念与区别

    • localmode、clustermode的区别

    • Hyperbase.reader=true的含义

    • 4040页面上的表征

    • 怎样查看Hyperbase相关状态

    • 一个RegionServer最多host多少个Region？

    • 哪些情况会导致数据写入热点？

    • ObjectStore 程序怎么写？Json支持程度？

    • Batchinsert是什么？语法怎么写

  • Bulkload相关

    • Bulkload的意义和本质

    • 各个阶段的目的

    • Bulkload有几个要点？

    • 什么是SQLbulkload？

    • SQLBulkload操作（TPCDS一张表的数据）

  • TPC-DS相关

    • 什么是TPC-DS？

    • TPC-DS中有多少个SQL？

    • 怎样运行TPC-DS？

    • TPC-DS截图

考试内容一

1、Zookeeper/HDFS/YARN/Hyperbase/Inceptor的配置分别放在哪里？

答：放在/etc/服务名1/conf/文件夹中

2、HDFS有哪几个重要的配置？分别怎么设置？

答：namenode、datanode存放的dir目录，在配置选项里可以进行设置

3、YARN有哪几个重要的配置？分别怎么设置？

答：cpu core、memory，在配置里可以设置

4、Fair Schedule如何配置？

答：YARN中的资源管理中可以进行设置，Fair Schedule为公平分配资源原则，一般在集群同构的情况下选择，Capacity Shedule为按需分配原则，一般在集群异构的情况下选择。

5、日志放在哪里？

答：/var/log/[服务名]目录下

6、服务启停，查看都开了哪些服务，如何启停服务？

答：/etc/init.d/服务名 [start｜stop｜restart]

7、产品升级流程

答：详见Transwarp Data Hub4.3产品手册160页

8、Ganglia界面如何查看

答：默认端口为8652，可以监控集群（CPU、内存、网络）状态

考试内容二

问题二：

1.tdh是什么，有什么作用，有哪些组件

答：tdh全称Transwarp data hub，它是全面支持Spark和SQL 2003解析的Hadoop商业发行版，主要包括Transwarp Manager管理平台、Inceptor交互式查询引擎、Hyperbase非关系型数据库、Stream流式计算引擎、Discover数据挖掘等组建。

2.基本的linux命令

答：详见https://lemonal88.gitbooks.io/tdh-/content/master/gettingstartmd.html

3.PL/SQL的使用

答：详见Inceptor Manual手册

4.Inceptor的几种登陆方式

答：Inceptor主要有四种登陆方式，HiveServer1（无安全认证模式）、HiveServer2（安全认证模式）、HiveServer2（LDAP认证模式）、HiveServer2（Kerberos认证模式）

Hive1的登陆方式为： transwarp -t -h

Hive2的登陆方式为：beeline -u jdbc:hive2://:10000

Hive2LDAP登陆方式为：beeline -u jdbc:hive2://:10000 -n <账户名> －p <密码>

Hive2Kerberos登陆方式：
(1)kinit <用户名>
(2)beeline -u jdbc:hive2://:10000;principal=hive/@TDH

5.hyperbase的架构

工作流程：

(1)、客户端进行put和delete操作给HRegion Server，会被HRegion Server分配到相应的HRegion中执行，用户数据首先被写入到MemStore和Hlog中，当操作写入Hlog中以后，才会commit给用户

(2)、每个Region是被HRegion Server按行划分出来的许多子表（每张子表的大小为100-200M），每个HRegion里面包含多个列族，这些列族就是一个个Store，所以说一个列族就是一个Store，其中Store里面包含一个MemStore和多个StoreFile，MemStore是在内存中的缓存，保存最新的更新数据，StoreFile是磁盘中的文件，StoreFile在底层的实现方式是HDFS文件系统的HFile，HFile的数据块通常采用压缩方式存储，压缩以后可以大大减少网络I/O和磁盘I/O，MemStore缓存的容量有限，系统会周期性的将MemStore中缓存的数据内容写入到磁盘的StoreFile文件中，每次缓存写入就会生成一个新的StoreFile文件，因此，会出现很多StoreFile小文件，当需要访问某个Store中的某个值时，就必须查找所有这些StoreFile，非常耗时，因此为了减少查询时间，系统一般会将这些生成的若干个StoreFile进行合并操作（当StoreFile文件的数量达到一个阈值的时候才会触发合并操作），例如第一个StoreFile上记录的是添加一行a记录，第二个StoreFile上记录的是删除a记录（删除在HBase中只是打上删除标记，只有在合并的时候才会真正被丢弃），所以当merge时，文件由小变大，同时记录a也被删除了。

(3)、补充:HMaster只是负责维护表和Region的元数据，即一张表被划分到哪些Region上的，具体怎么划分，划分成多少个Region是由RegionServer来执行的。那么怎样通过rowid来查询呢，就是通过表名+主键+RegionID来定位查询的

6.新硬盘安装步骤

在Linux中安装第2块硬盘需要注意：如果是IDE硬盘，注意主、从盘的设置；如果是SCSI硬盘，注意选择一个没有被使用的ID号。本例将第2块IDE新硬盘设置成从盘，将它与第一块主盘接到一条数据线上来看看如何在Linux下安装和使用第2个硬盘。

一、分区

一块新的硬盘，它还没有分区，装上后，在Linux中，必须要用硬盘分区程序fdisk（以红旗桌面版为例）分区。

二、格式化

建立好硬盘分区后，执行[root@work root]# mke2fs /dev/hdb1命令，对硬盘进行格式化操作。

三、挂载到目录

硬盘格式化之后，可利用mount命令将该硬盘分区挂载到一个目录上。先创建该目录。如要挂载的目录名为 /disk2，依次执行“ mkdir disk2”、“mount /dev hdb1 /disk2”命令，就可以使用该新硬盘。

四、启动时自动挂载

按照上面的操作，每次机器启动都必须执行mount命令进行挂载才可使用，这样做很麻烦，可以通过修改/etc/fstab配置文件,使机器在启动时自动挂载该硬盘分区。修改完配置文件后重新启动计算机，系统就会自动挂载该分区。至此，你就可以方便地使用你的第2块硬盘了！

7.namenode是什么

答：namenode为HDFS中最重要的节点之一，它是管理文件系统的命名空间，它维护者文件系统所有的文件的元数据，以及每个文件中各个块所在的数据节点信息

8.建立Inceptor external表和Hyperbase表的格式

外表：

eg>create external table userinfo(name string,age int) row format delimited fields terminated by ‘,’ location ‘user/datadir’;

hbase外表（映射表）：

eg>create external table hbase_test(id string, name string,sex string)
stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
with serdeproperties(‘hbase.columns.mapping’=’:key,info:name,info:sex’) tblproperties(‘hbase.table.name’=’test’);

9.yarn和inceptor、hbase的关系

答：yarn属于hadoop平台中的一个重要组件，它是对集群中的各个组件进行资源管理和分配的，而inceptor是查询计算引擎，运行时是向yarn申请所需cpu、内存等资源进行计算的，hbase同理

10.HDFS的存储过程

HDFS写过程：1、客户端将需要写的文件发消息给NameNode 2、NameNode发消息给客户端，让客户端将文件写入到随机的三台DataNode中，并让客户端直接和其中一台DataNode进行交互 3、直到3台DataNode都顺利写入以后再返回给客户端，完成写入操作

HDFS读过程：1、客户端询问NameNode应从哪些节点中取数据 2、NameNode将存放客户端所需的DataNode节点的地址返回给客户端，并让客户端直接和DataNode进行交互，完成读文件操作。

11.外表和普通表的区别，分区分桶表在具体情况下的使用

答:(1)外表中数据只是引用数据，它是HDFS文件系统中数据的虚拟指向，当删除表时，表中的数据是不会被删除的，而普通表存放的是HDFS真实路径中的数据，当删除表时，HDFS中数据也将会被删除。

(2)分区表一般是按照时间进行划分的，而分桶表是在分区表中对数据进行继续划分的，分区分桶表一般是结合起来使用的

12.文件从本地导入进HDFS，再导出到本地的具体命令，如果权限不够怎么办
答：
数据导入进HDFS：hadoop fs -put <本地路径>
HDFS导出到本地：hadoop fs -get <本地目录>

13.Kerborers认证
答：详见TDH4.3版本安全手册

14.查看inceptorserver所在节点的ip地址
答：在Manager中点击Inceptor节点，右上角查看server节点即可

15.查看CPU使用情况
答：top命令即可