第二十章 Hadoop100问 第二十章 Hadoop100问 Q：大数据只代表那些量很大的数据吗?A: 虽然从名字上看是这样，但是实际上我们用“大数据”来形容因为某种原因无法适应传统数据库软件工具的数据，而这些软件工具在过去的数十年间一直被用于分析和商业智能。举个例子，大数据也许无法完全适应关系型数据库(例如图像的像素数据)，或者需要经过特别的处理...

使用Hadoop分布式文件系统（HDFS）表 使用Hadoop分布式文件系统（HDFS）表 Greenplum数据库利用了Hadoop分布式文件系统的并行架构来使用gphdfs协议高效地读写数据文件。 一次性HDFS协议安装 有关gphdfs的JVM内存 将Amazon EMR用于安装在AWS上的Greenplum数据库 ...

用受Kerberos保护的Hadoop集群启用gphdfs认证 先决条件 配置Greenplum集群 创建并安装Keytab文件 为Kerberos配置gphdfs 测试Greenplum数据库对HDFS的访问 在HDFS中创建一个可读外部表 在HDFS中创建一个可写外部表 排查带有Kerberos的HDFS的故障 强制Classpath 启...

在 Hadoop 中通过 Java 客户端访问 JuiceFS 与 HDFS 的区别 用户组 内存使用 JuiceFS 客户端数据缓存 单机缓存 多机分布式缓存 独立缓存集群 准备工作 自动安装 JuiceFS Java 客户端 挂载 JuiceFS Python 脚本安装 使用说明 使用步骤 Ansible 安装 Ansible h...

使用Koordiantor将Hadoop YARN与K8s混部 背景介绍 使用限制 组件安装 安装Koordinator 安装Hadoop YARN 安装Koordinator YARN Copilot 配置 （可选）进阶配置 查看YARN集群中节点的资源信息 向YARN集群提交作业 使用Koordiantor将Hadoop YAR...

迁移传统应用到Kubernetes步骤详解——以Hadoop YARN为例 术语 迁移应用 迁移传统应用到Kubernetes步骤详解——以Hadoop YARN为例 本文档不是说明如何在 kubernetes 中开发和部署应用程序，如果您想要直接开发应用程序在 kubernetes 中运行可以参考 适用于kubernetes的应用开发部署流程 ...

迁移传统应用到Kubernetes步骤详解——以Hadoop YARN为例 术语 迁移应用 迁移传统应用到Kubernetes步骤详解——以Hadoop YARN为例 本文档不是说明如何在 kubernetes 中开发和部署应用程序，如果您想要直接开发应用程序在 kubernetes 中运行可以参考 适用于kubernetes的应用开发部署流程 ...

第三章 Hadoop的伪分布式搭建 一 JDK的安装 二 Hadoop的用户创建 User privilege specification 第一次都要用ssh密码登录太麻烦,我们想办法采用无密码登录 但是这里面有一个小问题就是,我是用chu888chu888这个用户做的,如果您想用 hadoop用户登录的话,这个过程需要再来一次 列出md5检验...

例 5—一个Hadoop分布式文件服务器上的TEXT格式 例 5—一个Hadoop分布式文件服务器上的TEXT格式 用gphdfs协议创建一个可读外部表ext_expenses。列定界符是一个竖线（|）。 =# CREATE EXTERNAL TABLE ext_expenses ( name text , date date ...

5. 作业提交后，出现报错信息：java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf, 如何解决？ 5. 作业提交后，出现报错信息：java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf, 如何解决？ ...