批量导入概述

MatrixOne 支持使用 LOAD DATA 命令将大量行插入至 MatrixOne 数据表，也支持使用 SOURCE 命令将表结构和数据导入整个数据库。

LOAD DATA

MatrixOne 支持使用 LOAD DATA 命令从本地文件系统或 S3 对象存储服务批量导入 csv 文件、jsonline 文件。

导入不同的数据格式

根据数据文件类型不同的情况，MatrixOne 支持使用 LOAD DATA 命令导入 csv 和 jl 格式。

  • 一种是支持导入 csv 格式的数据，具体导入方式可以参考插入 csv 文件。
  • 一种是支持导入 jl 格式的数据，即 jsonlines 格式，具体导入方式可以参考插入 jsonlines 文件。

从不同存储位置进行导入

根据数据存储位置不同的情况，MatrixOne 支持使用 LOAD DATA 命令从本地进行导入和从对象存储服务（Simple Storage Service, S3) 导入。

SOURCE

MatrixOne 支持使用 SOURCE 命令从外部 SQL 脚本文件执行 SQL 语句导入整个数据库结构（包括表结构和数据）。SOURCE 命令在处理大量数据时可能没有 LOAD DATA 命令性能高，因为它需要解析和执行每个 SQL 语句。

更多导入能力

  • MatrixOne 支持并行加载数据文件：数据文件较大时，为了提升加载速度，MatrixOne 也支持并行加载，可参见 LOAD DATA 导入数据的参数说明。
  • 在 MatrixOne 分布式集群中，除了本地导入数据和从公有云对象存储 S3 导入数据到 MatrixOne，还可以通过本地 Minio 组件导入数据，操作详情，参见本地对象存储导入导入数据。