Applet: 数据分析应用

使用Pigsty工具箱进行数据分析与可视化

Applet的结构

Applet，是一种自包含的，运行于Pigsty基础设施中的数据小应用。

一个Pigsty应用通常包括以下内容中的至少一样或全部：

  • 图形界面（Grafana Dashboard定义） 放置于ui目录
  • 数据定义（PostgreSQL DDL File），放置于 sql 目录
  • 数据文件（各类资源，需要下载的文件），放置于data目录
  • 逻辑脚本（执行各类逻辑），放置于bin目录

Pigsty默认提供了几个样例应用：

  • pglog， 分析PostgreSQL CSV日志样本。
  • covid， 可视化WHO COVID-19数据，查阅各国疫情数据。
  • pglog， NOAA ISD，可以查询全球30000个地表气象站从1901年来的气象观测记录。

应用的结构

一个Pigsty应用会在应用根目录提供一个安装脚本：install或相关快捷方式。您需要使用管理用户在元节点执行安装。安装脚本会检测当前的环境（获取 METADB_URL， PIGSTY_HOME，GRAFANA_ENDPOINT等信息以执行安装）

通常，带有APP标签的面板会被列入Pigsty Grafana首页导航中App下拉菜单中，带有APP和Overview标签的面板则会列入首页面板导航中。

您可以从 https://github.com/Vonng/pigsty/releases/download/v1.5.1/app.tgz 下载带有基础数据的应用进行安装。

COVID

COVID是一个可视化WHO COVID-19数据，查阅各国疫情数据的应用样例。

公开演示：http://demo.pigsty.cc/d/covid-overview

安装方式

  1. cd covid
  2. make all         # 完整安装（会从WHO下载最新数据）
  3. make all2        # 完整安装（会直接使用本地下载好的数据）

更精细的控制：

  1. make ui          # 将covid dashboards安装至grafana
  2. make sql         # 将covid 数据库表定义创建至metadb中
  3. make download    # 下载WHO最新数据
  4. make load        # 加载下载好的WHO数据
  5. make reload      # download + load

如果已经下载了数据（例如，通过下载app.tgz获得应用程序），运行make all2代替，以跳过下载。

PGLOG：PG自带日志分析应用

Pigsty自带的，用于分析PostgreSQL CSV日志样本的一个样例Applet

COVID：WHO新冠疫情数据大盘

Pigsty自带的，用于展示世界卫生组织官方疫情数据的一个样例Applet

NOAA ISD气象站历史数据查询

以ISD数据集为例，展现如何将数据导入数据库中

最后修改 2022-06-18: v1.5.1 (8de4142)