README.md

# `csst-dag`

# Change log
- [2025-09-15] 旧版csst-dag命令行工具安装方式
  - `pip install git+https://csst-tb.bao.ac.cn/code/csst-cicd/csst-dag.git@7a0108f3 --force-reinstall`
- [2025-09-09] csst-dag将被封装为Docker镜像，原有的基于`python -m csst_dag.cli`的命令行调用方式将被放弃

# Usages

运行之前，需要确定一个本地的 `.csst` 文件夹。

在 `.bashrc` 中加入以下代码

[//]: # (--pull=always)
```shell
# 确定本地 .csst 文件夹路径
export DOT_CSST=~/.csst
# 用自定义命令
alias csst='docker run --rm -v ${DOT_CSST}:/pipeline/app/.csst csu-harbor.csst.nao:10443/csst/csst-dag csst'
```

使 `DOT_CSST` 和 `csst` 命令生效：

```shell
source ~/.bashrc   # or source ~/.zshrc
```

创建 `.csst` 文件夹：

```shell
# 创建`.csst`文件夹
mkdir -p ${DOT_CSST}
```

测试 `csst` 命令是否可以执行：

```shell    
# 执行命令
csst --help
# 查看版本
csst --version
```

更新：
```shell
docker pull csu-harbor.csst.nao:10443/csst/csst-dag:latest
```

主要有以下几个命令组

- `csst env`: 预设环境变量
- `csst plan`: 编排数据查询
  - `csst plan --obs-group=111`
  - `csst plan --dataset=111 --stats=obs_group --to-json`
- `csst dag`: DAG任务操作
  - `csst dag start --dataset=xxx --batch-id=xxx` 
  - `csst dag cancel --dataset=xxx --batch-id=xxx` （需要Scalebox、DFS支持）
  - `csst dag status --dataset=xxx --batch-id=xxx` （需要Scalebox、DFS支持）
  - `csst dag logs --dataset=xxx --batch-id=xxx --status=0` （需要Scalebox、DFS支持）
- `csst file`: 原始数据查询
  - `csst data --data-model=raw --obs-id=10100000001 --stats=obs_group`
    - 查询原始数据，并按照obs_group进行统计
  - `csst data --data-model=csst-msc-l1-mbi --obs-id=10100000001 --stats=obs_group` --output=json
    - 查询数据产品，并按照obs_group进行统计
- `csst catalog` DFS星表查询
  - `csst catalog list` 列出可用的星表
  - `csst catalog show --name=trilegal` 列出指定星表的具体信息
- `csst ccds`: CCDS
  - `csst ccds pmap?`

## 1. `csst env` 环境变量

```shell
# 1. 查看所有预定义环境变量
csst env list

# 2. 查看环境变量
csst env show --name csu

# 3. 保存环境变量到文件 预设name
csst env set --name csu
```

## 2. ``csst plan``
```shell
# 1. 查看编排数据
csst plan \
    --dataset=csst-msc-c9-25sqdeg-v3 \
    --instrument=MSC \
    --obs-type=WIDE \
    --obs-group=W1 \
    --obs-id=10100232366
```


## ``csst dag``
```shell
1. 发起任务
csst dag run **kwargs # 发起任务

2. 查看任务状态（批量）
csst dag status **kwargs # 查看任务状态

3. 查看任务日志（批量和单个）
csst dag log **kwargs # 查看任务日志

4. 取消任务（按条件批量取消，按任务ID取消，或者取消所有）
csst dag cancel **kwargs # 取消任务

5. 0级数据查看
csst data --data-model=raw **kwargs # 查看原始数据

6. 数据产品查看 (可能要区分DFS1/2)
csst data --data-model=csst-msc-l1-mbi **kwargs # 查看产品数据

# TODO: 增加一个--stats命令/选项，按照某些列来统计数据产品
# TODO: 增加一个--print-columns命令/选项，打印数据产品的列名
```