update META keys

csst_common/io.py

@@ -18,6 +18,7 @@ import bisect
 import warnings
 from copy import deepcopy
 from typing import Optional, Any
+import uuid
 
 from astropy.io import fits
 
@@ -26,32 +27,45 @@ from .time import now
 
 # meta字段和默认值
 REQUIRED_KEYS_IN_META = dict(
-    # 观测数据相关的ID参数
-    dataset="__dataset__",
-    instrument="__instrument__",
-    obs_type="__obs_type__",
-    obs_group="__obs_group__",
-    obs_id="__obs_id__",
-    detector="__detector__",
-    custom_id="__custom_id__",  # 替代brick_id
-    object="__object__",
-    obs_date="1970-01-01T00:00:00.000",
-    # 数据处理相关的参数
-    data_model="__data_model__",  # 数据产品类型，可用于判断入库处理方式；"csst-msc-l1-mbi-cat" -> Table/DataFrame,
-    batch_id="__batch_id__",
-    dag="__dag__",
-    dag_run="__dag_run__",
-    pmapname="__pmapname__",
-    ref_cat="__ref_cat__",
-    qc_status=-1024,
-    created_date="1970-01-01T00:00:00.000",  # 自动设置
-    # 额外的观测筛选参数
-    filter="__filter__",
-    ra=-3.141592653589793,
-    dec=-3.141592653589793,
+    # 编排信息
+    dataset="__unset__",
+    instrument="__unset__",
+    obs_type="__unset__",
+    obs_group="__unset__",
+    obs_id="__unset__",
+    # 探测信息
+    detector="__unset__",
+    filter="__unset__",
+    # 参考信息
+    pmapname="__unset__",
+    ref_cat="__unset__",
+    # 数据处理信息
+    custom_id="__unset__",
+    batch_id="__unset__",
+    dag_group="__unset__",
+    dag_group_run="__unset__",
+    dag="__unset__",
+    dag_run="__unset__",
+    priority=-1,
+    data_list=[],
+    extra_kwargs={},
+    created_time="1970-01-01T00:00:00.000",
+    rerun=-1,
+    # 数据产品信息
+    data_model="__unset__",  # 数据产品类型，手动设置
+    data_uuid="__unset__",  # UUID，自动设置
+    qc_status=-1024,  # QC状态
     # Docker镜像名称和版本
-    docker_image="__docker_image__",  # 自动设置
-    build="__build__",  # 自动设置
+    docker_image="__unset__",  # 镜像名称，自动设置
+    build="__unset__",  # 镜像版本，自动设置
+    # 额外的观测筛选参数
+    object="__unset__",  #  观测目标
+    proposal_id="__unset__",  # 观测申请ID
+    ra=-3.141592653589793,  # 赤经
+    dec=-3.141592653589793,  # 赤纬
+    healpix=-1,  # HEALPix，每种数据产品的nside可以不一样
+    obs_date="1970-01-01T00:00:00.000",  # 观测时间
+    prc_date="1970-01-01T00:00:00.000",  # 处理时间
 )
 
 
@@ -85,7 +99,8 @@ def generate_meta(**kwargs) -> fits.Header:
     # automatically set docker_image, build, and created_date
     meta["docker_image"] = os.getenv("PIPELINE_ID", default="__docker_image__")
     meta["build"] = os.getenv("BUILD", default="__build__")
-    meta["created_date"] = now()
+    meta["prc_date"] = now().isot
+    meta["data_uuid"] = str(uuid.uuid4())
     # convert meta to fits header
     meta_card = fits.Card(
         keyword="META",