model.md 7.52 KB
Newer Older
Wei Shoulin's avatar
Wei Shoulin committed
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# DFS数据模型

## 0级数据

| 列名           | 类型                      | 说明          |
|------------|-------------------------|-------------------|
| level0_id    | str          | 0级数据的ID                  |
| project_id   | str          | Project的ID                 |
| obs_id       | str          | 观测的ID                     |
| detector_no  | str          | 探测器的编号                  |
| file_type    | str          | 观测文件的类型                |
| module_id    | str          | 模块的ID                     |
| filter       | str          | 滤光片                       |
| obs_time     | datetime     | 观测时间                     |
| exp_start    | float        | 曝光开始时间)                |
| exp_time     | float        | 曝光时间                     |
| file_name    | str          | 文件名                      |
| file_path    | str          | 文件路径                     |
| file_size    | int          | 文件大小(以字节为单位)       |
| qc0_status   | int          | QC0状态                     |
| qc0_time     | datetime     | QC0时间                     |
| prc_status   | int          | 处理状态,默认为-1024未处理   |
| prc_time     | datetime     | 处理时间                    |
Wei Shoulin's avatar
Wei Shoulin committed
24
25
| dataset      | str          | 数据集标识                   |
| create_time  | datetime     | 创建时间                     |
Wei Shoulin's avatar
Wei Shoulin committed
26
27
28

**附加的头部信息**:('RA_OBJ', 'DEC_OBJ', 'CRPIX1', 'CRPIX2', 'CRVAL1', 'CRVAL2', 'CTYPE1', 'CTYPE2', 'CD1_1', 'CD1_2', 'CD2_1', 'CD2_2', 'FILTER', 'OBJECT')

Wei Shoulin's avatar
add    
Wei Shoulin committed
29
## 0级数据处理记录
Wei Shoulin's avatar
Wei Shoulin committed
30
31
32
33
34
35

| 列名           | 类型                      | 说明         |
|------------|-------------------------|----------------------|
| level0_id    | str          | 0级数据的ID               |
| pipeline_id  | str          | 流水线的ID               |
| run_id       | str          | run ID                  |
Wei Shoulin's avatar
Wei Shoulin committed
36
37
| batch_id     | str          | 批次ID     |
| dataset      | str          | 数据集标识                    |
Wei Shoulin's avatar
Wei Shoulin committed
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
| prc_status   | int          | 处理状态                  |
| prc_time     | datetime     | 处理时间                  |
| prc_module   | str          | 处理模块                  |
| message      | str          | 消息                     |

## 1级数据

| 列名            | 类型                      | 说明           |
|-------------|-------------------------|---------------------|
| project_id    | str         | 项目ID                      |
| level0_id     | str         | 0级数据ID                     |
| level1_id     | str         | 1级数据ID                    |
| obs_id        | str         | 观测ID                       |
| detector_no   | str         | 探测器编号                    |
| file_type     | str         | 文件类型                      |
| module_id     | str         | 模块ID                       |
| filter        | str         | 滤光片                        |
| obs_time      | datetime    | 观测时间                      |
| file_name     | str         | 文件名称                       |
| file_path     | str         | 文件路径                      |
| file_size     | int         | 文件大小                    |
| qc1_status    | int         | QC1状态,默认为0             |
| qc1_time      | datetime    | QC1的时间                  |
| prc_status    | int         | 处理状态,默认为-1024未处理   |
| prc_time      | datetime    | 处理时间                    |
Wei Shoulin's avatar
Wei Shoulin committed
63
| pipeline_id   | str         | 处理管线ID                  |
Wei Shoulin's avatar
Wei Shoulin committed
64
65
66
| pmapname      | str         | ccds pmap的名称             |
| build         | int         | 构建版本编号                 |
| run_id        | str         | 运行ID                      |
Wei Shoulin's avatar
Wei Shoulin committed
67
68
| batch_id      | str         | 运行批次ID            |
| dataset       | str         | 数据集标识                   |
Wei Shoulin's avatar
Wei Shoulin committed
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
| create_time   | datetime    | 创建时间                     |

**附加的头部信息**

这里按模块区分,每个模块有其对应的头部信息:

'MSC': ('FILTER','RA_OBJ','DEC_OBJ','V_WCS','T_WCS','S_WCS','WCSAXE','CTYPE1','CTYPE2','CUNIT1','CUNIT2','CRVAL1','CRVAL2','CRPIX1','CRPIX2','CD1_1','CD1_2','CD2_1','CD2_2','PV1_0','PV1_1','PV1_2','PV1_3','PV1_4','PV1_5','PV1_6','PV1_7','PV1_8','PV1_9','PV1_10','PV1_11','PV1_12','PV1_13','PV1_14','PV1_15','PV1_16','PV1_17','PV1_18','PV1_19','PV1_20','PV1_21','PV1_22','PV1_23','PV2_0','PV2_1','PV2_2','PV2_3','PV2_4','PV2_5','PV2_6','PV2_7','PV2_8','PV2_9','PV2_10','PV2_11','PV2_12','PV2_13','PV2_14','PV2_15','PV2_16','PV2_17','PV2_18','PV2_19','PV2_20','PV2_21','PV2_22','PV2_23','RA_CEN','DEC_CEN','ASTRMED1','ASTRMED2','ASTRRMS1','ASTRRMS2','NS_WCS','EQUINOX','NAXIS','NAXIS1','NAXIS2','RADECSYS','MIN_RA','MAX_RA','MIN_DEC','MAX_DEC','BRICK_ID')

'IFS': ('RA_OBJ', 'DEC_OBJ', 'OBJECT', 'RSS_VER', 'PROCESS','DATE_PROC', 'OBJ_ID', 'CUBE_VER', 'WCS_VER', 'FILE_VER', 'CTYPE3', 'NEXP', 'EXP_TIME'),

'MCI': ('RA_OBJ', 'DEC_OBJ', 'OBJECT'),

'CPIC': ('RA_OBJ', 'DEC_OBJ', 'OBJECT'),

'HSTDM': ('RA_OBJ', 'DEC_OBJ', 'OBJECT')

Wei Shoulin's avatar
add    
Wei Shoulin committed
85
## 1级数据处理记录
Wei Shoulin's avatar
Wei Shoulin committed
86
87
88
89
90
91

| 列名           | 类型                 | 说明            |
|------------|-------------------------|----------------|
| level1_id    | str          | 1级数据的ID              |
| pipeline_id  | str          | 流水线的ID               |
| run_id       | str          | run的ID                 |
Wei Shoulin's avatar
Wei Shoulin committed
92
93
| dataset      | str          | 数据集                   |
| batch_id     | str          | 批次ID                  |
Wei Shoulin's avatar
Wei Shoulin committed
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
| prc_status   | int          | 处理状态                 |
| prc_time     | datetime     | 处理时间                 |
| prc_module   | str          | 处理模块                 |
| message      | str          | 消息                    |

## 2级数据

| 列名            | 类型                      | 说明 |
|-------------|-------------------------|--------------------|
| project_id    | str         | 项目ID                        |
| level0_id     | str         | 0级数据ID                      |
| level1_id     | str         | 1级数据ID                     |
| level2_id     | str         | 2级数据ID                     |
| brick_id      | int         | 天区ID                       |
| obs_id        | str         | 观测ID                       |
| detector_no   | str         | 探测器编号                    |
| data_type     | str         | 数据的类型                    |
| module_id     | str         | 模块ID                       |
| filter        | str         | 滤光片                        |
| obs_time      | datetime    | 观测时间                       |
| file_name     | str         | 文件的名称                     |
| file_path     | str         | 文件在文件系统中的路径           |
| file_size     | int         | 文件的大小(以字节为单位)        |
| qc2_status    | int         | QC2状态,默认为0                |
| qc2_time      | datetime    | QC2时间                        |
Wei Shoulin's avatar
Wei Shoulin committed
119
120
121
122
123
124
125
| prc_status    | int         | 处理状态,默认为-1024           |
| prc_time      | datetime    | 数据处理时间                    |
| pipeline_id   | str         | 处理管道ID                      |
| build         | int         | 软件构建版本的编号               |
| run_id        | str         | 运行ID                         |
| dataset       | str         | 数据集标识                      |
| batch_id      | str         | 批次ID                         |
Wei Shoulin's avatar
Wei Shoulin committed
126
127
128
129
| create_time   | datetime    | 创建的时间                      |

**注释**
暂无其他信息