Loading README.md +5 −1 Original line number Diff line number Diff line Loading @@ -37,3 +37,7 @@ export CSST_DFS_TOKEN=XXXX ## 数据模型说明 [查看文档](docs/model.md) ## 接口使用说明 [查看文档](docs/usage.md) No newline at end of file csst_dfs_client/level0.py +10 −0 Original line number Diff line number Diff line Loading @@ -85,6 +85,16 @@ def find(project_id: Optional[str] = None, return request.post("/api/level0", params) def get_by_id(_id: str) -> Result: """ 根据内部ID获取0级数据 Args: _id (str): 0级数据的内部ID Returns: Result: 查询结果 """ return request.get(f"/api/level0/_id/{_id}") def find_by_level0_id(level0_id: str) -> Result: Loading docs/catalog.md 0 → 100644 +39 −0 Original line number Diff line number Diff line # 星表数据查询 ## 概述 `csst_dfs_client.catalog` 模块提供了一个 `search` 函数,用于根据给定的参数,使用锥形检索指定范围内的天体数据。 ## 使用示例 ```python from csst_dfs_client import catalog # 查询参数 ra = 90 # 天体赤经(以度为单位) dec = 24.5 # 天体赤纬(以度为单位) radius = 0.21 # 查询半径(以度为单位) catalog_name = 'gaia3' # 星表名称 columns = ['ref_epoch', 'ra', 'ra_error', 'dec', 'dec_error', 'parallax', 'parallax_error', 'pmra', 'pmra_error', 'pmdec', 'pmdec_error', 'phot_g_mean_mag', 'source_id'] # 查询的列名 min_mag = -1 # 最小星等,默认为 -1(无限制) max_mag = -1 # 最大星等,默认为 -1(无限制) obstime = -1 # 观测时间,默认为 0(暂无用) limit = 10 # 查询结果的数量限制,默认为 0(无限制) # 调用 search 函数进行查询 result = catalog.search(ra=ra, dec=dec, radius=radius, catalog_name=catalog_name, columns=columns, min_mag=min_mag, max_mag=max_mag, obstime=obstime, limit=limit ) # 打印查询结果 print(result.data) #result.data为pd.DataFrame对象 ``` - [其他接口](./usage.md) No newline at end of file docs/common.md 0 → 100644 +62 −0 Original line number Diff line number Diff line # 通用接口使用说明 ## 概述 该模块包含了从指定路径下载文件、读取文件、获取文件头信息的函数。 ## 函数列表 1. **download_file** - 功能: 从指定路径下载文件。 - 参数: 文件相对路径。 - 返回值:字节。 2. **read_file** - 功能: 读取指定路径的文件。 - 参数: 文件相对路径。 - 返回值:io.BytesIO。 3. **get_free_header** - 功能: 获取指定文件路径的文件头信息。 - 参数: 文件相对路径。 - 返回值:dict。 ## 示例 ### 1. `download_file` 函数 ```python from csst_dfs_client import download_file try: file_content = download_file("path/to/your/file") print(type(file_content)) except AppError as e: print(f"Error: {e}") ``` ### 2. `read_file` 函数 ```python from csst_dfs_client import read_file try: file_io = read_file("path/to/your/file.txt") print(file_io.getvalue()) except AppError as e: print(f"Error: {e}") ``` ### 3. `get_free_header` 函数 ```python from csst_dfs_client import get_free_header try: header_info = get_free_header("path/to/your/file.txt") print(header_info) except AppError as e: print(f"Error: {e}") ``` - [其他接口](./usage.md) docs/level0.md 0 → 100644 +150 −0 Original line number Diff line number Diff line # 0级数据接口使用说明 ## 概述 0级数据接口模块是 `csst_dfs_client.level0`。该模块包含了搜索0级数据文件记录、将本地文件写入DFS等功能的函数。 ## 函数列表 1. **find** - 功能:根据给定的参数搜索0级数据文件记录。 - 参数:包括项目ID、观测ID、模块ID、探测器编号、文件类型、滤光片、观测时间范围、创建时间范围等。 - 返回值:搜索结果对象。 2. **get_by_id** - 功能:通过0级数据内部ID获取对应的0级数据文件记录。 - 参数:0级数据内部ID。 - 返回值:查询结果对象。 3. **find_by_level0_id** - 功能:通过0级数据ID获取对应的0级数据文件记录。 - 参数:0级数据ID。 - 返回值:查询结果对象。 4. **update_qc0_status** - 功能:更新0级数据的QC0状态。 - 参数:0级数据ID、文件类型、QC0状态、数据集名称(可选)。 - 返回值:操作结果对象,包含操作是否成功以及相关的错误信息。 5. **update_prc_status** - 功能:更新0级数据的处理状态。 - 参数:0级数据ID、文件类型、处理状态、数据集名称(可选)。 - 返回值:操作结果对象,包含操作是否成功以及相关的错误信息。 6. **write** - 功能:将本地文件写入DFS中。 - 参数:本地文件路径、数据集名称(可选)、其他可选的关键字参数。 - 返回值:操作结果对象,包含操作是否成功以及相关的错误信息。 7. **write_cat** - 功能:将主巡天仿真数据的星表本地文件写入DFS中。 - 参数:本地文件路径、数据集名称(可选)、其他可选的关键字参数。 - 返回值:操作结果对象,包含操作是否成功以及相关的错误信息。 8. **process_list** - 功能:通过0级数据ID获取对应的0级数据处理记录。 - 参数:0级数据ID。 - 返回值:查询结果对象。 9. **add_process** - 功能:添加0级数据处理记录。 - 参数:0级数据ID、管线ID、运行ID、数据集名称(可选) - 返回值:操作结果对象,包含操作是否成功以及相关的错误信息。 ## 使用示例 ### 1.搜索0级数据文件记录 ```python from csst_dfs_client import level0 # 搜索0级数据文件记录 result = level0.find(obs_id='some_obs_id', module_id='MSC', page=1, limit=10) print(result) # result.data为list类型,包含0级数据文件记录列表 ``` ### 2. 通过0级数据内部ID获取对应的0级数据文件记录 ```python from csst_dfs_client import level0 result = level0.get_by_id(_id='some_internal_id') print(result) # result.data为0级数据文件单条记录 ``` ### 3. 通过0级数据ID获取对应的0级数据 ```python from csst_dfs_client import level0 result = level0.find_by_level0_id(level0_id='some_level0_id') print(result) # result.data为list类型,包含0级数据的列表 ``` ### 4. 更新0级数据的QC0状态 ```python from csst_dfs_client import level0 result = level0.update_qc0_status(level0_id='some_level0_id', filetype='SCI', qc0_status=1) print(result) ``` ### 5. 更新0级数据的处理状态 ```python from csst_dfs_client import level0 result = level0.update_prc_status(level0_id='some_level0_id', filetype='SCI', prc_status=1) print(result) ``` ### 6.将本地文件写入DFS ```python from csst_dfs_client import level0 # 将本地文件写入DFS local_file_path = 'path/to/your/level0_data.fits' dataset = 'default_dataset' # 可选参数,默认为None result = level0.write(local_file_path, dataset=dataset) print(result) ``` ### 7.将主巡天仿真数据的星表本地文件写入DFS ```python from csst_dfs_client import level0 # 将主巡天仿真数据的星表本地文件写入DFS local_catalog_file_path = 'path/to/your/catalog.cat' dataset = 'default_dataset' # 可选参数,默认为None result = level0.write_cat(local_catalog_file_path, dataset=dataset) print(result) ``` ### 8. 通过0级数据ID获取对应的0级数据处理记录 ```python from csst_dfs_client import level0 result = level0.process_list(level0_id='some_level0_id') print(result)# result.data为list类型,包含0级数据处理记录列表 ``` ### 9. 添加0级数据处理记录 ```python from csst_dfs_client import level0 result = level0.add_process( level0_id='some_level0_id', pipeline_id='some_pipeline_id', run_id='some_run_id', batch_id='some_batch_id', dataset='default_dataset', prc_status=1, prc_time='2024-11-07 10:24:12', prc_module='some_function_name', message='some_message') print(result) ``` - [其他接口](./usage.md) Loading
README.md +5 −1 Original line number Diff line number Diff line Loading @@ -37,3 +37,7 @@ export CSST_DFS_TOKEN=XXXX ## 数据模型说明 [查看文档](docs/model.md) ## 接口使用说明 [查看文档](docs/usage.md) No newline at end of file
csst_dfs_client/level0.py +10 −0 Original line number Diff line number Diff line Loading @@ -85,6 +85,16 @@ def find(project_id: Optional[str] = None, return request.post("/api/level0", params) def get_by_id(_id: str) -> Result: """ 根据内部ID获取0级数据 Args: _id (str): 0级数据的内部ID Returns: Result: 查询结果 """ return request.get(f"/api/level0/_id/{_id}") def find_by_level0_id(level0_id: str) -> Result: Loading
docs/catalog.md 0 → 100644 +39 −0 Original line number Diff line number Diff line # 星表数据查询 ## 概述 `csst_dfs_client.catalog` 模块提供了一个 `search` 函数,用于根据给定的参数,使用锥形检索指定范围内的天体数据。 ## 使用示例 ```python from csst_dfs_client import catalog # 查询参数 ra = 90 # 天体赤经(以度为单位) dec = 24.5 # 天体赤纬(以度为单位) radius = 0.21 # 查询半径(以度为单位) catalog_name = 'gaia3' # 星表名称 columns = ['ref_epoch', 'ra', 'ra_error', 'dec', 'dec_error', 'parallax', 'parallax_error', 'pmra', 'pmra_error', 'pmdec', 'pmdec_error', 'phot_g_mean_mag', 'source_id'] # 查询的列名 min_mag = -1 # 最小星等,默认为 -1(无限制) max_mag = -1 # 最大星等,默认为 -1(无限制) obstime = -1 # 观测时间,默认为 0(暂无用) limit = 10 # 查询结果的数量限制,默认为 0(无限制) # 调用 search 函数进行查询 result = catalog.search(ra=ra, dec=dec, radius=radius, catalog_name=catalog_name, columns=columns, min_mag=min_mag, max_mag=max_mag, obstime=obstime, limit=limit ) # 打印查询结果 print(result.data) #result.data为pd.DataFrame对象 ``` - [其他接口](./usage.md) No newline at end of file
docs/common.md 0 → 100644 +62 −0 Original line number Diff line number Diff line # 通用接口使用说明 ## 概述 该模块包含了从指定路径下载文件、读取文件、获取文件头信息的函数。 ## 函数列表 1. **download_file** - 功能: 从指定路径下载文件。 - 参数: 文件相对路径。 - 返回值:字节。 2. **read_file** - 功能: 读取指定路径的文件。 - 参数: 文件相对路径。 - 返回值:io.BytesIO。 3. **get_free_header** - 功能: 获取指定文件路径的文件头信息。 - 参数: 文件相对路径。 - 返回值:dict。 ## 示例 ### 1. `download_file` 函数 ```python from csst_dfs_client import download_file try: file_content = download_file("path/to/your/file") print(type(file_content)) except AppError as e: print(f"Error: {e}") ``` ### 2. `read_file` 函数 ```python from csst_dfs_client import read_file try: file_io = read_file("path/to/your/file.txt") print(file_io.getvalue()) except AppError as e: print(f"Error: {e}") ``` ### 3. `get_free_header` 函数 ```python from csst_dfs_client import get_free_header try: header_info = get_free_header("path/to/your/file.txt") print(header_info) except AppError as e: print(f"Error: {e}") ``` - [其他接口](./usage.md)
docs/level0.md 0 → 100644 +150 −0 Original line number Diff line number Diff line # 0级数据接口使用说明 ## 概述 0级数据接口模块是 `csst_dfs_client.level0`。该模块包含了搜索0级数据文件记录、将本地文件写入DFS等功能的函数。 ## 函数列表 1. **find** - 功能:根据给定的参数搜索0级数据文件记录。 - 参数:包括项目ID、观测ID、模块ID、探测器编号、文件类型、滤光片、观测时间范围、创建时间范围等。 - 返回值:搜索结果对象。 2. **get_by_id** - 功能:通过0级数据内部ID获取对应的0级数据文件记录。 - 参数:0级数据内部ID。 - 返回值:查询结果对象。 3. **find_by_level0_id** - 功能:通过0级数据ID获取对应的0级数据文件记录。 - 参数:0级数据ID。 - 返回值:查询结果对象。 4. **update_qc0_status** - 功能:更新0级数据的QC0状态。 - 参数:0级数据ID、文件类型、QC0状态、数据集名称(可选)。 - 返回值:操作结果对象,包含操作是否成功以及相关的错误信息。 5. **update_prc_status** - 功能:更新0级数据的处理状态。 - 参数:0级数据ID、文件类型、处理状态、数据集名称(可选)。 - 返回值:操作结果对象,包含操作是否成功以及相关的错误信息。 6. **write** - 功能:将本地文件写入DFS中。 - 参数:本地文件路径、数据集名称(可选)、其他可选的关键字参数。 - 返回值:操作结果对象,包含操作是否成功以及相关的错误信息。 7. **write_cat** - 功能:将主巡天仿真数据的星表本地文件写入DFS中。 - 参数:本地文件路径、数据集名称(可选)、其他可选的关键字参数。 - 返回值:操作结果对象,包含操作是否成功以及相关的错误信息。 8. **process_list** - 功能:通过0级数据ID获取对应的0级数据处理记录。 - 参数:0级数据ID。 - 返回值:查询结果对象。 9. **add_process** - 功能:添加0级数据处理记录。 - 参数:0级数据ID、管线ID、运行ID、数据集名称(可选) - 返回值:操作结果对象,包含操作是否成功以及相关的错误信息。 ## 使用示例 ### 1.搜索0级数据文件记录 ```python from csst_dfs_client import level0 # 搜索0级数据文件记录 result = level0.find(obs_id='some_obs_id', module_id='MSC', page=1, limit=10) print(result) # result.data为list类型,包含0级数据文件记录列表 ``` ### 2. 通过0级数据内部ID获取对应的0级数据文件记录 ```python from csst_dfs_client import level0 result = level0.get_by_id(_id='some_internal_id') print(result) # result.data为0级数据文件单条记录 ``` ### 3. 通过0级数据ID获取对应的0级数据 ```python from csst_dfs_client import level0 result = level0.find_by_level0_id(level0_id='some_level0_id') print(result) # result.data为list类型,包含0级数据的列表 ``` ### 4. 更新0级数据的QC0状态 ```python from csst_dfs_client import level0 result = level0.update_qc0_status(level0_id='some_level0_id', filetype='SCI', qc0_status=1) print(result) ``` ### 5. 更新0级数据的处理状态 ```python from csst_dfs_client import level0 result = level0.update_prc_status(level0_id='some_level0_id', filetype='SCI', prc_status=1) print(result) ``` ### 6.将本地文件写入DFS ```python from csst_dfs_client import level0 # 将本地文件写入DFS local_file_path = 'path/to/your/level0_data.fits' dataset = 'default_dataset' # 可选参数,默认为None result = level0.write(local_file_path, dataset=dataset) print(result) ``` ### 7.将主巡天仿真数据的星表本地文件写入DFS ```python from csst_dfs_client import level0 # 将主巡天仿真数据的星表本地文件写入DFS local_catalog_file_path = 'path/to/your/catalog.cat' dataset = 'default_dataset' # 可选参数,默认为None result = level0.write_cat(local_catalog_file_path, dataset=dataset) print(result) ``` ### 8. 通过0级数据ID获取对应的0级数据处理记录 ```python from csst_dfs_client import level0 result = level0.process_list(level0_id='some_level0_id') print(result)# result.data为list类型,包含0级数据处理记录列表 ``` ### 9. 添加0级数据处理记录 ```python from csst_dfs_client import level0 result = level0.add_process( level0_id='some_level0_id', pipeline_id='some_pipeline_id', run_id='some_run_id', batch_id='some_batch_id', dataset='default_dataset', prc_status=1, prc_time='2024-11-07 10:24:12', prc_module='some_function_name', message='some_message') print(result) ``` - [其他接口](./usage.md)