如何使用 Boto3 获取在 AWS Glue 数据目录中添加书签的作业的详细信息?
示例-在AWSGlue数据目录中检索书签作业“book-job”的详细信息。
问题陈述-使用Python中的boto3库检索AWSGlue数据目录中已添加书签的作业的详细信息。
解决这个问题的方法/算法
步骤1-导入boto3和botocore异常以处理异常。
第2步-bookmarked_job_name是必需参数。它应该有已经加入书签的job_name,否则它会抛出EntityNotFoundException。
步骤3-使用boto3库创建AWS会话。确保在默认配置文件中提到region_name。如果未提及,则在创建会话时显式传递region_name。
第4步-为胶水创建一个AWS客户端。
第5步-现在使用get_job_bookmark函数并将bookmarked_job_name作为JobName参数传递。
步骤6-它返回与书签条目相关的详细信息。请注意,如果job_name未添加书签,它将抛出EntityNotFound异常。
第7步-如果检查作业时出现问题,则处理通用异常。
示例
使用以下代码在AWSGlue数据目录中检索书签作业的详细信息-
import boto3 frombotocore.exceptionsimport ClientError def retrieves_details_of_bookmarked_job(bookmarked_job_name) session = boto3.session.Session() glue_client = session.client('glue') try: response = glue_client.get_job_bookmark(JobName=bookmarked_job_name) return response except ClientError as e: raise Exception("boto3 client error in retrieves_details_of_bookmarked_job: " + e.__str__()) except Exception as e: raise Exception("Unexpected error in retrieves_details_of_bookmarked_job: " + e.__str__()) print(retrieves_details_of_bookmarked_job("book-job"))输出结果
{'JobBookmarkEntry': {'JobName': 'book-job', 'Version': 8, 'Run': 2, 'Attempt': 2, 'PreviousRunId': 'jr_dee547c2f78422e34136aa12c85de010b823787833eee04fbf34bc9b8cb4f7b9', 'RunId': 'jr_a035fe15daa31e9a751f02876c26e5d11a829f2689803a9e9643bd61f70273e4', 'JobBookmark': '{"gdf":{"jsonClass":"HadoopDataSourceJobBookmarkState","timestamps":{"R UN":"1","HIGH_BAND":"900000","CURR_LATEST_PARTITION":"0","CURR_LATEST_PA RTITIONS":"","CURR_RUN_START_TIME":"2020-10- 30T13:03:43.730Z","INCLUDE_LIST":""}}}'}, 'ResponseMetadata': {'RequestId': 'bacf1497-***************996f05b3c1', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Feb 2021 13:00:19 GMT', 'contenttype': 'application/x-amz-json-1.1', 'content-length': '535', 'connection': 'keep-alive', 'x-amzn-requestid': 'bacf1497- ******************996f05b3c1'}, 'RetryAttempts': 0}}