AWS Sagemaker SDK提供了两种类型的处理器:处理器(Processor)和脚本处理器(ScriptProcessor)。下面是它们之间的区别和相应的代码示例:
处理器(Processor):
下面是一个使用处理器进行训练任务的示例:
from sagemaker import get_execution_role
from sagemaker.processing import Processor
role = get_execution_role()
input_data = 's3://path/to/input/data'
output_data = 's3://path/to/output/data'
processor = Processor(role=role,
instance_count=1,
instance_type='ml.m5.large',
volume_size_in_gb=10)
processor.run(code='s3://path/to/script.py',
inputs=[input_data],
outputs=[output_data],
arguments=['--param1', 'value1', '--param2', 'value2'])
脚本处理器(ScriptProcessor):
下面是一个使用脚本处理器进行训练任务的示例:
from sagemaker import get_execution_role
from sagemaker.processing import ScriptProcessor
role = get_execution_role()
input_data = 's3://path/to/input/data'
output_data = 's3://path/to/output/data'
script_processor = ScriptProcessor(image_uri='custom-image-uri',
role=role,
instance_count=1,
instance_type='ml.m5.large',
volume_size_in_gb=10)
script_processor.run(code='s3://path/to/script.py',
inputs=[input_data],
outputs=[output_data],
arguments=['--param1', 'value1', '--param2', 'value2'])
以上两个示例展示了使用AWS Sagemaker SDK中的处理器和脚本处理器来运行训练任务的方式。您可以根据自己的需求选择适合的处理器类型。