InferenceConfig Класс

Ссылка

Представляет параметры конфигурации для пользовательской среды, используемой для развертывания.

Конфигурация вывода является входным параметром для действий Model, связанных с развертыванием:

Инициализируйте объект конфигурации.

Наследование: builtins.object

InferenceConfig

Конструктор

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Параметры

Имя	Описание
entry_script Обязательно	str Путь к локальному файлу, содержащему код, выполняемый для образа.
runtime	str Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python. Default value: None
conda_file	str Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа. Default value: None
extra_docker_file_steps	str Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа. Default value: None
source_directory	str Путь к папке, содержащей все файлы для создания образа. Default value: None
enable_gpu	bool Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Значение по умолчанию — False. Default value: None
description	str Описание для этого образа. Default value: None
base_image	str Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения. Default value: None
base_image_registry	ContainerRegistry Реестр образов, содержащий базовый образ. Default value: None
cuda_version	str Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0. Если задан параметр `enable_gpu`, по умолчанию используется версия 9.1. Default value: None
environment	Environment Объект среды, используемый для развертывания. Среду не нужно регистрировать. Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются `entry_script`, `source_directory` и `description`. Default value: None
entry_script Обязательно	str Путь к локальному файлу, содержащему код, выполняемый для образа.
runtime Обязательно	str Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.
conda_file Обязательно	str Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.
extra_docker_file_steps Обязательно	str Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.
source_directory Обязательно	str Путь к папке, содержащей все файлы для создания образа.
enable_gpu Обязательно	bool Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Значение по умолчанию — False.
description Обязательно	str Описание для этого образа.
base_image Обязательно	str Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.
base_image_registry Обязательно	ContainerRegistry Реестр образов, содержащий базовый образ.
cuda_version Обязательно	str Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0. Если задан параметр `enable_gpu`, по умолчанию используется версия 9.1.
environment Обязательно	Environment Объект среды, используемый для развертывания. Среду не нужно регистрировать. Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются `entry_script`, `source_directory` и `description`.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Переменные

Имя	Описание
entry_script	str Путь к локальному файлу, содержащему код, выполняемый для образа.
runtime	str Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.
conda_file	str Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.
extra_docker_file_steps	str Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.
source_directory	str Путь к папке, содержащей все файлы для создания образа.
enable_gpu	bool Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes.
azureml.core.model.InferenceConfig.description	Описание для этого образа.
base_image	str Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.
base_image_registry	ContainerRegistry Реестр образов, содержащий базовый образ.
cuda_version	str Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0. Если задан параметр `enable_gpu`, по умолчанию используется версия 9.1.
azureml.core.model.InferenceConfig.environment	Объект среды, используемый для развертывания. Среду не нужно регистрировать. Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются `entry_script`, `source_directory` и `description`.

Методы

build_create_payload	Создает полезные данные создания для образа контейнера.
build_profile_payload	Создает полезные данные профилирования для пакета модели.
validate_configuration	Проверка допустимости указанных значений конфигурации. Генерирует WebserviceException, если проверка завершается неудачно.
validation_script_content	Убедитесь, что синтаксис скрипта оценки допустим с помощью ast.parse. Генерирует UserErrorException, если проверка завершается неудачно.

build_create_payload

Создает полезные данные создания для образа контейнера.

build_create_payload(workspace, name, model_ids)

Параметры

Имя	Описание
workspace Обязательно	Workspace Объект рабочей области для создания образа.
name Обязательно	str Имя изображения.
model_ids Обязательно	list[str] Список идентификаторов моделей для упаковки в образ.

Возвращаемое значение

Тип	Описание
dict	Полезные данные для создания образа контейнера.

Исключения

Тип	Описание
WebserviceException

build_profile_payload

Создает полезные данные профилирования для пакета модели.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Параметры

Имя	Описание
profile_name Обязательно	str Имя запуска профилирования.
input_data	str Входные данные для профилирования. Default value: None
workspace	Workspace Объект рабочей области, в котором необходимо профилировать модель. Default value: None
models	list[Model] Список объектов модели. Может быть пустым списком. Default value: None
dataset_id	str Идентификатор, связанный с набором данных, содержащим входные данные для выполнения профилирования. Default value: None
container_resource_requirements	ContainerResourceRequirements Требования к ресурсам контейнера для самого крупного экземпляра, на котором должна быть развернута модель. Default value: None
description	str Описание, связываемое с сеансом профилирования. Default value: None

Возвращаемое значение

Тип	Описание
dict	Полезные данные профиля модели.

Исключения

Тип	Описание
WebserviceException

validate_configuration

Проверка допустимости указанных значений конфигурации.

Генерирует WebserviceException, если проверка завершается неудачно.

validate_configuration()

Исключения

Тип	Описание
WebserviceException

validation_script_content

Убедитесь, что синтаксис скрипта оценки допустим с помощью ast.parse.

Генерирует UserErrorException, если проверка завершается неудачно.

validation_script_content()

Исключения

Тип	Описание
UserErrorException

Поделиться через

InferenceConfig Класс

Конструктор

Параметры

Комментарии

Переменные

Методы

build_create_payload

Параметры

Возвращаемое значение

Исключения

build_profile_payload

Параметры

Возвращаемое значение

Исключения

validate_configuration

Исключения

validation_script_content

Исключения

Обратная связь

Дополнительные ресурсы