Поделиться через


установить пакет SDK для Машинного обучения Azure для Python.

В этой статье приводятся инструкции для разных вариантов установки пакета SDK.

Необходимые компоненты


Установка по умолчанию

Используйте azureml-core.

pip install azureml-core

Затем установите другие пакеты, необходимые для конкретного задания.

Установка обновления

Совет

Мы рекомендуем всегда обновлять azureml-core до последней версии.

Обновление предыдущей версии:

pip install --upgrade azureml-core

Проверка версии

Проверьте версию пакета SDK:

pip show azureml-core

Чтобы просмотреть все пакеты в среде, сделайте следующее:

pip list

Вы также можете отобразить версию пакета SDK в Python, но эта версия не включает дополнительный номер версии.

import azureml.core
print(azureml.core.VERSION)

Дополнительные сведения о настройке среды разработки для Службы машинного обучения Azure см. в этой статье.

Другие пакеты azureml

Пакет SDK содержит множество других необязательных пакетов, которые можно установить. К ним относятся зависимости, которые не являются обязательными для всех сценариев использования, поэтому они не включены в пакет установки по умолчанию, чтобы избежать раздувания среды. В следующей таблице описаны пакеты , их варианты использования и команда для установки, обновления и проверки версии.

Дополнительный пакет Вариант использования Установка и обновление и отображение версии
azureml-automl-core Содержит основные классы автоматизированного машинного обучения для Машинного обучения Azure.
Этот пакет используется в azureml-train-automl-client и azureml-train-automl-runtime.
pip install azureml-automl-core
pip install --upgrade azureml-automl-core
pip show azureml-automl-core
azureml-accel-models Ускоряет работу глубокой нейронной сети в ППВМ с помощью функции "Модели с аппаратным ускорением" службы машинного обучения Azure. pip install azureml-accel-models
pip install --upgrade azureml-accel-models
pip show azureml-accel-models
azureml-train-automl Предоставляет классы для создания и запуска экспериментов с автоматизированным машинным обучением. Также устанавливает распространенные пакеты для обработки и анализа данных, включая pandas, numpy и scikit-learn.

Если вы хотите отправлять запуски автоматизированного машинного обучения на удаленном компьютере и не хотите выполнять машинное обучение локально, мы рекомендуем использовать тонкий клиент, azureml-train-automl-client (пакет в составе azureml-sdk).

См. дополнительные рекомендации по вариантам использования, чтобы узнать больше об установке полного пакета SDK automl или его тонкого клиента, azureml-train-automl-client, и о работе с ними.

Аналогично стандарту Python поддерживается совместимость только с одной старшей и одной младшей версией, но только для полного пакета azureml-train-automl. Например, если модель была обучена с пакетом SDK версии 1.29.0, вы можете выполнить вывод с помощью пакетов SDK версий 1.28.0–1.30.0.
Для локальной среды conda:
pip install azureml-train-automl
pip install --upgrade azureml-train-automl pip install show azureml-train-automl

Тонкий клиент для удаленных вычислений:
pip install azureml-train-automl-client
pip install --upgrade azureml-train-automl-client
pip install show azureml-train-automl-client
azureml-contrib Устанавливает пакеты azureml-contrib-*, которые включают экспериментальную функциональность или предварительные версии функций. pip install azureml-contrib
pip install --upgrade azureml-contrib
pip show azureml-contrib
azureml-datadrift Содержит функциональные возможности для обнаружения смещения данных для обучения модели относительно данных оценки. pip install azureml-datadrift
pip install --upgrade azureml-datadrift
pip show azureml-datadrift
azureml-interpret Используется для интерпретируемости моделей, включая в себя показатели важности функций и классов для моделей "черного ящика" и "белого ящика". pip azureml-interpret
pip install --upgrade azureml-interpret
pip show azureml-interpret
azureml-widgets Содержит основные пакеты, модули и классы для Машинного обучения Azure. pip install azureml-widgets
pip install --upgrade azureml-widgets
pip show azureml-widgets
azureml-contrib-services Предоставляет функции для скриптов оценки, чтобы запрашивать доступ по протоколу HTTP в режиме RAW. pip install azureml-contrib-services
pip install --upgrade azureml-contrib-services
pip show azureml-contrib-services
azureml-tensorboard Предоставляет классы и методы для экспорта журнала выполнения экспериментов и запуска TensorBoard для визуализации данных о производительности и структуры эксперимента. pip install azureml-tensorboard
pip install --upgrade azureml-tensorboard
pip show azureml-tensorboard
azureml-mlflow Содержит функциональные возможности, которые обеспечивают интеграцию Машинного обучения Azure с MLFlow. pip install azureml-mlflow
pip install --upgrade azureml-mlflow
pip show azureml-mlflow
azureml-automl-runtime Содержит классы автоматизированного ML для выполнения запусков в Машинном обучении Azure. pip install azureml-automl-runtime
pip install --upgrade azureml-automl-runtime
pip show azureml-automl-runtime
azureml-widgets Содержит функциональные возможности для просмотра хода выполнения этапов обучения машинного обучения в записных книжках Jupyter. pip install azureml-widgets
pip install --upgrade azureml-widgets
pip show azureml-widgets
azureml-train-restclients-hyperdrive Содержит классы, необходимые для создания запусков HyperDriveRun с помощью azureml-train-core. pip install azureml-train-restclients-hyperdrive
pip install --upgrade azureml-train-restclients-hyperdrive
pip show azureml-train-restclients-hyperdrive
azureml-train-core Содержит базовые классы оценщика и общий класс оценщика, оценщики для использования в обучении с глубокой нейронной сетью, оценщики для обучения со Scikit-Learn, модули и классы для поддержки настройки гиперпараметров. pip install azureml-core
pip install --upgrade azureml-core
pip show azureml-core
azureml-train-automl-runtime Содержит функциональные возможности, представляющие основные компоненты автоматизированного машинного обучения и среды выполнения в Машинном обучении Azure. pip install azureml-train-automl-runtime
pip install --upgrade azureml-train-automl-runtime
pip show azureml-train-automl-runtime
azureml-train-automl-client Содержит основные пакеты, модули и классы для Машинного обучения Azure. pip install azureml-train-automl-client
pip install --upgrade azureml-train-automl-client
pip show azureml-train-automl-client
azureml-telemetry Этот пакет используется для сбора данных телеметрии, таких как сообщения журнала, метрики, события и сообщения о действиях. pip install azureml-telemetry
pip install --upgrade azureml-telemetry
pip show azureml-telemetry
azureml-synapse Содержит магическую команду для управления сеансом Synapse и отправки кода, а также мини-приложение SparkMonitor для мониторинга хода выполнения заданий Spark (для Jupyter и JupyterLab). pip install azureml-synapse
pip install --upgrade azureml-synapse
pip show azureml-synapse
azureml-sdk Этот пакет используется для создания и запуска рабочих процессов машинного обучения в службе "Машинное обучение Azure". pip install azureml-sdk
pip install --upgrade azureml-sdk
pip show azureml-sdk
azureml-pipeline-steps Содержит предварительно созданные этапы, которые можно выполнить в конвейере Машинного обучения Azure. pip install azureml-pipeline-steps
pip install --upgrade azureml-pipeline-steps
pip show azureml-pipeline-steps
azureml-pipeline-core Содержит основные функциональные возможности для конвейеров Машинного обучения Azure, которые являются настраиваемыми рабочими процессами машинного обучения. pip install azureml-pipeline-core
pip install --upgrade azureml-pipeline-core
pip show azureml-pipeline-core
azureml-pipeline Этот пакет используется при сборке, оптимизации и администрировании рабочих процессов машинного обучения. pip install azureml-pipeline
pip install --upgrade azureml-pipeline
pip show azureml-pipeline
azureml-opendatasets Содержит основные функциональные возможности для конвейеров Машинного обучения Azure, которые являются настраиваемыми рабочими процессами машинного обучения. pip install azureml-opendatasets
pip install --upgrade azureml-opendatasets
pip show azureml-opendatasets
azureml-interpret Содержит функциональные возможности для работы с интерпретируемостью моделей в Машинном обучении Azure. pip install azureml-interpret
pip install --upgrade azureml-interpret
pip show azureml-interpret
azureml-defaults Этот пакет является метапакетом, используемым внутренне Машинным обучением Azure. pip install azureml-defaults
pip install --upgrade azureml-defaults
pip show azureml-defaults
azureml-dataset-runtime Он предназначен для координации зависимостей в пакетах AzureML. Этот пакет является внутренним и не предназначен для непосредственного использования. pip install azureml-dataset-runtime
pip install --upgrade azureml-dataset-runtime
pip show azureml-dataset-runtime
azureml-datadrift Содержит функциональные возможности для обнаружения смещения данных для обучения модели относительно данных оценки. pip install azureml-datadrift
pip install --upgrade azureml-datadrift
pip show azureml-datadrift
azureml-contrib-server Этот пакет является локальной службой HTTP, используемой для предоставления подмножества функциональных возможностей, доступных в пакете SDK для AzureML, средствам VS для расширений ИИ (VSCode и Visual Studio). pip install azureml-contrib-server
pip install --upgrade azureml-contrib-server
pip show azureml-contrib-server
azureml-contrib-run Этот пакет используется для хранения кода интеграции AzureML с Mlflow. pip install azureml-core
pip install --upgrade azureml-core
pip show azureml-core
azureml-contrib-reinforcementlearning Содержит функциональные возможности для создания целевого объекта вычислений Windows в Машинном обучении Azure. pip install azureml-contrib-reinforcementlearning
pip install --upgrade azureml-contrib-reinforcementlearning
pip show azureml-contrib-reinforcementlearning
azureml-contrib-pipeline-steps Содержит модули и классы для специализированных этапов конвейера Машинного обучения Azure и соответствующей конфигурации. pip install azureml-contrib-pipeline-steps
pip install --upgrade azureml-contrib-pipeline-steps
pip show azureml-contrib-pipeline-steps
azureml-contrib-notebook Содержит расширения для работы с записными книжками Jupyter в Машинном обучении Azure. pip install azureml-contrib-notebook
pip install --upgrade azureml-contrib-notebook
pip show azureml-contrib-notebook
azureml-contrib-gbdt Этот пакет содержит оценщик LightGBM. pip install azureml-contrib-gbdt
pip install --upgrade azureml-contrib-gbdt
pip show azureml-contrib-gbdt
azureml-contrib-functions Содержит функциональные возможности для упаковки моделей Машинного обучения Azure для развертывания в Функциях Azure. pip install azureml-contrib-functions
pip install --upgrade azureml-contrib-functions
pip show azureml-contrib-functions
azureml-contrib-fairness Этот пакет поддерживает использование панелей мониторинга оценки справедливости в Студии машинного обучения Azure. pip install azureml-contrib-fairness
pip install --upgrade azureml-contrib-fairness
pip show azureml-contrib-fairness
azureml-contrib-dataset Содержит специализированные функциональные возможности для работы с объектами наборов данных в Машинном обучении Azure. pip install azureml-contrib-dataset
pip install --upgrade azureml-contrib-dataset
pip show azureml-contrib-dataset
azureml-contrib-automl-pipeline-steps Содержит предварительно созданные этапы, которые можно выполнить в конвейере Машинного обучения Azure. pip install azureml-contrib-automl-pipeline-steps
pip install --upgrade azureml-contrib-automl-pipeline-steps
pip show azureml-contrib-automl-pipeline-steps
azureml-contrib-automl-dnn-vision Этот пакет предназначен только для использования в скриптах, созданных системой AutoML. Для установки в Windows пакеты torch и torchvision должны быть установлены отдельно до этого пакета. pip install azureml-contrib-automl-dnn-vision
pip install --upgrade azureml-contrib-automl-dnn-vision
pip show azureml-contrib-automl-dnn-vision
azureml-contrib-automl-dnn-forecasting Общий пакет расширения CLI для Машинного обучения Azure. Это общий для azure-cli-ml и azure-cli-ml-preview пакет. pip install azureml-contrib-automl-dnn-forecasting
pip install --upgrade azureml-contrib-automl-dnn-forecasting
pip show azureml-contrib-automl-dnn-forecasting
azureml-contrib-aisc AzureML Contrib для целевого объекта вычислений суперкомпьютера ИИ AzureML. AISCCompute — это управляемая вычислительная инфраструктура ИИ, которую администратор кластера может подключить к рабочей области. pip install azureml-contrib-aisc
pip install --upgrade azureml-contrib-aisc
pip show azureml-contrib-aisc
azureml-cli-common Общий пакет расширения CLI для Машинного обучения Azure. Это общий для azure-cli-ml и azure-cli-ml-preview пакет. pip install azureml-cli-common
pip install --upgrade azureml-cli-common
pip show azureml-cli-common
azureml-automl-dnn-nlp Этот пакет предназначен только для использования в скриптах, созданных системой AutoML. pip install azureml-automl-dnn-nlp
pip install --upgrade azureml-automl-dnn-nlp
pip show azureml-automl-dnn-nlp
azureml-accel-models Ускорение работы глубоких нейронных сетей в ППВМ с помощью службы "Модели с аппаратным ускорением" в Машинном обучении Azure. pip install azureml-accel-models
pip install --upgrade azureml-accel-models
pip show azureml-accel-models
azureml-inference-server-http Этот пакет позволяет выполнять локальную разработку, интеграцию CI/CD, маршрутизацию серверов. pip install azureml-inference-server-http
pip install --upgrade azureml-inference-server-http
pip show azureml-inference-server-http
azure-ml-component Этот пакет содержит функциональные возможности для создания и администрирования компонентов Машинного обучения Azure, а также для создания и отправки конвейеров, использующих компоненты. pip install azure-ml-component
pip install --upgrade azure-ml-component
pip show azure-ml-component
azureml-pipeline-wrapper Этот пакет содержит функциональные возможности для создания и администрирования модулей Машинного обучения Azure, а также для создания и отправки конвейеров, использующих модули. pip install azureml-pipeline-wrapper
pip install --upgrade azureml-pipeline-wrapper
pip show azureml-pipeline-wrapper
azureml-designer-cv-modules Модули для предварительной обработки и преобразования изображений, например для обрезки, установки полей или изменения размера. pip install azureml-designer-cv-modules
pip install --upgrade azureml-designer-cv-modules
pip show azureml-designer-cv-modules
azureml-designer-pytorch-modules Модули для обучения и вывода моделей классификации изображений на основе платформы PyTorch. pip install azureml-designer-pytorch-modules
pip install --upgrade azureml-designer-pytorch-modules
pip show azureml-designer-pytorch-modules
azureml-designer-vowpal-wabbit-modules Модули для обучения и вывода моделей на основе платформы Vowpal Wabbit. pip install azureml-designer-vowpal-wabbit-modules
pip install --upgrade azureml-designer-vowpal-wabbit-modules
pip show azureml-designer-vowpal-wabbit-modules
azureml-designer-classic-modules Разнообразные модули для обработки данных, обучения моделей, вывода и оценки. pip install azureml-designer-classic-modules
pip install --upgrade azureml-designer-classic-modules
pip show azureml-designer-classic-modules
azureml-designer-recommender-modules Модули для обучения и вывода моделей рекомендаций на основе глубокой нейронной сети. pip install azureml-designer-recommender-modules
pip install --upgrade azureml-designer-recommender-modules
pip show azureml-designer-recommender-modules
azureml-designer-internal Внутренние функции, предоставляемые для встроенных модулей. pip install azureml-designer-internal
pip install --upgrade azureml-designer-internal
pip show azureml-designer-internal
azureml-designer-core Основные функциональные возможности для определений типов данных, операций ввода-вывода данных и часто используемых функций. pip install azureml-designer-core
pip install --upgrade azureml-designer-core
pip show azureml-designer-core
azureml-designer-datatransform-modules Модули для преобразования наборов данных, такие как применение математических операций, SQL-запросов, удаления выбросов или формирования отчета статистики. pip install azureml-designer-datatransform-modules
pip install --upgrade azureml-designer-datatransform-modules
pip show azureml-designer-datatransform-modules
azureml-designer-dataio-modules Модули для загрузки данных в конструктор Машинного обучения Azure и записи данных в облачное хранилище. pip install azureml-designer-dataio-modules
pip install --upgrade azureml-designer-dataio-modules
pip show azureml-designer-dataio-modules
azureml-designer-serving Предоставляет функциональные возможности для вызова встроенных модулей в службе развертывания. pip install azureml-designer-serving
pip install --upgrade azureml-designer-serving
pip show azureml-designer-serving
azureml-contrib-datadrift Содержит функциональные возможности для обнаружения отклонений данных в различных наборах данных, используемые в машинном обучении, в том числе в наборах данных обучения и наборах данных оценки. pip install azureml-contrib-datadrift
pip install --upgrade azureml-contrib-datadrift
pip show azureml-contrib-datadrift
azureml-contrib-explain-model Содержит экспериментальные функции для пакета azureml-explain-model, которые предоставляют различные службы для интерпретации модели машинного обучения. pip install azureml-contrib-explain-model
pip install --upgrade azureml-contrib-explain-model
pip show azureml-contrib-explain-model
azureml-contrib-opendatasets Этот пакет предоставляет набор API для использования Открытых наборов данных Azure. pip install azureml-contrib-opendatasets
pip install --upgrade azureml-contrib-opendatasets
pip show azureml-contrib-opendatasets
azureml-train-widgets Содержит мини-приложения для записных книжек Jupyter, позволяющие визуально отслеживать запуски. pip install azureml-train-widgets
pip install --upgrade azureml-train-widgets
pip show azureml-train-widgets

Дополнительные сведения о приведенных выше пакетах см. на этой странице.

Дополнительные рекомендации по сценариям использования

Если ваш сценарий использования описан ниже, следуйте инструкциям и рекомендуемым действиям.

Вариант использования Руководство
С использованием automl  Установите полный пакет SDK azureml-train-automl в новой 64-разрядной среде Python. Новая 64-разрядная версия среды требуется из-за зависимости от платформы LightGBM. Этот пакет устанавливает и закрепляет конкретные версии пакетов обработки и анализа данных для обеспечения совместимости, для чего требуется чистая среда.

Пакет тонкого клиента, azureml-train-automl-client, не устанавливает дополнительные пакеты обработки и анализа данных и не требует чистую среду Python. Мы рекомендуем использовать azureml-train-automl-client, только если вам нужно отправить запуски автоматизированного машинного обучения на удаленный компьютер и вам не требуется отправлять локальные запуски или скачивать модель локально.

Совместимость с одной предыдущей и одной последующей версией поддерживается только для моделей, обучение для которых было выполнено с полным пакетом azureml-train-automl. Например, если модель была обучена с пакетом SDK версии 1.29.0, вы можете выполнить вывод с помощью пакетов SDK версий 1.28.0–1.30.0.
Использование Azure Databricks Для установки пакета SDK в среде Azure Databricks используйте источники библиотек, описанные в этом руководстве. Прочитайте также эти рекомендации по работе с пакетом SDK Службы машинного обучения Azure для Python на Azure Databricks.
Использование виртуальной машины Azure для обработки и анализа данных Виртуальные машины для обработки и анализа данных Azure, созданные после 27 сентября 2018 г., поставляются с уже установленным пакетом SDK для Python.
Выполнение примеров из учебников или запуск записных книжек для Машинного обучения Azure. Если вы используете SDK более ранней версии, чем та, которая упоминается в руководстве или записной книжке, потребуется обновить пакет SDK. Для некоторых функций, описанных в руководствах и записных книжках, могут потребоваться дополнительные пакеты Python, например matplotlib, scikit-learn или pandas. Необходимые пакеты будут указаны в инструкциях каждого руководства и записной книжки.

Устранение неполадок

  • Установка pip — не гарантируется согласованность зависимостей при установке с одной строкой:

    Это известное ограничение pip, так как в нем отсутствует действующий сопоставитель зависимостей при установке с одной строкой. Он учитывает только первую уникальную зависимость.

    В следующем коде azureml-datadrift и azureml-train-automl устанавливаются с помощью установки pip с одной строкой.

      pip install azureml-datadrift, azureml-train-automl
    

    Для этого примера предположим, что azureml-datadrift требуется версия > 1.0, а azureml-train-automl — версия < 1.2. Если последняя версия azureml-datadrift — 1.3, оба пакета обновляются до 1.3, независимо от требований пакета azureml-train-automl для более старой версии.

    Чтобы гарантировать установку соответствующих версий для пакетов, выполните установку с помощью нескольких строк, как в следующем коде. Порядок здесь не имеет значения, так как pip явно выполняет переход на более раннюю версию в следующем вызове строки. Поэтому применяются соответствующие зависимости версий.

       pip install azureml-datadrift
       pip install azureml-train-automl 
    
  • Пакет объяснений может быть не установлен при установке azureml-train-automl-client:

    При выполнении удаленного запуска AutoML с включенным объяснением модели вы увидите сообщение об ошибке "Please install azureml-explain-model package for model explanations" (Установите azureml-explain-model package для объяснений модели). Это известная проблема. В качестве временного решения выполните одно из следующих действий:

    1. Установите azureml-explain-model локально.
        pip install azureml-explain-model
    
    1. Полностью отключите функцию объяснений, передав model_explainability=False в конфигурацию AutoML.
        automl_config = AutoMLConfig(task = 'classification',
                               path = '.',
                               debug_log = 'automated_ml_errors.log',
                               compute_target = compute_target,
                               run_configuration = aml_run_config,
                               featurization = 'auto',
                               model_explainability=False,
                               training_data = prepped_data,
                               label_column_name = 'Survived',
                               **automl_settings)
    
  • Ошибки Panda: обычно возникают в ходе эксперимента AutoML:

    При настройке среды вручную с помощью pip вы можете заместить ошибки (особенно от pandas) из-за установки неподдерживаемых версий пакета.

    Например: ModuleNotFoundError: No module named 'pandas.core.internals.managers'; 'pandas.core.internals' is not a package

    Чтобы предотвратить такие ошибки, установите пакет SDK для AutoML с помощью automl_setup.cmd:

    1. Откройте запрос Anaconda и клонируйте репозиторий GitHub для набора примеров записных книжек.
    git clone https://github.com/Azure/MachineLearningNotebooks.git
    
    1. Перейдите в папку how-to-use-azureml/automated-machine-learning, в которую извлекаются примеры записных книжек, и выполните следующее:
    automl_setup
    
  • KeyError: "brand" при выполнении AutoML на локальном компьютере или в кластере Azure Databricks

    Если новая среда была создана после 10 июня 2020 г. с использованием пакета SDK 1.7.0 или более ранней версии, обучение может завершиться с этой ошибкой из-за обновления в пакете py-cpuinfo. (Среды, созданные 10 июня 2020 г. или до 10 июня 2020 г., не затрагиваются, так как эксперименты выполняются на удаленных вычислительных ресурсах, так как используются кэшированные образы обучения.) Чтобы обойти эту проблему, выполните одно из следующих двух действий.

    • Выполните обновление пакета SDK до версии 1.8.0 или более поздней (это также приведет к понижению версии py-cpuinfo до 5.0.0):

      pip install --upgrade azureml-sdk[automl]
      
    • Понизьте установленную версию py-cpuinfo до 5.0.0:

      pip install py-cpuinfo==5.0.0
      
  • Сообщение об ошибке: не удается удалить "PyYAML"

    Пакет SDK Машинного обучения Azure для Python: PyYAML — это установленный distutils проект. Поэтому невозможно точно определить, какие файлы принадлежат ему в случае частичного удаления. Чтобы продолжить установку SDK игнорируя эту ошибку, используйте:

    pip install --upgrade azureml-sdk[notebooks,automl] --ignore-installed PyYAML
    
  • Сбой установки пакета SDK Машинного обучения Azure с исключением ModuleNotFoundError (Отсутствует модуль с именем "ruamel") или ImportError (Отсутствует модуль с именем ruamel.yaml)

    Эта проблема возникает при установке пакета SDK Машинного обучения Azure для Python на последней версии pip (>20.1.1) в базовой среде conda для всех выпущенных версий пакета SDK Машинного обучения Azure для Python. См. следующие решения:

    • Избегайте установки пакета SDK для Python в базовой среде conda. Вместо этого создайте среду conda и установите пакет SDK на созданную среду пользователя. Последняя версия pip должна работать с новой средой conda.

    • Для создания образов Docker, в которых невозможно отключиться от базовой среды conda, закрепите pip<=20.1.1 в Dockerfile.

    conda install -c r -y conda python=3.8 pip=20.1.1
    

Следующие шаги

Попробуйте выполнить следующие шаги, чтобы узнать, как использовать пакет SDK Службы машинного обучения Azure для Python:

  1. Сведения об основных класса их конструктивных шаблонах с примерами кода см. в обзоре пакета SDK Машинного обучения Azure для Python.
  2. Ознакомьтесь с учебником по началу работы с Машинным обучением Azure с Python, чтобы начать создавать эксперименты и модели.