Databricks Runtime 10.1 для машинного обучения (EoS)

Databricks Runtime 10.1 для Машинное обучение предоставляет готовую среду для машинного обучения и обработки и анализа данных на основе Databricks Runtime 10.1 (EoS). Databricks Runtime ML содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch и XGBoost. Эта среда также поддерживает распределенное глубокое обучение с использованием Horovod.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и Машинное обучение в Databricks.

Новые функции и внесенные улучшения

В основе Databricks Runtime 10.1 ML лежит Databricks Runtime 10.1. Сведения о новых возможностях Databricks Runtime 10.1, включая Apache Spark MLlib и SparkR, см. в заметках о выпуске Databricks Runtime 10.1 (EoS).

Усовершенствования Databricks AutoML

В Databricks Runtime 10.1 Databricks AutoML включает улучшенное определение семантических типов, новые оповещения о потенциальных проблемах с данными во время обучения, новые возможности для предотвращения создания лжевзаимосвязей моделей и возможность разбивать входной набор данных на обучающие, проверочные и тестовые наборы в хронологическом порядке.

Дополнительные обнаружения семантических типов

AutoML теперь поддерживает дополнительное обнаружение семантического типа:

• Числовые столбцы, содержащие метки категорий, обрабатываются как типы категорий.
• Строковые столбцы, содержащие английский текст, рассматриваются как текстовые признаки.

Теперь можно также добавлять заметки для указания типа данных столбца. Дополнительные сведения см. в статье Обнаружение семантических типов.

Оповещения во время обучения о потенциальных проблемах с данными

AutoML теперь обнаруживает и генерирует оповещения о потенциальных проблемах с набором данных. Примеры предупреждений включают неподдерживаемые типы столбцов и столбцы с высокой кратностью. Эти оповещения отображаются на странице эксперимента на новой вкладке Оповещения. Дополнительные сведения об оповещениях содержатся в записной книжке исследования данных. Дополнительные сведения см. в разделе Запуск эксперимента и мониторинг результатов.

Снижение риска создания лжевзаимосвязи моделей

Две новые возможности снижают вероятность создания лжевзаимосвязи моделей при использовании AutoML:

• AutoML теперь передает метрики тестирования в дополнение к метрикам проверки и обучения.
• AutoML теперь использует раннюю остановку. Обучение и настройка моделей останавливаются, если метрика проверки больше не улучшается.

Разделение набора данных на наборы для обучения, проверки и тестирования в хронологическом порядке

Для задач классификации и регрессии вы можете разделить набор данных на обучающие, проверочные и тестовые наборы в хронологическом порядке. Дополнительные сведения см. в разделе "Разделение данных на обучение, проверку и тестовые наборы ".

Улучшения хранилища признаков в Databricks

Хранилище признаков Databricks теперь поддерживает дополнительные типы данных для таблиц функций: BinaryType, DecimalType и MapType.

Mlflow

Следующие улучшения доступны, начиная с Mlflow версии 1.21.0, которая включена в Databricks Runtime 10.1 ML.

• [Модели] Обновлен вариант модели fastai для включения поддержки fastai версии 2 (2.4.1 и выше).
• [Модели] Представлен вариант модели mlflow.prophet для моделей временных рядов Prophet.
• [Оценка] Исправлена ошибка принудительного применения схемы, из-за которой строки, похожие на дату, неправильно преобразовались в объекты даты и времени.

Hyperopt

SparkTrials теперь поддерживает параметр early_stopping_fn для fmin. Вы можете использовать функцию ранней остановки, чтобы указать условия, при которых Hyperopt останавливает настройку гиперпараметров до того, как будет достигнуто максимальное количество вычислений. Например, вы можете использовать этот параметр для завершения настройки, если целевая функция больше не уменьшается. Дополнительные сведения см. в разделе fmin().

Основные изменения в среде Python для Databricks Runtime ML

Обновлены пакеты Python

• automl 1.3.1 => 1.4.1
• feature_store 0.3.4 => 0.3.5
• holidays 0.11.2 => 0.11.3.1
• horovod 0.22.1 => 0.23.0
• hyperopt 0.2.5.db2 => 0.2.5.db4
• imbalanced-learn 0.8.0 => 0.8.1
• lightgbm 3.1.1 => 3.3.0
• mlflow 1.20.2 => 1.21.0
• petastorm 0.11.2 => 0.11.3
• plotly 5.1.0 => 5.3.0
• pytorch 1.9.0 => 1.9.1
• spacy 3.1.2 => 3.1.3
• sparkdl 2.2.0_db3 => 2.2.0_db4
• torchvision 0.10.0 => 0.10.1
• transformers 4.9.2 => 4.11.3

Добавленные пакеты Python

• fasttext => 0.9.2
• tensorboard-plugin-profile => 2.5.0

Устаревшие элементы

Автоматическое отслеживание MLflow в MLlib устарело в кластерах, в которых выполняется Databricks Runtime 10.1 ML и более поздних версий. Вместо этого используйте автоматическое ведение журналов MLflow PySpark ML путем вызова mlflow.pyspark.ml.autolog(). Автоматическое ведение журналов включено по умолчанию в Databricks Autologging.

Системная среда

Ниже описаны отличия системной среды в Databricks Runtime 10.1 ML от Databricks Runtime 10.1.

• DBUtils: Databricks Runtime ML не включает служебную программу библиотеки (dbutils.library) (устаревшая версия). Вместо нее используйте команды %pip. См. статью Библиотеки Python с областью действия записной книжки.
• Для кластеров GPU машинное обучение Databricks Runtime включает следующие библиотеки GPU NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Библиотеки

В следующих разделах перечислены библиотеки, входящие в состав Databricks Runtime 10.1 ML и отличающиеся от тех, что входят в состав Databricks Runtime 10.1.

В этом разделе рассматриваются следующие вопросы.

• Библиотеки верхнего уровня
• Библиотеки Python
• Библиотеки R
• Библиотеки Java и Scala (кластер Scala 2.12)

Библиотеки верхнего уровня

Databricks Runtime 10.1 ML включает следующие библиотеки верхнего уровня:

• GraphFrames
• Horovod и HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Библиотеки Python

Databricks Runtime 10.1 ML использует Virtualenv для управления пакетами Python и включает множество популярных пакетов ML.

Помимо пакетов, указанных в следующих разделах, Databricks Runtime 10.1 ML также включает следующие пакеты:

• hyperopt 0.2.5.db4
• sparkdl 2.2.0-db4
• feature_store 0.3.5
• automl 1.4.0

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

Библиотеки Python в кластерах CPU

Библиотеки Python в кластерах GPU

Пакеты Spark, содержащие модули Python

Библиотеки R

Библиотеки R идентичны библиотекам R в Databricks Runtime 10.1.

Библиотеки Java и Scala (кластер Scala 2.12)

Помимо библиотек Java и Scala в Databricks Runtime 10.1, среда Databricks Runtime 10.1 ML также включает следующие пакеты JAR:

Кластеры ЦП

Кластеры GPU