Databricks Runtime 4.1 ML (EoS)
Примечание.
Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.
Databricks Runtime 4.1 ML предоставляет готовую среду для Машинного обучения и обработки и анализа данных. Она содержит много популярных библиотек, включая TensorFlow, Keras и XGBoost. Она также поддерживает распределенное обучение TensorFlow с использованием Horovod.
Примечание.
Этот выпуск устарел до 17 января 2019 г. Мы рекомендуем использовать более новую версию Databricks Runtime ML с учетом того, какие версии библиотек вы хотите использовать.
Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в статье ИИ и Машинное обучение в Databricks.
Примечание.
Выпуски Databricks Runtime ML получают все сервисные обновления базового выпуска Databricks Runtime. Список всех обновлений обслуживания см. в разделе "Обновления обслуживания" для среды выполнения Databricks (архивировано).
Библиотеки
В основе Databricks Runtime 4.1 ML лежит Databricks Runtime 4.1. Дополнительные сведения о новых возможностях Databricks Runtime 4.1 см. в заметках о выпуске Databricks Runtime 4.1 (EoS). Помимо обновлений библиотек, существовавших в Databricks Runtime 4.1, в Databricks Runtime 4.1 ML также добавлены новые библиотеки для поддержки машинного обучения. Некоторые из них также включены в базовый выпуск Databricks Runtime 4.1, что будет отдельно отмечено.
Категория | Библиотеки |
---|---|
Распределенное глубокое обучение. | Распределенное обучение с использованием Horovod и Spark * HorovodEstimator * horovod 0.12.1 * openmpi 3.0.0 * paramiko 2.4.1 * cloudpickle 0.5.2 Распределенный прогноз TensorFlow и Keras: * spark-deep-learning 1.0 pre-release * tensorframes 0.3.0 |
Глубокое обучение | [Keras]: * keras 2.1.5 * h5py 2.7.1 TensorFlow. * (Кластеры ЦП) tensorflow 1.7.1 * (Кластеры ЦП) tensorflow-gpu 1.7.1 Библиотеки GPU: * CUDA 9.0 (также устанавливается в базовый выпуск Databricks Runtime) * cuDNN 7.0 (также устанавливается в базовый выпуск Databricks Runtime) * NCCL 2.0.5-3 |
XGBoost | * XGBoost4j 0.8-spark2.3-s_2.11 |
Другие библиотеки машинного обучения | * numpy 1.14.2 (также устанавливается в базовый выпуск Databricks Runtime; версия может отличаться) * scikit-learn 0.18.1 (также устанавливается в базовый выпуск Databricks Runtime) * scipy (также устанавливается в базовый выпуск Databricks Runtime) |