Среда выполнения Azure Synapse для Apache Spark 3.2 (не рекомендуется)
Azure Synapse Analytics поддерживает несколько сред выполнения для Apache Spark. В этом документе рассматриваются компоненты и версии среды выполнения Для среды выполнения Azure Synapse для Apache Spark 3.2.
Внимание
Уведомление об отмене и отключении для среды выполнения Azure Synapse для Apache Spark 3.2
- Окончание поддержки объявлено для среды выполнения Azure Synapse для Apache Spark 3.2 июля 8 2023 г.
- С 8 июля 2024 г. Azure Synapse прекратит официальную поддержку среды выполнения Spark 3.2.
- В соответствии с политикой жизненного цикла Apache Spark среда выполнения Synapse для Apache Spark 3.2 будет прекращена с 8 июля 2024 г. Существующие рабочие процессы будут продолжать выполняться, но обновления системы безопасности и исправления ошибок больше не будут доступны. Метаданные временно останутся в рабочей области Synapse.
- Настоятельно рекомендуется обновить рабочие нагрузки Apache Spark 3.2 до среды выполнения Azure Synapse для Apache Spark 3.4 (GA) до 8 июля 2024 г.
Версии компонентов
| Компонент | Версия |
|---|---|
| Apache Spark | 3.2.1 |
| Операционная система | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.1 |
| .NET Core | 3.1 |
| .NET | 2.0.0 |
| Delta Lake | 1.2 |
| Python | 3,8 |
| R (предварительная версия) | 4.2 |
Synapse-Python38-CPU.yml содержит список библиотек, отправленных в среде Python 3.8 по умолчанию в Azure Synapse Spark.
Библиотеки
Чтобы проверить библиотеки, включенные в среду выполнения Azure Synapse для Apache Spark 3.2 для Java/Scala, Python и R, перейдите в Заметки о выпуске Azure Synapse для Apache Spark 3.2.
Следующие шаги
Миграция между версиями Apache Spark — поддержка
Рекомендации по миграции из более старых версий среды выполнения в Среду выполнения Azure Synapse для Apache Spark 3.3 или 3.4 см. в обзоре среды выполнения Для Apache Spark.