Databricks Runtime 10.2 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 10.2 и Databricks Runtime 10.2 Photon на базе Apache Spark 3.2.0. Эти образы были выпущены в декабре 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.

Новые функции и внесенные улучшения

• Использование файлов в репозиториях с помощью потоковой передачи Spark.
• В Databricks Utilities добавлена команда обновления подключения.
• Delta Lake поддерживает переименование столбцов (общедоступная предварительная версия).
• В журнал изменений таблиц Delta Lake добавлены сведения о версии Databricks Runtime.
• В Databricks Utilities добавлены сведения о времени последнего изменения при перечислении каталогов.
• В Spark SQL добавлена функция approx_top_k для возврата сведений об основных элементах и их числе.
• Trigger.AvailableNow теперь доступен в Python и Scala
• Автозагрузчик теперь поддерживает эволюцию схемы для Avro (общедоступная предварительная версия)

Использование файлов в репозиториях с помощью потоковой передачи Spark

Теперь вы можете осуществлять доступ к файлам в репозиториях путем потоковой передачи Spark.

В Databricks Utilities добавлена команда обновления подключения

Новая команда dbutils.fs.updateMount аналогична dbutils.fs.mount, но она обновляет существующую точку подключения, а не создает новую. См. статью Команда updateMount (dbutils.fs.updateMount).

Delta Lake поддерживает переименование столбцов (общедоступная предварительная версия).

Delta Lake теперь поддерживает переименование столбцов. Чтобы переименовать столбец таблицы Delta, обновите ее версию, а затем задать для режима сопоставления столбцов имя сопоставления. См. раздел "Переименование и удаление столбцов" с сопоставлением столбцов Delta Lake.

В журнал изменений таблиц Delta Lake добавлены сведения о версии Databricks Runtime.

Когда в таблицу Delta вносится запись, также записываются сведения о версии Databricks Runtime, в которой была выполнена запись. Чтобы получить сведения о версии, выполните команду DESCRIBE HISTORY в таблице, а затем просмотрите столбец engineInfo в выходных данных. См. раздел "ЖУРНАЛ ОПИСАНИЯ" и "Работа с журналом таблиц Delta Lake".

В Databricks Utilities добавлены сведения о времени последнего изменения при перечислении каталогов.

С помощью команды dbutils.fs.ls для вывода содержимого каталога теперь выводится поле modificationTime. Это поле содержит последнее время изменения для каждого из перечисленных файлов или каталогов. См. статью Команда ls (dbutils.fs.ls).

В Spark SQL добавлена функция approx_top_k для возврата сведений об основных элементах и их числе.

Новая функция approx_top_k возвращает значения наиболее часто встречающихся элементов, а также сведения об их приблизительном числе для указанного выражения. Некоторыми примерами могут служить:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Результат выполнения любого из этих примеров:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

См. статью Агрегатная функция approx_top_k.

Trigger.AvailableNow теперь доступен в Python и Scala

Это изменение реализует поддержку запросов разностных исходных потоков Trigger.AvailableNow в Python и Scala. Поддержка в Scala появилась в версии Databricks Runtime 10.1. В Python — в версии Databricks Runtime 10.2. Описание Trigger.AvailableNow см. в статье об автозагрузчике.

Автозагрузчик теперь поддерживает эволюцию схемы для Avro (общедоступная предварительная версия)

Дополнительные сведения см. в статье о настройке вывода и эволюции схемы в автозагрузчике.

Обновления библиотек

• Обновленные библиотеки Python:
  • filelock с 3.3.1 до 3.4.0;
  • plotly с 5.3.0 до 5.3.1.
• Обновленные библиотеки R:
  • base с 4.1.1 to 4.1.2;
  • compiler с 4.1.1 до 4.1.2;
  • datasets с 4.1.1 до 4.1.2;
  • graphics с 4.1.1 до 4.1.2;
  • grDevices с 4.1.1 до 4.1.2;
  • grid с 4.1.1 до 4.1.2;
  • methods с 4.1.1 до 4.1.2;
  • parallel с 4.1.1 до 4.1.2;
  • Rserve с 1.8-8 до 1.8-10;
  • splines с 4.1.1 до 4.1.2;
  • stats с 4.1.1 до 4.1.2;
  • stats4 с 4.1.1 до 4.1.2;
  • tcltk с 4.1.1 до 4.1.2;
  • tools с 4.1.1 до 4.1.2;
  • utils с 4.1.1 до 4.1.2;
  • backports с 1.2.1 до 1.4.0;
  • broom с 0.7.9 до 0.7.10;
  • CLI с 3.0.1 до 3.1.0;
  • cpp11 с 0.4.0 до 0.4.1;
  • crayon с 1.4.1 до 1.4.2;
  • credentials с 1.3.1 до 1.3.2;
  • future с 1.22.1 до 1.23.0;
  • gert с 1.4.1 до 1.4.3;
  • glmnet с 4.1-2 до 4.1-3;
  • glue с 1.4.2 до 1.5.0;
  • memoise с 2.0.0 до 2.0.1;
  • parallelly с 1.28.1 до 1.29.0;
  • readr с 2.0.2 до 2.1.0;
  • sessioninfo с 1.1.1 до 1.2.1;
  • stringi с 1.7.5 до 1.7.6;
  • tibble с 3.1.5 до 3.1.6;
  • tinytex с 0.34 до 0.35;
  • tzdb с 0.1.2 до 0.2.0;
  • usethis с 2.1.2 до 2.1.3;
  • uuid с 0.1-4 до 1.0-3;
  • vroom с 1.5.5 до 1.5.6;
  • xfun с 0.27 до 0.28.
• Обновленные библиотеки Java:
  • com.fasterxml.jackson с 2.12.2 до 2.12.3;
  • io.airlift.aircompressor с 0.19 до 0.21;
  • io.netty.netty-all с 4.1.63.Final до 4.1.68.Final;
  • joda-time.joda-time с 2.10.5 до 2.10.10;
  • org.apache.commons.commons-compress с 1.20 до 1.21;
  • org.apache.orc с 1.6.10 до 1.6.12;
  • org.eclipse.jetty с 9.4.40.v20210413 до 9.4.43.v20210629;
  • org.scalanlp.breeze-macros_2.12 с 1.0 до 1.2;
  • org.scalanlp.breeze_2.12 с 1.0 до 1.2;
  • org.org.typelevel.algebra_2.12 с 2.0.0 до 2.0.1;
  • org.typelevel.cats-kernel_2.12 с 2.0.0 до 2.0.1.

Apache Spark

Databricks Runtime 10.2 включает Apache Spark 3.2.0. Этот выпуск включает все исправления Spark и улучшения, включенные в Databricks Runtime 10.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-37447] [SQL] Кэширование результата LogicalPlan.isStreaming() при проверке lazy val.
• [SPARK-37468] [SQL] Поддержка интервалов ANSI и TimestampNTZ для UnionEstimation.
• [SPARK-37464] [SQL] SCHEMA и DATABASE должны быть просто псевдонимами NAMESPACE.
• [SPARK-37452] [SQL] Char и Varchar прерывают обратную совместимость между версиями 3.1 и 2.
• [SPARK-36861] [SQL] Использование yyyy-MM-dd в качестве шаблона даты при обнаружении секций.
• [SPARK-37456] [SQL] Необходимо обеспечить соответствие CREATE NAMESPACE расположению для команды версии 2.
• [SPARK-37357] [SQL] Добавление небольшого коэффициента секции для повторной балансировки секций.
• [SPARK-37446] [SQL] Использование отражения для getWithoutRegisterFns, чтобы разрешить сборку с использованием различных версий Hive.
• [SPARK-37444] [SQL] ALTER NAMESPACE … С помощью SET LOCATION должна быть обеспечена согласованная обработка пустого расположения при использовании команд версий 1 и 2.
• [SPARK-36357] [SQL] Поддержка метки времени отправки без часового пояса для Orc.
• [SPARK-36346] [SQL] Поддержка типа TimestampNTZ в источнике файлов Orc.
• [SPARK-36646] [SQL] Отправка группы по столбцу секции для агрегата.
• [SPARK-34960] [SQL] Отправка агрегата для ORC.
• [SPARK-37386] [SQL] Упрощение OptimizeSkewedJoin, которое позволяет не запускать средство оценки затрат.
• [SPARK-36073] [SQL] Исправления и улучшения EquivalentExpressions.
• [SPARK-35352] [SQL] Добавление генератора кода для полного внешнего соединения с сортировкой и слиянием.
• [SPARK-37292] [SQL] Удаление внешнего соединения только при наличии DISTINCT на стороне потоковой передачи с использованием псевдонима.
• [SPARK-37371] [SQL] Необходимо обеспечить поддержку UnionExec данных по столбцам, если все дочерние элементы поддерживают данные по столбцам.
• [SPARK-36645] [SQL] Отправка агрегата (Min,Max или Count) для Parquet.
• [SPARK-37379] [SQL] Добавление возможности удалить шаблон дерева в правило CTESubstitution.
• [SPARK-37332] [SQL] Разрешение интервалов ANSI в ALTER TABLE .. ADD COLUMNS.
• [SPARK-37224] [SS] Оптимизация пути записи в поставщике хранилища состояний RocksDB.
• [SPARK-37304] [SQL] Разрешение интервалов ANSI в ALTER TABLE .. REPLACE COLUMNS версии 2.
• [SPARK-36924] [SQL] CAST между интервалами ANSI и IntegralType.
• [SPARK-37289] [SQL] Удаление функции partitionSchemaOption.
• [SPARK-37270] [SQL] Исправление отправки свертываемых выражений в ветви CaseWhen, если elseValue является пустым.
• [SPARK-35345] [SQL] Добавление тестов Parquet в BloomFilterBenchmark.
• [SPARK-37341] [SQL] Необходимо избегать ненужных буферов и копирования при полном внешнем соединении с сортировкой и слиянием.
• [SPARK-37266] [SQL] Для просмотра текста подходят только запросы SELECT.
• [SPARK-37288] [PYTHON][3.2] Реализация обновления заметки since.
• [SPARK-37262] [SQL] Не допускается регистрация пустого агрегата и группирования в JDBCScan.
• [SPARK-37283] [SQL] Не допускаются попытки хранения таблицы версии 1, которая содержит интервалы ANSI в формате, совместимом с Hive.
• [SPARK-37221] [SQL] API, работающий по принципу сбора данных, в SparkPlan должен поддерживать вывод данных по столбцам.
• [SPARK-37202] [SQL] Отслеживание временных функций, на которые добавлены ссылки, с помощью AnalysisContext.
• [SPARK-37023] [CORE] Не допускается извлечение сведений о состоянии слияния, если shuffleMergeEnabled имеет значение false для shuffleDependency во время повторной попытки.
• [SPARK-37307] [CORE] Не допускается получения сведений о подключении для пустых секций.
• [SPARK-37267] [SQL] Поддержка OptimizeSkewInRebalancePartitions оптимизации некорневого узла.
• [SPARK-36799] [SQL] Передача имени queryExecution в CLI.
• [SPARK-37261] [SQL] Разрешение добавления секций с интервалами ANSI в DSv2.
• [SPARK-37203] [SQL] Исправление NotSerializableException, если оно наблюдается при использовании TypedImperativeAggregate.
• [SPARK-37199] [SQL] Добавление детерминированного поля в QueryPlan.
• [SPARK-37253] [PYTHON] Не должен происходить сбой try_simplify_traceback, если tb_frame.f_lineno имеет значение None.
• [SPARK-37214] [SQL] Ранее не удавалось выполнить анализ запросов с недопустимыми идентификаторами.
• [SPARK-37240] [SQL] Обработка интервалов ANSI по ColumnVectorUtils.populate()
• [SPARK-35437] [SQL] Фильтрация секций Hive на стороне клиента с помощью выражений.
• [SPARK-32940] [SQL] Collect, first и last должны быть детерминированными агрегатными функциями.
• [SPARK-37231] [SQL] Динамические операции записи и чтения для секций с интервалами ANSI.
• [SPARK-37038] [SQL] Пример отправки DSV2.
• [SPARK-36665] [SQL] Добавление дополнительных упрощений операторов Not.
• [SPARK-37150] [SQL] Перенос DESCRIBE NAMESPACE для использования команды версии 2 по умолчанию.
• [SPARK-37196] [SQL] При сбое enforcePrecisionScale для HiveDecimal возвращается значение NULL.
• [SPARK-37212] [SQL] Улучшение реализации отправки агрегата.
• [SPARK-37190] [SQL] Улучшение сообщений об ошибках для Cast в режиме ANSI.
• [SPARK-37161] [SQL] Поддержка RowToColumnConverter для AnsiIntervalType.
• [SPARK-37160] [SQL] Добавление конфигурации, с помощью которой можно при необходимости отключить заполнение для типа char.
• [SPARK-36554] [SQL][PYTHON] Предоставление выражения make_date expression в functions.scala
• [SPARK-37200] [SQL] Поддержка удаления индекса для источника данных версии 2.
• [SPARK-37179] [SQL] Режим ANSI: добавление конфигурации, которая разрешает приведение между значениями даты и времени и числовыми значениями.
• [SPARK-37168] [SQL] Улучшение сообщений об ошибках для функций SQL и операторов в режиме ANSI.
• [SPARK-36935] [SQL] Расширение ParquetSchemaConverter для вычисления уровня повторения и определения Parquet
• [SPARK-37066] [SQL] Улучшение сообщения об ошибке. Теперь в нем отображается путь к файлу, если не удается считать следующий файл.
• [SPARK-32567] [SQL] Добавление генератора кода для полного внешнего хэш-соединения с перемешиванием.
• [SPARK-37176] [SQL] Синхронизация логики обработки исключений метода JsonInferSchema#infer с методом JacksonParser#parse.
• [SPARK-37149] [SQL] Улучшение сообщений об ошибках для исключений арифметического переполнения в режиме ANSI.
• [SPARK-37136] [SQL] Удаление кода, касающегося функции сборки Hive, без реализации в Spark.
• [SPARK-16280] [SPARK-37082] [SQL] Реализует функцию агрегирования histogram_numeric, которая поддерживает частичное агрегирование.
• [SPARK-36975] [SQL] Исправление метрик вызовов клиента Hive в HiveClientImpl.

Обновления в рамках обслуживания

См. статью Обновления в рамках обслуживания Databricks Runtime 10.2.

Системная среда

• Операционная система: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64.
• Scala: 2.12.14.
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 30.11.2021.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)