Databricks Runtime 11.1 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.1 на платформе Apache Spark 3.3.0. Эти образы были выпущены в июле 2022 года.

Новые функции и внесенные улучшения

• Photon предоставляется в общедоступной версии
• Photon: поддерживаемые типы экземпляров
• Канал изменений данных теперь может автоматически обрабатывать метки времени вне диапазона
• При описании и отображении функций SQL теперь также отображаются имена Unity Catalog в выходных данных (общедоступная предварительная версия)
• Вывод и изменение схемы для файлов Parquet в автозагрузчике (общедоступная предварительная версия)
• Автозагрузчик теперь поддерживает эволюцию схемы для Avro (GA)
• Поддержка Delta Lake для динамических перезаписей разделов
• Поддержка схемы сведений для объектов, созданных в Unity Catalog
• Информационные ограничения для таблиц Delta Lake с использованием Unity Catalog (общедоступная предварительная версия)
• Каталог Unity теперь общедоступен
• Разностный общий доступ теперь общедоступен

Photon предоставляется в общедоступной версии

Photon теперь предоставляется в общедоступной версии начиная с Databricks Runtime 11.1. Photon — это собственный векторизованный обработчик запросов Azure Databricks, призванный обеспечить прямую совместимость с API Apache Spark для работы с существующим кодом. Он создан на языке C++, что позволяет пользоваться преимуществами современного оборудования и применять новейшие методики векторизованной обработки запросов. Это повышает производительность реальных данных и приложений благодаря повышенному уровню параллелизма на уровне данных и инструкций в ЦП — и все это за счет собственных возможностей озера данных.

Photon является частью высокопроизводительной среды выполнения, которая ускоряет работу с существующими вызовами SQL и API кадров данных и сокращает совокупную стоимость рабочей нагрузки. Photon используется по умолчанию в хранилищах SQL Databricks.

Новые функции и внесенные улучшения:

• Новый векторизованный оператор сортировки.
• Новые векторизованные функции окон.
• Новые типы и размеры экземпляров во всех облаках.

Ограничения:

• Определяемые пользователем функции Scala и Python не поддерживаются в Photon.
• RDD не поддерживается в Photon.
• Структурированная потоковая передача не поддерживается в Photon.

Дополнительные сведения см. в следующих объявлениях Photon.

Photon: новый векторизованный оператор сортировки

Photon теперь поддерживает векторизованную сортировку, если запрос содержит SORT_BY, CLUSTER_BY или функцию окна с ORDER BY.

Ограничения: Photon не поддерживает глобальное предложение ORDER BY. Сортировки для оценки окна будут фотонизироваться, но глобальная сортировка будет и дальше выполняться в Spark.

Photon: новые векторизованные функции окон

Photon теперь поддерживает векторизованное вычисление функции окна для множества типов кадров и функций. К новым функциям окон относятся следующие: row_number, rank, dense_rank, lag, lead, percent_rank, ntile и nth_value. Поддерживаемые типы кадров окон: выполнение (UNBOUNDED PRECEDING AND CURRENT ROW), без привязки (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), увеличение (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) и уменьшение (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Ограничения:

• Photon поддерживает только версии ROWS всех типов кадров.
• Photon пока не поддерживает тип скользящего кадра (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: поддерживаемые типы экземпляров

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

Канал изменений данных теперь может автоматически обрабатывать метки времени вне диапазона

Теперь веб-канал измененных данных (CDF) включает новый режим для предоставления меток времени или версий после последней версии фиксации без возникновения ошибок. По умолчанию этот режим отключен. Его можно включить, задав для конфигурации spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled значение true.

При описании и отображении функций SQL теперь также отображаются имена Unity Catalog в выходных данных (общедоступная предварительная версия)

Команды DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN и SHOW CREATE TABLE теперь всегда отображают имя каталога в выходных данных.

Вывод и изменение схемы для файлов Parquet в автозагрузчике (общедоступная предварительная версия)

Автозагрузчик теперь поддерживает вывод и изменение схемы в Parquet-файлах. Как и с форматами JSON, CSV и Avro, теперь вы можете использовать столбец восстановленных данных для восстановления непредвиденных данных, которые могут отображаться в файлах Parquet. К ним относятся данные, которые невозможно проанализировать в ожидаемом типе данных, столбцы с иными регистрами и дополнительные столбцы, не входящие в ожидаемую схему. Автозагрузчик можно настроить для автоматического изменения схемы при добавлении новых столбцов во входящие данные. Дополнительные сведения см. в статье о настройке вывода и эволюции схемы в автозагрузчике.

Автозагрузчик теперь поддерживает эволюцию схемы для Avro (GA)

Дополнительные сведения см. в статье о настройке вывода и эволюции схемы в автозагрузчике.

Поддержка Delta Lake для динамических перезаписей разделов

Delta Lake теперь поддерживает режим динамической перезаписи секций для перезаписи всех существующих данных в каждой логической секции, для которой операция записи фиксирует новые данные. См . выборочную перезапись данных с помощью Delta Lake.

Поддержка схемы сведений для объектов, созданных в Unity Catalog

Схема сведений предоставляет самоописываемый API на основе SQL для метаданных различных объектов базы данных, включая таблицы и представления, ограничения и подпрограммы. В схеме сведений вы найдете набор представлений, описывающих объекты, известные каталогу схемы, которые вам разрешено просматривать. Схема сведений каталога SYSTEM возвращает сведения об объектах во всех каталогах в хранилище метаданных. См. статью Схема сведений.

Информационные ограничения для таблиц Delta Lake с использованием Unity Catalog (общедоступная предварительная версия)

Теперь вы можете определить информационные ограничения первичного и внешнего ключа в таблицах Delta Lake с использованием Unity Catalog. Информационные ограничения не применяются. См. статью Предложение CONSTRAINT.

Unity Catalog предоставляется в общедоступной версии

Каталог Unity теперь общедоступен, начиная с Databricks Runtime 11.1. См. статью Что такое Unity Catalog?

Delta Sharing предоставляется в общедоступной версии

Delta Sharing теперь предоставляется в общедоступной версии, начиная с Databricks Runtime 11.1.

В Databricks Delta Sharing полностью управляется без обмена маркерами. Вы можете создавать и администрировать поставщиков, получателей и общие ресурсы в пользовательском интерфейсе или с помощью SQL и REST API.

Некоторые функции включают ограничение доступа получателей, запрашивание данных с помощью списков доступа по IP-адресам и региональных ограничений, а также делегирование управления Delta Sharing пользователям, не являющимся администраторами. Вы также можете запрашивать изменения данных и делиться добавочными версиями с помощью веб-каналов данных об изменениях. См. раздел "Что такое разностный общий доступ?".

Изменения в работе

Скрытие конфиденциальных свойств для DESCRIBE TABLE и SHOW TABLE PROPERTIES

Команды DESCRIBE TABLE и SHOW TABLE PROPERTIES теперь скрывают конфиденциальные свойства.

Кластеры заданий по умолчанию предназначены для режима доступа к одному пользователю с помощью Databricks Runtime 11.1 и более поздних версий.

Для поддержки каталога Unity кластеры заданий с помощью Databricks Runtime 11.1 и более поздних версий, созданных с помощью пользовательского интерфейса заданий или API заданий, по умолчанию будут использоваться режим доступа к одному пользователю. Режим доступа к одному пользователю поддерживает большинство языков программирования, функций кластера и функций управления данными. Вы по-прежнему можете настроить режим общего доступа через пользовательский интерфейс или API, но языки или функции могут быть ограничены.

Обновления библиотек

• Обновленные библиотеки Python:
  • filelock — с версии 3.6.0 до 3.7.1;
  • plotly — с версии 5.6.0 до 5.8.2;
  • protobuf — с версии 3.20.1 до 4.21.2.
• Обновленные библиотеки R:
  • chron — с версии 2.3-56 до 2.3-57;
  • DBI — с версии 1.1.2 до 1.1.3;
  • dbplyr — с версии 2.1.1 до 2.2.0;
  • e1071 — с версии 1.7-9 до 1.7-11;
  • future — с версии 1.25.0 до 1.26.1;
  • globals — с версии 0.14.0 до 0.15.1;
  • hardhat — с версии 0.2.0 до 1.1.0;
  • ipred — с версии 0.9-12 до 0.9-13;
  • openssl — с версии 2.0.0 до 2.0.2;
  • parallelly — с версии 1.31.1 до 1.32.0;
  • processx — с версии 3.5.3 до 3.6.1;
  • progressr — с версии 0.10.0 до 0.10.1;
  • proxy — с версии 0.4-26 до 0.4-27;
  • ps — с версии 1.7.0 до 1.7.1;
  • randomForest — с версии 4.7-1 до 4.7-1.1;
  • roxygen2 — с версии 7.1.2 до 7.2.0;
  • Rserve — с версии 1.8-10 до 1.8-11;
  • RSQLite — с версии 2.2.13 до 2.2.14;
  • sparklyr — с версии 1.7.5 до 1.7.7;
  • tinytex — с версии 0.38 до 0.40;
  • usethis — с версии 2.1.5 до 2.1.6;
  • xfun — с версии 0.30 до 0.31.
• Обновленные библиотеки Java:
  • io.delta.delta-sharing-spark_2.12 — с версии 0.4.0 до 0.5.0.

Apache Spark

Databricks Runtime 11.2 включает Apache Spark 3.3.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-40054] [SQL] Восстановление синтаксиса обработки ошибок try_cast()
• [SPARK-39489] [CORE] Повышение эффективности ведения журнала событий JsonProtocol благодаря использованию Jackson вместо Json4s
• [SPARK-39319] [CORE][SQL] Создание контекстов запросов в составе SparkThrowable
• [SPARK-40085] [SQL] Использование класса ошибок INTERNAL_ERROR вместо IllegalStateException для указания ошибок
• [SPARK-40001] [SQL] Запись NULL в столбцы JSON DEFAULT приводит к записи значения NULL в хранилище
• [SPARK-39635] [SQL] Поддержка метрик драйверов в пользовательском API метрик DS версии 2
• [SPARK-39184] [SQL] Обработка результирующего массива меньшего размера в последовательностях дат и меток времени
• [SPARK-40019] [SQL] Рефакторинг комментария ArrayType containsNull и рефакторинг логики непонимания в выражении collectionOperator о containsNull
• [SPARK-39989] [SQL] Поддержка статистики столбцов оценки, если она является свертываемым выражением
• [SPARK-39926] [SQL] Исправление ошибки поддержке столбца по умолчанию для невекторизованных проверок Parquet
• [SPARK-40052] [SQL] Обработка прямых буферов байтов в VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Исправление типа целевого интервала в ошибках переполнения во время приведения
• [SPARK-39835] [SQL] Исправление ошибки, связанной с удалением RemoveSorts глобальной сортировки под локальной сортировкой
• [SPARK-40002] [SQL] Не сжимайте ограничение через окно с помощью ntile
• [SPARK-39976] [SQL] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
• [SPARK-39985] [SQL] Включение неявных значений столбцов по умолчанию во вставках из кадров данных
• [SPARK-39776] [SQL] Подробная строка JOIN должна добавить тип соединения
• [SPARK-38901] [SQL] DS V2 поддерживает принудительную отправку прочих функций
• [SPARK-40028] [SQL][продолжение] Улучшение примеров строковых функций
• [SPARK-39983] [CORE][SQL] Не следует кэшировать несериализированные отношения широковещательной рассылки в драйвере
• [SPARK-39812] [SQL] Упрощение кода, которое создает AggregateExpression с toAggregateExpression
• [SPARK-40028] [SQL] Добавление примеров с двоичными данными для строковых выражений
• [SPARK-39981] [SQL] Отображение исключения QueryExecutionErrors.castingCauseOverflowErrorInTableInsert в Cast
• [SPARK-40007] [PYTHON][SQL] Добавление параметра режима в функции
• [SPARK-40008] [SQL] Поддержка приведения целочисленных значений к интервалам ANSI
• [SPARK-40003] [PYTHON][SQL] Добавление параметра медианы в функции
• [SPARK-39952] [SQL] Команда SaveIntoDataSourceCommand должна повторно кэшировать отношение результата
• [SPARK-39951] [SQL] Обновление проверки столбца Parquet версии 2 для вложенных полей
• [SPARK-39775] [CORE][AVRO] Отключение проверки значений по умолчанию при анализе схем Avro
• [SPARK-33236] [shuffle] Бэкпорт для DBR 11.x: включение службы перетасовки на основе push-уведомлений для сохранения состояния в базе данных на уровне NM, чтобы иметь возможность продолжить работу при перезапуске
• [SPARK-39836] [SQL] Упрощение V2ExpressionBuilder путем извлечения общего метода.
• [SPARK-39867] [SQL] Глобальное ограничение не должно наследовать OrderPreservingUnaryNode
• [SPARK-39873] [SQL] Удалите OptimizeLimitZero и объедините его в EliminateLimits
• [SPARK-39961] [SQL] Сдвиг DS V2 преобразует Cast, если приведение является безопасным
• [SPARK-39872] [SQL] Изменение, связанное с использовании BytePackerForLong#unpack8Values с API ввода массива в VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Удаление ненужных AliasHelper или PredicateHelper для некоторых правил
• [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] Применение проекции, если не указаны атрибуты группы
• [SPARK-39900] [SQL] Обработка частичного или отрицаемого условия в pushdown предиката двоичного формата
• [SPARK-39904] [SQL] Переименование inferDate в prefersDate, а также пояснение семантики параметра в источнике данных CSV
• [SPARK-39958] [SQL] Добавление журнала предупреждений, если не удается загрузить пользовательский объект метрики
• [SPARK-39936] [SQL] Схема хранилища в свойствах для представлений Spark
• [SPARK-39932] [SQL] WindowExec должен очищать буфер последнего раздела
• [SPARK-37194] [SQL] Исключение ненужной сортировки при выполнении записи версии 1, если это не динамический раздел
• [SPARK-39902] [SQL] Добавление сведений о сканировании в узел сканирования плана Spark в SparkUI
• [SPARK-39865] [SQL] Отображение правильных сообщений при ошибках переполнения во время вставки таблицы
• [SPARK-39940] [SS] Обновление таблицы каталога при потоковом запросе с указанием приемника DSv1
• [SPARK-39827] [SQL] Использования класса ошибок ARITHMETIC_OVERFLOW при переполнении int в add_months()
• [SPARK-39914] [SQL] Добавление фильтра DS версии 2 в преобразование фильтра версии 1
• [SPARK-39857] [SQL] Ручной бэкпорт DBR 11.x; V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In 43454
• [SPARK-39840] [SQL][PYTHON] Исключение PythonArrowInput для симметрии с PythonArrowOutput
• [SPARK-39651] [SQL] Условие фильтра очистки, если сравнение с rand является детерминированным
• [SPARK-39877] [PYTHON] Добавление unpivot в API DataFrame PySpark
• [SPARK-39847] Исправление состояния гонки в RocksDBLoader.loadLibrary() в случае прерывания вызывающего потока
• [SPARK-39909] [SQL] Упорядочение проверки сведений об отправке для JDBCV2Suite
• [SPARK-39834] [SQL][SS] Включение статистики и ограничений по источнику для LogicalRDD, если он поступает из кадра данных
• [SPARK-39849] [SQL] Dataset.as(StructType) заполняет отсутствующие новые столбцы значением NULL
• [SPARK-39860] [SQL] Дополнительные выражения должны расширять предикат
• [SPARK-39823] [SQL][PYTHON] Переименование Dataset.as как Dataset.to и добавление DataFrame.to в PySpark
• [SPARK-39918] [SQL][MINOR] Замена слов "несопоставимый" на "несовместимый" в сообщении об ошибке
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In
• [SPARK-39862] [SQL] Ручной бэкпорт для PR 43654, указывающий на DBR 11.x: обновите SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS, чтобы разрешить/запретить команды ALTER TABLE … ADD COLUMN отдельно.
• [SPARK-39844] [SQL] Ручной бэкпорт для PR 43652, указывающий на DBR 11.x
• [SPARK-39899] [SQL] Исправление передачи параметров сообщения в InvalidUDFClassException
• [SPARK-39890] [SQL] Обеспечение наследования в TakeOrderedAndProjectExec из AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Поддержка CharType в PySpark
• [SPARK-38864] [SQL] Добавление отмены свертывания и изменения формата в набор данных
• [SPARK-39864] [SQL] Медленная регистрация ExecutionListenerBus
• [SPARK-39808] [SQL] Поддержка режима агрегатной функции
• [SPARK-39839] [SQL] Обработка особого случая null десятичной переменной нулевой длины с ненулевым смещением offsetAndSize при проверке структурной целостности UnsafeRow
• [SPARK-39875] [SQL] Изменение метода protected в последнем классе на private или package-visible
• [SPARK-39731] [SQL] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате "yyyyMdd" с помощью исправленной политики синтаксического анализа времени
• [SPARK-39805] [SS] Прекращение использования Trigger.Once и Promote Trigger.AvailableNow
• [SPARK-39784] [SQL] Размещение литеральные значения справа от фильтра источника данных после преобразования выражения Catalyst в фильтр источника данных
• [SPARK-39672] [SQL][3.1] Исправление удаления проекта перед фильтрацией с помощью связанного вложенного запроса
• [SPARK-39552] [SQL] Унификация версий 1 и 2 DESCRIBE TABLE
• [SPARK-39806] [SQL] Доступ к _metadata в секционированной таблице может привести к сбою запроса
• [SPARK-39810] [SQL] Проверка Catalog.tableExists должна обрабатывать вложенное пространство имен
• [SPARK-37287] [SQL] Извлечение динамического раздела и сортировки контейнеров из FileFormatWriter
• [SPARK-39469] [SQL] Вывод типа даты для вывода схемы CSV
• [SPARK-39148] [SQL] Агрегатная отправка DS версии 2 может работать с OFFSET или LIMIT
• [SPARK-39818] [SQL] Исправление ошибки в типах ARRAY, STRUCT, MAP со значениями DEFAULT с полями NULL
• [SPARK-39792] [SQL] Добавление DecimalDivideWithOverflowCheck для десятичного среднего
• [SPARK-39798] [SQL] Замена toSeq.toArray на .toArray[Any] в конструкторе GenericArrayData
• [SPARK-39759] [SQL] Реализация listIndexes в JDBC (диалект H2)
• [SPARK-39385] [SQL] Поддерживает отправку REGR_AVGX и REGR_AVGY
• [SPARK-39787] [SQL] Используйте класс error при ошибке синтаксического анализа функции to_timestamp
• [SPARK-39760] [PYTHON] Поддержка Varchar в PySpark
• [SPARK-39557] [SQL] Ручной бэкпорт для DBR 11.x: поддержка типов ARRAY, STRUCT, MAP в качестве значений по умолчанию
• [SPARK-39758] [SQL][3.3] Исправление NPE из функций regexp для недопустимых шаблонов
• [SPARK-39749] [SQL] Режим SQL ANSI: использование простого строкового представления при приведении десятичного числа к строке
• [SPARK-39704] [SQL] Реализация createIndex и dropIndex & indexExists в JDBC (диалект H2)
• [SPARK-39803] [SQL] Использование LevenshteinDistance вместо StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Поддержка типа TimestampNTZ в источнике файлов JDBC
• [SPARK-39781] [SS] Добавление поддержки для предоставления max_open_files поставщику хранилища состояний rocksdb
• [SPARK-39719] [R] Реализация databaseExists/getDatabase в SparkR поддерживает пространство имен 3L
• [SPARK-39751] [SQL] Переименование метрики hash aggregate key probes
• [SPARK-39772] [SQL] пространство имен должно иметь значение NULL, если база данных имеет значение NULL в старых конструкторах
• [SPARK-39625] [SPARK-38904][SQL] Добавление Dataset.as(StructType)
• [SPARK-39384] [SQL] Компиляция встроенных агрегатных функций линейной регрессии для диалекта JDBC
• [SPARK-39720] [R] Реализация tableExists/getTable в SparkR для пространства имен 3L
• [SPARK-39744] [SQL] Добавление функции REGEXP_INSTR
• [SPARK-39716] [R] Обеспечение поддержки пространства имен 3L в currentDatabase/setCurrentDatabase/listCatalogs в SparkR
• [SPARK-39788] [SQL] Переименование catalogName в dialectName для JdbcUtils
• [SPARK-39647] [CORE] Регистрация исполнителя с ESS перед регистрацией BlockManager
• [SPARK-39754] [CORE][SQL] Удаление неиспользуемых import или ненужных {}
• [SPARK-39706] [SQL] Задание отсутствующего столбца со значением defaultValue в качестве константы в ParquetColumnVector
• [SPARK-39699] [SQL] Более эффективная обработка выражений создания коллекций в CollapseProject
• [SPARK-39737] [SQL] PERCENTILE_CONT и PERCENTILE_DISC должны поддерживать агрегатный фильтр
• [SPARK-39579] [SQL][PYTHON][R] Обеспечение совместимости ListFunctions/getFunction/functionExists с пространством имен уровня 3
• [SPARK-39627] [SQL] При передаче JDBC версии 2 должен всегда использоваться API компиляции
• [SPARK-39748] [SQL][SS] Включение логического плана источника для LogicalRDD, если он поступает из кадра данных
• [SPARK-39385] [SQL] Преобразование агрегатных функций линейной регрессии для передачи
• [SPARK-39695] [SQL] Добавление функции REGEXP_SUBSTR
• [SPARK-39667] [SQL] Добавление еще одного решения, если недостаточно памяти для сборки и передачи таблицы
• [SPARK-39666] [ES-337834][SQL] Использование UnsafeProjection.create для учета spark.sql.codegen.factoryMode в ExpressionEncoder
• [SPARK-39643] [SQL] Запрет выражений вложенных запросов в значениях DEFAULT
• [SPARK-38647] [SQL] Добавление смеси SupportsReportOrdering в интерфейсе для сканирования (DataSourceV2)
• [SPARK-39497] [SQL] Улучшение обработки исключений при анализе при отсутствующем ключевом столбце сопоставления
• [SPARK-39661] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
• [SPARK-39713] [SQL] Режим ANSI: добавление предложения использования try_element_at для исправления ошибки INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL] DS V2 поддерживает отправку функций datetime
• [SPARK-39638] [SQL] Изменение, связанное с использованием ConstantColumnVector для хранения столбцов разделов в OrcColumnarBatchReader
• [SPARK-39653] [SQL] Очистка ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) из ColumnVectorUtils
• [SPARK-39231] [SQL] Использование ConstantColumnVector вместо On/OffHeapColumnVector для хранения столбцов разделов в VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog не должен вызывать исключение NoSuchDatabaseException в loadNamspaceMetadata
• [SPARK-39447] [SQL] Не следует использовать AssertionError в AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Переработка MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec должен учитывать порядок дочерних выходных данных
• [SPARK-39606] [SQL] Использование дочерней статистики для оценки оператора упорядочения
• [SPARK-39611] [PYTHON][PS] Исправление неправильных псевдонимов в array_ufunc
• [SPARK-39656] [SQL][3.3] Исправление неправильного пространства имен в DescribeNamespaceExec
• [SPARK-39675] [SQL] Переключение конфигурации spark.sql.codegen.factoryMode для тестирования на конфигурацию для внутреннего использования
• [SPARK-39139] [SQL] DS V2 поддерживает отправку DS V2 UDF
• [SPARK-39434] [SQL] Предоставление контекста запроса для ошибки среды выполнения при выходе индекса за границы массива
• [SPARK-39479] [SQL] DS V2 поддерживает передачу математических функций (не ANSI)
• [SPARK-39618] [SQL] Добавление функции REGEXP_COUNT
• [SPARK-39553] [CORE] Отмена регистрации нескольких потоков не должна приводить к NPE при использовании Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Добавление файла для решения проблемы отсутствующих общих функций pandas
• [SPARK-39444] [SQL] Добавление OptimizeSubqueries в список nonExcludableRules
• [SPARK-39316] [SQL] Объединение PromotePrecision и CheckOverflow в двоичную арифметику с десятичными числами
• [SPARK-39505] [UI] Содержимое журнала Escape, отображаемое в пользовательском интерфейсе
• [SPARK-39448] [SQL] Добавить ReplaceCTERefWithRepartition в список nonExcludableRules
• [SPARK-37961] [SQL] Переопределение maxRows/maxRowsPerPartition для некоторых логических операторов
• [SPARK-35223] Отмена добавления IssueNavigationLink
• [SPARK-39633] [SQL] Поддержка метки времени в секундах для TimeTravel с помощью параметров кадра данных
• [SPARK-38796] [SQL] Обновление документации по строкам числового формата с помощью функций {try_}to_number
• [SPARK-39650] [SS] Исправление неправильной схемы значений при дедупликации потоковой передачи с обратной совместимостью
• [SPARK-39636] [CORE][UI] Исправление нескольких ошибок в JsonProtocol, которые влияют на операции StorageLevels и task/Executor ResourceRequests, выполняемые вне кучи
• [SPARK-39432] [SQL] Возврат ELEMENT_AT_BY_INDEX_ZERO из element_at(*, 0)
• [SPARK-39349] Добавление централизованного метода CheckError для проверки ошибочного пути
• [SPARK-39453] [SQL] DS версии 2 поддерживает передачу различных неагрегатных функций (не ANSI)
• [SPARK-38978] [SQL] DS V2 поддерживает оператор OFFSET передачи
• [SPARK-39567] [SQL] Поддержка интервалов ANSI в функциях с процентилями
• [SPARK-39383] [SQL] Поддержка столбцов DEFAULT в ALTER TABLE ALTER COLUMNS в источниках данных версии 2
• [SPARK-39396] [SQL] Исправление исключение входа LDAP "код ошибки 49 — недопустимые учетные данные"
• [SPARK-39548] [SQL] Команда CreateView с запросом предложения окна привела к неверной ошибке "определение окна не найдено"
• [SPARK-39575] [AVRO] Добавление ByteBuffer#rewind после ByteBuffer#get в Avr…
• [SPARK-39543] Параметр DataFrameWriterV2 должен передаваться в свойства хранилища в случае отката к версии 1
• [SPARK-39564] [SS] Предоставление информации из таблицы каталогов в логический план в потоковом запросе
• [SPARK-39582] [SQL] Исправление маркера "Since" для array_agg
• [SPARK-39388] [SQL] Повторное использование orcSchema при отправке предикатов Orc
• [SPARK-39511] [SQL] Улучшение локального ограничения передачи 1 для правой части левого полу-/антисоедиенния, если условие объединения пустое
• [SPARK-38614] [SQL] Не следует передавать ограничение через окно, использующее percent_rank
• [SPARK-39551] [SQL] Добавление проверки недопустимого плана AQE
• [SPARK-39383] [SQL] Поддержка столбцов DEFAULT в ALTER TABLE ADD COLUMNS в источниках данных версии 2
• [SPARK-39538] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
• [SPARK-39383] [SQL] Ручной бэкпорт для DBR 11.x: рефакторинг поддержки столбца DEFAULT для пропуска основного анализатора
• [SPARK-39397] [SQL] Освобождение AliasAwareOutputExpression для поддержки псевдонима с выражением
• [SPARK-39496] [SQL] Обработка конструкции null в Inline.eval
• [SPARK-39545] [SQL] Изменение метода concat для ExpressionSet в Scala 2.13 с целью повышения производительности
• [SPARK-39340] [SQL] Агрегатная передача DS v2 должна разрешать наличие точек в имени столбцов верхнего уровня
• [SPARK-39488] [SQL] Упрощение обработки ошибок TempResolvedColumn
• [SPARK-38846] [SQL] Добавление явного сопоставления данных между числовым типом Teradata и десятичным типом Spark
• [SPARK-39520] [SQL] Переопределение метода -- для ExpressionSet в Scala 2.13
• [SPARK-39470] [SQL] Поддержка приведения интервалов ANSI к десятичным числам
• [SPARK-39477] [SQL] Удаление информации о количестве запросов из золотых файлов SQLQueryTestSuite
• [SPARK-39419] [SQL] Исправление ошибке, приводящей к возникновению исключения ArraySort, когда блок сравнения возвращает значение NULL
• [SPARK-39061] [SQL] Правильная настройка допустимого значения NULL для выходных атрибутов Inline
• [SPARK-39320] [SQL] Поддержка агрегатной функции MEDIAN
• [SPARK-39261] [CORE] Улучшение форматирования новой строки для сообщений об ошибках
• [SPARK-39355] [SQL] Один столбец использует кавычки для создания UnresolvedAttribute
• [SPARK-39351] [SQL] Команда SHOW CREATE TABLE должна формулировать свойства
• [SPARK-37623] [SQL] Поддержка агрегатной функции ANSI: regr_intercept
• [SPARK-39374] [SQL] Улучшение сообщения об ошибке для списка указанных пользователем столбцов
• [SPARK-39255] [SQL][3.3] Улучшение сообщений об ошибках
• [SPARK-39321] [SQL] Рефакторинг TryCast для использования RuntimeReplaceable
• [SPARK-39406] [PYTHON] Принятие массива NumPy в createDataFrame
• [SPARK-39267] [SQL] Очистка ненужного символа dsl
• [SPARK-39171] [SQL] Унификация выражения приведения
• [SPARK-28330] [SQL] Поддержка ANSI SQL: предложение смещения результатов в выражении запроса
• [SPARK-39203] [SQL] Переопределение расположения таблицы на абсолютный URI на основе URI базы данных
• [SPARK-39313] [SQL] toCatalystOrdering должен выдавать ошибку, если невозможно преобразовать V2Expression
• [SPARK-39301] [SQL][PYTHON] Использование localRelation и учет размера пакета Arrow в createDataFrame с оптимизацией Arrow
• [SPARK-39400] [SQL] spark-sql должен удалить dir ресурса Hive во всех случаях

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 11.1.

Системная среда

• Операционная система: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14.
• Python: 3.9.5
• R: 4.1.3.
• Delta Lake: 1.2.1

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 15.08.2022.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)