Databricks Runtime 11.0 (EoS)
Примечание.
Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.0 на платформе Apache Spark 3.3.0. Эти образы были выпущены в июле 2022 года.
Новые функции и внесенные улучшения
- Новая версия Apache Spark
- Записные книжки Python теперь используют ядро IPython
- Поддержка ipywidgets
- Соединитель Synapse теперь записывает данные Parquet в неустаревшем режиме
- Схема HTTPS теперь принудительно применяется, когда клиент ABFS использует маркер SAS
- SQL:
DESC
теперь является псевдонимом дляDESCRIBE
- SQL: новая функция
current_version
выводит сведения о версии - При попытке удалить отсутствующие ограничения на уровне таблицы Delta теперь возникает ошибка
- SQL: новое предложение
EXCEPT
в выраженииSELECT
исключает столбцы из выборки - Поддержка удаления столбцов в таблицах Delta (общедоступная предварительная версия)
- Улучшения
COPY INTO
CONVERT TO DELTA
теперь поддерживается в средах с поддержкой каталога Unity (общедоступная предварительная версия)
Новая версия Apache Spark
Databricks Runtime 11.0 и Databricks Runtime 11.0 Photon включают Apache Spark 3.3.0. Более подробную информацию см. в разделе Apache Spark.
Записные книжки Python теперь используют ядро IPython
В Databricks Runtime версии 11.0 и выше записные книжки Python используют ядро IPython для выполнения кода Python. См. статью Ядро IPython.
Поддержка ipywidgets
С помощью ipywidgets вы теперь можете сделать записные книжки Databricks Python интерактивными. См. статью ipywidgets.
Соединитель Synapse теперь записывает данные Parquet в неустаревшем режиме
Теперь соединитель Synapse записывает данные Parquet в неустаревшем режиме. Он сохраняет формат метки времени INT96
при использовании команд PolyBase и COPY
для рабочих нагрузок пакетной и потоковой передачи.
Схема HTTPS теперь принудительно применяется, когда клиент ABFS использует маркер SAS
Теперь когда клиент Azure Blob File System (ABFS) использует маркер подписанного URL-адреса (SAS), принудительно применяется схема HTTPS.
SQL: DESC
теперь является псевдонимом для DESCRIBE
Теперь DESC
можно использовать в качестве псевдонима для DESCRIBE
при описании внешних расположений или учетных данных хранилища. Например:
-- Describe an external location.
DESC EXTERNAL LOCATION location_name;
-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;
SQL: новая функция current_version
выводит сведения о версии
Новая функция current_version
выводит текущую версию Databricks Runtime и Databricks SQL (если они доступны), а также другие связанные сведения о версиях. Используйте эту новую функцию для запроса информации о версии. См. статью Функция current_version.
При попытке удалить отсутствующие ограничения на уровне таблицы Delta теперь возникает ошибка
Если вы попытаетесь удалить ограничение на уровне таблицы Delta по имени, но такое ограничение не существует, появится ошибка. Чтобы вернуть предыдущее поведение, которое не приводило к появлению ошибки при отсутствии ограничения, теперь необходимо использовать инструкцию IF EXISTS
. См. статью ALTER TABLE.
SQL: новое предложение EXCEPT
в выражении SELECT
исключает столбцы из выборки
Инструкции SELECT
теперь поддерживают предложение EXCEPT
для исключения столбцов из выборки. Например, SELECT * EXCEPT (x) FROM table
возвращает все столбцы из table
, кроме x
. Также разрешены вложенные столбцы. Например, SELECT * EXCEPT (x.a) FROM table
возвращает все столбцы из table
, но пропускает поле a
из структуры x
.
Поддержка удаления столбцов в таблицах Delta (общедоступная предварительная версия)
Можно использовать ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name>
или ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *)
для удаления столбцов или списка столбцов, соответственно, из таблицы Delta в качестве операции, применимой только к метаданным. По сути, столбцы будут "обратимо удалены", так как они по-прежнему находятся в базовых файлах Parquet, но больше не доступны таблице Delta.
С помощью REORG TABLE <table-name> APPLY (PURGE)
можно активировать перезапись файлов, содержащих любые обратимо удаленные данные, например удаленные столбцы.
С помощью VACUUM
можно удалить удаленные файлы из физического хранилища, включая старые файлы, которые содержат удаленные столбцы и были перезаписаны REORG TABLE
.
Улучшения COPY INTO
Теперь можно создать пустые таблицы-заполнители Delta, чтобы в дальнейшем вывести схему при выполнении команды COPY INTO
.
CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');
Предыдущая инструкция SQL является идемпотентной, и выполнить ее для приема данных в таблицу Delta можно только один раз.
Примечание.
Пустая разностная таблица недоступна для использования за пределами COPY INTO
. Нельзя использовать INSERT INTO
и MERGE INTO
для записи данных в таблицы Delta без схемы. После вставки данных в таблицу с помощью COPY INTO
к таблице можно выполнять запросы.
Если принимаемые данные не удается прочитать в связи с повреждением, эти поврежденные файлы можно пропустить, задав для ignoreCorruptFiles
значение true
в FORMAT_OPTIONS
:
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')
Команда COPY INTO
возвращает количество файлов, пропущенных из-за повреждения в столбце num_skipped_corrupt_files
. Эта метрика также отображается в столбце operationMetrics
под заголовком numSkippedCorruptFiles
после запуска DESCRIBE HISTORY
в таблице Delta.
COPY INTO
не отслеживает поврежденные файлы, поэтому, если повреждение исправлено, их можно перезагрузить в последующем запуске. Чтобы посмотреть, какие файлы повреждены, выполните команду COPY INTO
в режиме VALIDATE
.
CONVERT TO DELTA
теперь поддерживается в средах с поддержкой каталога Unity (общедоступная предварительная версия)
В средах с поддержкой каталога Unity инструкция CONVERT TO DELTA
теперь позволяет:
- Преобразовать файлы Parquet во внешних расположениях в Delta Lake.
- Преобразовать внешние таблицы Parquet в таблицы Delta.
Изменения в работе
- SQL: функции
lpad
иrpad
теперь поддерживают последовательности байтов - Для строкового формата в
format_string
иprintf
больше не допускается%0$
- Значения NULL в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек
- Свойство
external
таблицы теперь является зарезервированным - Библиотека Log4j обновлена с версии Log4j 1 до Log4j 2
- Библиотеки, установленные из Maven, теперь разрешаются в плоскости вычислений по умолчанию.
SQL: функции lpad
и rpad
теперь поддерживают последовательности байтов
Функции lpad и rpad были обновлены для добавления поддержки последовательностей байтов в дополнение к последовательности строк.
Для строкового формата в format_string
и printf
больше не допускается %0$
При указании формата %0$
в функциях format_string
и printf
теперь по умолчанию возникает ошибка. Это изменение предназначено для сохранения ожидаемого поведения в предыдущих версиях Databricks Runtime и распространенных сторонних базах данных. Если вы используете индекс аргумента для указания позиции аргумента в списке аргументов, первый аргумент всегда должен ссылаться на %1$
.
Значения NULL в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек
Ранее значения NULL в CSV-файлах записывались как пустые строки в кавычках. В этом выпуске значения NULL в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек. Чтобы вернуться к предыдущему поведению, задайте параметру nullValue
значение ""
для операций записи.
Свойство external
таблицы теперь является зарезервированным
Теперь свойство external
по умолчанию является зарезервированным свойством таблицы. При использовании свойства external
с предложениями CREATE TABLE ... TBLPROPERTIES
и ALTER TABLE ... SET TBLPROPERTIES
теперь возникают исключения.
Библиотека Log4j обновлена с версии Log4j 1 до Log4j 2
Библиотека Log4j 1 была обновлена до версии Log4j 2. Устаревшие зависимости Log4j 1 удаляются.
Если вы используете зависимости от классов Log4j 1, которые ранее были включены в Databricks Runtime, учтите, что эти классы больше не существуют. Вам нужно обновить зависимости до версии Log4j 2.
Если у вас есть пользовательские подключаемые модули или файлы конфигурации, которые зависят от Log4j 2, возможно, они не будут работать с версией Log4j 2 в этом выпуске. Чтобы получить помощь, обратитесь к группе учетных записей Azure Databricks.
Библиотеки, установленные из Maven, теперь разрешаются в плоскости вычислений по умолчанию.
Библиотеки Maven теперь разрешаются в плоскости вычислений по умолчанию при установке библиотек в кластере. Кластер должен иметь доступ к Maven Central. Кроме того, можно вернуться к предыдущему поведению, задав свойство конфигурации Spark:
spark.databricks.libraries.enableMavenResolution false
Исправления ошибок
- Двоичная совместимость для
LeafNode
,UnaryNode
иBinaryNode
между Apache Spark и Databricks Runtime исправлена, а классы теперь совместимы с Apache Spark 3.3.0 и более поздних версий. Если при использовании пакета стороннего разработчика с Databricks Runtime возникает следующее или аналогичное сообщение, перестройте пакет с помощью Apache Spark 3.3.0 или более поздней версии:Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected
.
Обновления библиотек
- Обновленные библиотеки Python:
- platformdirs, с версии 2.5.1 до 2.5.2;
- protobuf, с версии 3.20.0 до 3.20.1.
- Обновленные библиотеки R:
- blob, с версии 1.2.2 до 1.2.3;
- broom, с версии 0.7.12 до 0.8.0;
- caret, с версии 6.0-91 до 6.0-92;
- cli, с версии 3.2.0 до 3.3.0;
- dplyr, с версии 1.0.8 до 1.0.9;
- future, с версии 1.24.0 до 1.25.0;
- future.apply, с версии 1.8.1 до 1.9.0;
- gert, с версии 1.5.0 до 1.6.0;
- ggplot2, с версии 3.3.5 до 3.3.6;
- glmnet, с версии 4.1-3 до 4.1-4;
- haven, с версии 2.4.3 до 2.5.0;
- httr, с 1.4.2 до 1.4.3;
- knitr, с версии 1.38 до 1.39;
- magrittr, с версии 2.0.2 до 2.0.3;
- parallelly, с версии 1.30.0 до 1.31.1;
- ps, с версии 1.6.0 до 1.7.0;
- RColorBrewer, с версии 1.1-2 до 1.1-3;
- RcppEigen, с версии 0.3.3.9.1 до 0.3.3.9.2;
- readxl, с версии 1.3.1 до 1.4.0;
- rmarkdown, с версии 2.13 до 2.14;
- rprojroot, с версии 2.0.2 до 2.0.3;
- RSQLite, с версии 2.2.11 до 2.2.13;
- scales, с версии 1.1.1 до 1.2.0;
- testthat, с версии 3.1.2 до 3.1.4;
- tibble, с версии 3.1.6 до 3.1.7;
- tinytex, с версии 0.37 до 0.38;
- tzdb, с версии 0.2.0 до 0.3.0;
- uuid, с версии 1.0-4 до 1.1-0;
- vctrs, с версии 0.3.8 до 0.4.1;
- Обновленные библиотеки Java:
- com.fasterxml.jackson.core.jackson-annotations, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.core.jackson-core, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.core.jackson-databind, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.datatype.jackson-datatype-joda, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.module.jackson-module-paranamer, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.module.jackson-module-scala_2.12, с версии 2.13.0 до 2.13.3;
- com.google.crypto.tink.tink, с версии 1.6.0 до 1.6.1;
- com.ning.compress-lzf, с версии 1.0.3 до 1.1;
- dev.ludovic.netlib.arpack, с версии 2.2.0 до 2.2.1;
- dev.ludovic.netlib.blas, с версии 2.2.0 до 2.2.1;
- dev.ludovic.netlib.lapack, с версии 2.2.0 до 2.2.1;
- io.netty.netty-all, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-buffer, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-codec, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-common, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-handler, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-resolver, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-tcnative-classes, с версии 2.0.46.Final до 2.0.48.Final;
- io.netty.netty-transport, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-classes-epoll, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-classes-kqueue, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-native-epoll-linux-aarch_64, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-native-epoll-linux-x86_64, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-native-kqueue-osx-aarch_64, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-native-kqueue-osx-x86_64, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-native-unix-common, с версии 4.1.73.Final до 4.1.74.Final;
- joda-time.joda-time, с версии 2.10.12 до 2.10.13;
- org.apache.commons.commons-math3, с версии 3.4.1 до 3.6.1;
- org.apache.httpcomponents.httpcore, с версии 4.4.12 до 4.4.14;
- org.apache.orc.orc-core, с версии 1.7.3 до 1.7.4;
- org.apache.orc.orc-mapreduce, с версии 1.7.3 до 1.7.4;
- org.apache.orc.orc-shims, с версии 1.7.3 до 1.7.4;
- org.eclipse.jetty.jetty-client, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-continuation, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-http, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-io, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-jndi, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-plus, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-proxy, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-security, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-server, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-servlet, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-servlets, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-util, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-util-ajax, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-webapp, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-xml, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.websocket.websocket-api, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.websocket.websocket-client, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.websocket.websocket-common, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.websocket.websocket-server, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.websocket.websocket-servlet, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.mariadb.jdbc.mariadb-java-client, с версии 2.2.5 до 2.7.4;
- org.postgresql.postgresql, с версии 42.2.19 до 42.3.3;
- org.roaringbitmap.RoaringBitmap, с версии 0.9.23 до 0.9.25;
- org.roaringbitmap.shims, с версии 0.9.23 до 0.9.25;
- org.rocksdb.rocksdbjni, с версии 6.20.3 до 6.24.2;
- org.slf4j.jcl-over-slf4j, с версии 1.7.32 до 1.7.36;
- org.slf4j.jul-to-slf4j, с версии 1.7.32 до 1.7.36;
- org.slf4j.slf4j-api, с версии 1.7.30 до 1.7.36;
Apache Spark
Databricks Runtime 11.0 включает Apache Spark 3.3.0.
В этом разделе рассматриваются следующие вопросы.
- Spark SQL и Core
- Структурированная потоковая передача
- PySpark
- MLlib
- SparkR
- Пользовательский интерфейс
- Сборка
Spark SQL и Core
Режим ANSI
- Новые правила синтаксиса явного приведения в режиме ANSI (SPARK-33354)
- Elt() теперь возвращает значение NULL, если индекс имеет значение NULL в режиме ANSI (SPARK-38304)
- Дополнительный возврат результата NULL, если элемент не существует в массиве или сопоставлении (SPARK-37750)
- Разрешено приведение между числовым типом и типом метки времени (SPARK-37714)
- Отключение зарезервированных ключевых слов ANSI по умолчанию (SPARK-37724)
- Использование правил назначения хранилища для разрешения вызова функции (SPARK-37438)
- Добавление конфигурации, которая разрешает приведение между значениями даты и времени и числовыми значениями (SPARK-37179)
- Добавление конфигурации, с помощью которой можно при необходимости принудительно применить зарезервированные ключевые слова ANSI (SPARK-37133)
- Запрет двоичных операций между интервалом и строковым литералом (SPARK-36508)
Усовершенствования функций
- Поддержка типов ANSI SQL INTERVAL (SPARK-27790)
- Улучшения сообщений об ошибках (SPARK-38781)
- Поддержка скрытых метаданных файлов для Spark SQL (SPARK-37273)
- Поддержка необработанного строкового литерала (SPARK-36371)
- Вспомогательный класс для пакетной обработки с помощью Dataset.observe() (SPARK-34806)
- Поддержка указания начального номера секции для повторной балансировки (SPARK-38410)
- Добавлена поддержка каскадного режима для API
dropNamespace
(SPARK-37929) - Разрешение назначения хранилища и неявного приведения типов даты и времени (SPARK-37707)
- Collect, first и last должны быть детерминированными агрегатными функциями (SPARK-32940)
- Добавление ExpressionBuilder для функций со сложными перегрузками (SPARK-37164)
- Добавление поддержки массивов в объединение по имени (SPARK-36546)
- Добавление df.withMetadata: синтаксическое сокращение для обновления метаданных кадра данных (SPARK-36642)
- Поддержка необработанного строкового литерала (SPARK-36371)
- Использование CAST для синтаксического анализа дат и меток времени с шаблоном по умолчанию (SPARK-36418)
- Поддержка класса значений во вложенной схеме для набора данных (SPARK-20384)
- Добавление поддержки синтаксиса AS OF (SPARK-37219)
- Добавление REPEATABLE в TABLESAMPLE для указания начального значения (SPARK-37165)
- Добавление синтаксиса ANSI
set catalog xxx
для изменения текущего каталога (SPARK-36841) - Поддержка ILIKE (ALL | ANY | SOME) — LIKE без учета регистра (SPARK-36674, SPARK-36736, SPARK-36778)
- Поддержка отображения статистики времени выполнения на этапе запроса в форматированном режиме объяснения (SPARK-38322)
- Добавление метрик размера сброса для соединения слиянием сортированных списков (SPARK-37726)
- Обновление синтаксиса SQL для SHOW FUNCTIONS (SPARK-37777)
- Поддержка синтаксиса DROP COLUMN [IF EXISTS] (SPARK-38939)
- Новые встроенные функции и их расширения (SPARK-38783)
- Дата и время
- Добавление функции TIMESTAMPADD() (SPARK-38195)
- Добавление функции TIMESTAMPDIFF() (SPARK-38284)
- Добавление псевдонима
DATEDIFF()
дляTIMESTAMPDIFF()
(SPARK-38389) - Добавление псевдонима
DATEADD()
дляTIMESTAMPADD()
(SPARK-38332) - Добавление функции
convert\_timezone()
(SPARK-37552, SPARK-37568) - Предоставление выражения make_date в functions.scala (SPARK-36554)
- Функции AES (SPARK-12567)
- Добавление встроенных функций aes_encrypt и aes_decrypt (SPARK-12567)
- Поддержка режима GCM в
aes\_encrypt()
/aes\_decrypt()
(SPARK-37591) - Установка
GCM
в качестве режима по умолчанию вaes\_encrypt()
/aes\_decrypt()
(SPARK-37666) - Добавление аргументов
mode
иpadding
вaes\_encrypt()
/aes\_decrypt()
(SPARK-37586)
- Функция агрегирования ANSI (SPARK-37671)
- Поддержка агрегатной функции ANSI: regr_count (SPARK-37613)
- Поддержка агрегатной функции ANSI: regr_avgx и regr_avgy (SPARK-37614)
- Поддержка функции агрегирования ANSI: percentile_cont (SPARK-37676, SPARK-38219)
- Поддержка функции агрегирования ANSI: percentile_disc (SPARK-37691)
- Поддержка агрегатной функции ANSI: regr_count (SPARK-37613)
- Поддержка агрегатной функции ANSI: array_agg (SPARK-27974)
- Поддержка агрегатной функции ANSI: regr_r2 (SPARK-37641)
- Новая функция SQL: try_avg (SPARK-38589)
- Коллекции
- Добавление функции SQL ARRAY_SIZE (SPARK-38345)
- Новая функция SQL: map_contains_key (SPARK-37584)
- Новая функция SQL: try_element_at (SPARK-37533)
- Новая функция SQL: try_sum (SPARK-38548)
- Формат
- Добавлена новая функция SQL to_binary (SPARK-37507, SPARK-38796)
- Новая функция SQL: try_to_binary (SPARK-38590, SPARK-38796)
- Функции форматирования типов данных:
to\_number
(SPARK-28137)
- String/Binary
- Добавление строковой функции CONTAINS() (SPARK-37508)
- Добавление строковых функций
startswith()
иendswith()
(SPARK-37520) - Добавление функций lpad и rpad для двоичных строк (SPARK-37047)
- Поддержка функции split_part (SPARK-38063)
- Добавление параметра масштабирования в функции floor и ceil (SPARK-37475)
- Новые функции SQL: try_subtract и try_multiply (SPARK-38164)
- Реализация агрегатной функции histogram_numeric, которая поддерживает частичное агрегирование (SPARK-16280)
- Добавление max_by/min_by в sql.functions (SPARK-36963)
- Добавление новых встроенных функций SQL: SEC и CSC (SPARK-36683)
- array_intersect обрабатывает повторяющиеся Double.NaN и Float.NaN (SPARK-36754)
- Добавление cot в качестве функций Scala и Python (SPARK-36660)
- Дата и время
Улучшения в плане производительности
- Создание кода всего этапа
- Добавление генератора кода для сортировки агрегатов без группирования ключей (SPARK-37564)
- Добавление генератора кода для полного внешнего соединения слиянием сортированных списков (SPARK-35352)
- Добавление генератора кода для полного внешнего хэш-соединения с перемешиванием (SPARK-32567)
- Добавление генератора кода для соединения слиянием сортированных списков (SPARK-37316)
- Отправка (фильтры)
- Pushdown фильтров использованием RebalancePartitions (SPARK-37828)
- Pushdown логического фильтра столбцов (SPARK-36644)
- Установка равного 1 предела pushdown для правой части левого полу- или антисоедиенния, если условие объединения пустое (SPARK-37917)
- Преобразование более стандартных агрегатных функции для pushdown (SPARK-37527)
- Поддержка распространения пустых связей с помощью агрегата или объединения (SPARK-35442)
- Фильтрация среды выполнения на уровне строк (SPARK-32268)
- Поддержка левого полусоединения в фильтрах среды выполнения уровня строк (SPARK-38565)
- Поддержка pushdown предиката и удаления столбцов для дедуплицированных CTE (SPARK-37670)
- Векторизации
- Реализация ConstantColumnVector и повышение производительности скрытых метаданных файлов (SPARK-37896)
- Включение векторизованного чтения для VectorizedPlainValuesReader.readBooleans (SPARK-35867)
- Объединение и удаление и замена узлов
- Совмещение объединений, если между ними есть проект (SPARK-37915)
- Объединение двух приведений в одно, если для них повышающее приведение безопасно (SPARK-37922)
- Удаление сортировки, если она является дочерней для RepartitionByExpression (SPARK-36703)
- Удаление внешнего соединения только при наличии DISTINCT на стороне потоковой передачи с использованием псевдонима (SPARK-37292)
- Замена хэш-кода агрегатной функцией сортировки, если дочерний элемент уже отсортирован (SPARK-37455)
- Проекты сворачиваются только в том случае, если не дублируются дорогостоящие выражения (SPARK-36718)
- Удаление лишних псевдонимов после RewritePredicateSubquery (SPARK-36280)
- Объединение некоррелируемых скалярных вложенных запросов (SPARK-34079)
- Разбиение
- Динамическое удаление секций не добавляется, если существует статическое удаление (SPARK-38148)
- Улучшено RebalancePartitions в правилах оптимизатора (SPARK-37904)
- Добавление небольшого коэффициента секции для повторной балансировки секций (SPARK-37357)
- Соединять
- Настройка логики понижения уровня широковещательного хэш-соединения в DynamicJoinSelection (SPARK-37753)
- Игнорирование дублирующихся ключей соединения при построении отношения для перемешиваемого хэш-соединения SEMI или ANTI (SPARK-36794)
- Поддержка оптимизации асимметричного соединения, даже если вводится дополнительное перемешивание (SPARK-33832)
- AQE
- Добавлена поддержка устранения ограничений в оптимизаторе AQE (SPARK-36424)
- Оптимизирован план в одну запись в обычном оптимизаторе и оптимизаторе AQE (SPARK-38162)
- Aggregate.groupOnly поддерживает свертываемые выражения (SPARK-38489)
- ByteArrayMethods arrayEqual должен быстро пропустить проверку согласованности с несогласованной платформой (SPARK-37796)
- В правило CTESubstitution добавлена возможность удалить шаблон дерева (SPARK-37379)
- Добавлены дополнительные упрощения оператора Not (SPARK-36665)
- Добавлена поддержка BooleanType в UnwrapCastInBinaryComparison (SPARK-36607)
- Объединение удаляет все выражения после первого выражения, недопускающего значения NULL (SPARK-36359)
- Добавление посетителя для логического плана для распространения различных атрибутов (SPARK-36194)
Улучшения встроенных соединителей
- Общее
- Гибкая сериализация даты и времени из источника данных (SPARK-38437)
- Расположение таблицы воспринимается как абсолютное, если первым символом в пути, указанном при создании или изменении таблицы, является косая черта (SPARK-38236)
- Удаление начальных нулей из пустой статической секции числового типа (SPARK-35561)
- Поддержка
ignoreCorruptFiles
иignoreMissingFiles
в параметрах источника данных (SPARK-38767) - Добавлена команда
SHOW CATALOGS
(SPARK-35973)
- Паркет
- Включение сопоставления имен столбцов схемы по идентификаторам полей (SPARK-38094)
- Удаление имени проверочного поля при чтении или записи данных в Parquet (SPARK-27442)
- Поддержка использования кодировки RLE для логических значений векторизованного чтения в Parquet DataPage версии 2 (SPARK-37864)
- Поддержка кодировки страниц данных Parquet версии 2 (DELTA_BINARY_PACKED) для векторизованного пути (SPARK-36879)
- Перемещение меток времени в часовом поясе сеанса, сохраненных в метаданных Parquet или Avro (SPARK-37705)
- Pushdown группы по столбцу секции для агрегата (SPARK-36646)
- Pushdown агрегата (Min, Max или Count) для Parquet (SPARK-36645)
- Parquet: включение сопоставления имен столбцов схемы по идентификаторам полей (SPARK-38094)
- Уменьшение размера страницы по умолчанию с помощью LONG_ARRAY_OFFSET, если используются G1GC и ON_HEAP (SPARK-37593)
- Реализация векторизованных кодировок DELTA_BYTE_ARRAY и DELTA_LENGTH_BYTE_ARRAY для поддержки Parquet версии 2 (SPARK-37974)
- Поддержка сложных типов для векторного средства чтения Parquet (SPARK-34863)
- ОРК
- Удалено имя проверочного поля при чтении или записи существующих данных в ORC (SPARK-37965)
- Pushdown агрегата для ORC (SPARK-34960)
- Поддержка чтения и записи интервалов ANSI в источниках данных ORC (SPARK-36931)
- Поддержка имен столбцов, состоящих только из чисел, в источниках данных ORC (SPARK-36663)
- JSON — .
- Соблюдается allowNonNumericNumbers при обработке не числа в кавычках и бесконечных значений в модуле чтения JSON (SPARK-38060)
- По умолчанию используется CAST для даты и времени в CSV и JSON (SPARK-36536)
- Выравнивание сообщения об ошибке для неподдерживаемых типов ключей в MapType в средстве чтения JSON (SPARK-35320)
- CSV
- Исправление столбца в CSV-файле, связанного с поврежденной записью (SPARK-38534)
- По умолчанию должны сохраняться значения NULL вместо пустых строк, заключенных в кавычки (SPARK-37575)
- JDBC
- Добавлен оператор IMMEDIATE в реализацию усечения диалекта DB2 (SPARK-30062)
- Hive
- Поддержка записи таблицы с сегментами Hive (форматы файлов Hive с хэшем Hive) (SPARK-32712)
- Фильтрация секций Hive на стороне клиента с помощью выражений (SPARK-35437)
- Поддержка очистки динамических разделов для HiveTableScanExec (SPARK-36876)
- InsertIntoHiveDir должен использовать источник данных, если он является преобразуемым (SPARK-38215)
- Поддержка записи таблицы с контейнерами Hive (формат Parquet / ORC с хэшем Hive) (SPARK-32709)
Прекращение использования узла
- Объект FallbackStorage не должен пытаться разрешить произвольное "удаленное" имя узла (SPARK-38062)
- ExecutorMonitor.onExecutorRemoved должен обрабатывать ExecutorDecommission как завершенный (SPARK-38023)
Другие важные изменения
- Добавление блокировки мелких фрагментов данных в BlockInfoManager (SPARK-37356)
- Поддержка сопоставления типов ресурсов GPU и FPGA Spark с пользовательским типом ресурсов YARN (SPARK-37208)
- Сообщение точного размера перемешанного блока в случае неравномерных данных в нем (SPARK-36967)
- Поддержка ведения журнала Netty на уровне сети (SPARK-36719)
Структурированная потоковая передача
Основные возможности
- Представлен Trigger.AvailableNow для выполнения потоковых запросов, таких как Trigger.Once, в нескольких пакетах (SPARK-36533)
Другие важные изменения
- Использование StatefulOpClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости (SPARK-38204)
- Исправлено время ожидания flatMapGroupsWithState в пакете с данными для ключа (SPARK-38320)
- Исправлена проблема корректности при внешнем соединении "поток — поток" с поставщиком хранилища состояний RocksDB (SPARK-38684)
- Поддержка Trigger.AvailableNow для источника данных Kafka (SPARK-36649)
- Оптимизация пути записи в поставщике хранилища состояний RocksDB (SPARK-37224)
- Добавление нового источника данных для обеспечения постоянного набора строк в каждом микропакете (SPARK-37062)
- Использование HashClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости (SPARK-38204)
PySpark
API Pandas в Spark
Основные улучшения
- Оптимизация индекса распределенной последовательности с использованием по умолчанию (SPARK-36559, SPARK-36338)
- Поддержка указания имени и типа индекса в API Pandas в Spark (SPARK-36709)
- Отображение типа индекса по умолчанию в планах SQL для API Pandas в Spark (SPARK-38654)
Основные возможности
- Реализация собственной для Spark SQL функции ps.merge_asof (SPARK-36813)
- Поддержка TimedeltaIndex в API Pandas в Spark (SPARK-37525)
- Поддержка timedelta Python (SPARK-37275, SPARK-37510)
- Реализация функций в CategoricalAccessor и CategoricalIndex (SPARK-36185)
- Использование стандартного форматировщика строк Python для SQL API в API Pandas в Spark (SPARK-37436)
- Поддержка базовых операций timedelta Series и Index (SPARK-37510)
- Поддержка ps.MultiIndex.dtypes (SPARK-36930)
- Реализация Index.map (SPARK-36469)
- Реализация Series.xor и Series.rxor (SPARK-36653)
- Реализация унарного оператора
invert
целочисленных ps.Series и ps.Index (SPARK-36003) - Реализация DataFrame.cov (SPARK-36396)
- Поддержка строкового типа и типа меток времени для (Series|DataFrame).describe() (SPARK-37657)
- Поддержка лямбда-параметра
column
дляDataFrame.rename
(SPARK-38763)
Другие важные изменения
Критические изменения
- Удалены упоминания о поддержке Python 3.6 в docs и python/docs (SPARK-36977)
- Удаление именованного кортежа элементов путем замены встроенного pickle на облачный (SPARK-32079)
- Повышена минимальная версия Pandas до версии 1.0.5 (SPARK-37465)
- Основные улучшения
- Предоставление профилировщика для определяемых пользователем функций Python и Pandas (SPARK-37443)
- Использование стандартного форматировщика строк Python для SQL API в PySpark (SPARK-37516)
- Предоставление класса ошибок и состояний в исключениях PySpark (SPARK-36953)
- Попытка записи данных faulthanlder при сбое рабочей роли Python (SPARK-36062)
Основные возможности
- Реализация DataFrame.mapInArrow в Python (SPARK-37228)
- Использование стандартного форматировщика строк Python для SQL API в PySpark (SPARK-37516)
- Добавление API PySpark df.withMetadata (SPARK-36642)
- Поддержка timedelta Python (SPARK-37275)
- Предоставление tableExists в pyspark.sql.catalog (SPARK-36176)
- Предоставление databaseExists в pyspark.sql.catalog (SPARK-36207)
- Предоставление functionExists в pyspark.sql.catalog (SPARK-36258)
- Добавление Dataframe.observation в PySpark (SPARK-36263)
- Добавление API max_by/min_by в PySpark (SPARK-36972)
- Поддержка определения вложенного словаря в виде структуры при создании DataFrame (SPARK-35929)
- Добавление интерфейсов API bit/octet_length в Scala, Python и R (SPARK-36751)
- Поддержка API ILIKE в Python (SPARK-36882)
- Добавлен метод isEmpty в API DataFrame для Python (SPARK-37207)
- Поддержка добавления нескольких столбцов (SPARK-35173)
- Добавление SparkContext.addArchive в PySpark (SPARK-38278)
- Добавлена возможность сделать представления типов SQL вычисляемыми (SPARK-18621)
- Встроены подсказки для типов fpm.py в python/pyspark/mllib (SPARK-37396)
- Реализация параметра
dropna
дляSeriesGroupBy.value_counts
(SPARK-38837)
MLlib
Основные возможности
- Добавлен параметр distanceMeasure в trainKMeansModel (SPARK-37118)
- Предоставление LogisticRegression.setInitialModel, таких как KMeans и другие (SPARK-36481)
- Поддержка в CrossValidatorModel получения стандартного отклонения метрик для каждого paramMap (SPARK-36425)
Основные улучшения
- Оптимизация некоторых объектов treeAggregates в MLlib путем задержки выделения (SPARK-35848)
- Перезаписан _shared_params_code_gen.py, чтобы встроить подсказки для типов для ml/param/shared.py (SPARK-37419)
Другие важные изменения
- Обновление до breeze 1.2 (SPARK-35310)
SparkR
- Перенос документов SparkR в pkgdown (SPARK-37474)
- Предоставление выражения make_date в R (SPARK-37108)
- Добавление API max_by/min_by в SparkR (SPARK-36976)
- Поддержка API ILIKE в R (SPARK-36899)
- Добавление sec и csc в качестве функций R (SPARK-36824)
- Добавление интерфейсов API bit/octet_length в Scala, Python и R (SPARK-36751)
- Добавление cot в качестве функции R (SPARK-36688)
UI
- Сводка метрик упреждающего выполнения задач на уровне этапа (SPARK-36038)
- Объединенная метрика Shuffle Read Block Time (Время блокировки при чтении в случайном порядке) заменена метрикой Shuffle Read Fetch Wait Time (Время ожидания при чтении в случайном порядке) в StagePage (SPARK-37469)
- Добавление измененных конфигураций для выполнения SQL в пользовательском интерфейсе (SPARK-34735)
- Распознавание модулем ThriftServer выражения spark.sql.redaction.string.regex (SPARK-36400)
- Подключение и запуск обработчика после запуска приложения в пользовательском интерфейсе (SPARK-36237)
- Добавление длительности фиксации в узел графа вкладки SQL (SPARK-34399)
- Поддержка серверной части RocksDB на сервере журнала Spark (SPARK-37680)
- Отображение параметров API Pandas в Spark в пользовательском интерфейсе (SPARK-38656)
- Переименование SQL в SQL / DataFrame (SQL / Кадр данных) на странице пользовательского интерфейса SQL (SPARK-38657)
Сборка
- Переход с версии log4j 1 на log4j 2 (SPARK-37814)
- Обновление log4j2 до версии 2.17.2 (SPARK-38544)
- Обновление до Py4J 0.10.9.5 (SPARK-38563)
- Обновление ORC до версии 1.7.4 (SPARK-38866)
- Обновление таблиц данных до версии 1.10.25 (SPARK-38924)
Обновления в рамках обслуживания
См. раздел Databricks Runtime 11.0 (EoS).
Системная среда
- Операционная система: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14.
- Python: 3.9.5
- R: 4.1.3.
- Delta Lake: 1.2.1
Установленные библиотеки Python
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1,10 |
attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
bleach | 4.0.0 | boto3 | 1.21.18 | botocore | 1.24.18 |
certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | cycler | 0.10.0 | Cython | 0.29.24 |
dbus-python | 1.2.16 | debugpy | 1.4.1 | decorator | 5.1.0 |
defusedxml | 0.7.1 | distlib | 0.3.4 | distro-info | 0.23ubuntu1 |
entrypoints | 0,3 | facets-overview | 1.0.0 | filelock | 3.6.0 |
idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
mistune | 0.8.4 | nbclient | 0.5.3 | nbconvert | 6.1.0 |
nbformat | 5.1.3 | nest-asyncio | 1.5.1 | записная книжка | 6.4.5 |
numpy | 1.20.3 | во внешнем виде | 21,0 | pandas | 1.3.4 |
pandocfilters | 1.4.3 | parso | 0.8.2 | patsy | 0.5.2 |
pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 8.4.0 |
pip | 21.2.4 | platformdirs | 2.5.2 | график | 5.6.0 |
prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | protobuf | 3.20.1 |
psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pyarrow | 7.0.0 | pycparser | 2,20 | Pygments | 2.10.0 |
PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
pyrsistent | 0.18.0 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
pytz | 2021.3 | pyzmq | 22.2.1 | requests | 2.26.0 |
requests-unixsocket | 0.2.0 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
scipy | 1.7.1 | мореборн | 0.11.2 | Send2Trash | 1.8.0 |
setuptools | 58.0.4 | six | 1.16.0 | ssh-import-id | 5,10 |
statsmodels | 0.12.2 | tenacity | 8.0.1 | terminado | 0.9.4 |
testpath | 0.5.0 | threadpoolctl | 2.2.0 | tornado | 6.1 |
traitlets | 5.1.0 | unattended-upgrades | 0,1 | urllib3 | 1.26.7 |
virtualenv | 20.8.0 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
wheel | 0.37.0 | widgetsnbextension | 3.6.0 |
Установленные библиотеки R
Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 06.05.2022.
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
askpass | 1,1 | assertthat | 0.2.1 | внутренние порты | 1.4.1 |
base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
bit64 | 4.0.5 | большой двоичный объект | 1.2.3 | загрузка | 1.3-28 |
заваривать | 1.0-7 | brio | 1.1.3 | метла | 0.8.0 |
bslib | 0.3.1 | cachem | 1.0.6 | вызывающий объект | 3.7.0 |
крышка | 6.0-92 | cellranger | 1.1.0 | chron | 2.3-56 |
class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
commonmark | 1.8.0 | компилятор | 4.1.3 | config | 0.3.1 |
cpp11 | 0.4.2 | карандаш | 1.5.1 | учетные данные | 1.3.2 |
curl | 4.3.2 | data.table | 1.14.2 | наборы данных | 4.1.3 |
DBI | 1.1.2 | dbplyr | 2.1.1 | desc | 1.4.1 |
средства разработки | 2.4.3 | diffobj | 0.3.5 | digest | 0.6.29 |
dplyr | 1.0.9 | dtplyr | 1.2.1 | e1071 | 1.7-9 |
многоточие | 0.3.2 | evaluate | 0,15 | вентиляторы | 1.0.3 |
Farver | 2.1.0 | fastmap | 1.1.0 | fontawesome | 0.2.2 |
forcats | 0.5.1 | foreach | 1.5.2 | иностранный | 0.8-82 |
forge | 0.2.0 | fs | 1.5.2 | будущее | 1.25.0 |
future.apply | 1.9.0 | gargle | 1.2.0 | Универсальные шаблоны | 0.1.2 |
gert | 1.6.0 | ggplot2 | 3.3.6 | gh | 1.3.0 |
gitcreds | 0.1.1 | glmnet | 4.1-4 | globals | 0.14.0 |
клей | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.0 |
Говер | 1.0.0 | графика | 4.1.3 | grDevices | 4.1.3 |
grid | 4.1.3 | gridExtra | 2.3 | gsubfn | 0,7 |
gtable | 0.3.0 | hardhat | 0.2.0 | haven | 2.5.0 |
высокий | 0,9 | hms | 1.1.1 | htmltools | 0.5.2 |
htmlwidgets | 1.5.4 | httpuv | 1.6.5 | httr | 1.4.3 |
ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-12 |
isoband | 0.2.5 | Итераторы | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.0 | KernSmooth | 2.23-20 | трикотажный | 1,39 |
маркирование | 0.4.2 | later | 1.3.0 | решётка | 0.20-45 |
Lava | 1.6.10 | жизненный цикл | 1.0.1 | listenv | 0.8.0 |
lubridate | 1.8.0 | magrittr | 2.0.3 | Markdown | 1,1 |
МАССАЧУСЕТС | 7.3-56 | «Матрица» | 1.4-1 | memoise | 2.0.1 |
оплаты | 4.1.3 | mgcv | 1.8-40 | мим | 0,12 |
ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
nlme | 3.1-157 | nnet | 7.3-17 | numDeriv | 2016.8-1.1 |
openssl | 2.0.0 | parallel | 4.1.3 | parallelly | 1.31.1 |
столб | 1.7.0 | pkgbuild | 1.3.1 | pkgconfig | 2.0.3 |
pkgload | 1.2.4 | plogr | 0.2.0 | plyr | 1.8.7 |
хвалить | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
processx | 3.5.3 | prodlim | 2019.11.13 | Ход выполнения | 1.2.2 |
progressr | 0.10.0 | promises | 1.2.0.1 | proto | 1.0.0 |
proxy | 0.4-26 | ps | 1.7.0 | purrr | 0.3.4 |
r2d3 | 0.2.6 | R6 | 2.5.1 | randomForest | 4.7-1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.8.3 | RcppEigen | 0.3.3.9.2 | readr | 2.1.2 |
readxl | 1.4.0 | Рецепты | 0.2.0 | реванш | 1.0.1 |
rematch2 | 2.1.2 | remotes | 2.4.2 | reprex | 2.0.1 |
reshape2 | 1.4.4 | rlang | 1.0.2 | rmarkdown | 2,14 |
RODBC | 1.3-19 | roxygen2 | 7.1.2 | rpart | 4.1.16 |
rprojroot | 2.0.3 | Rserve | 1.8-10 | RSQLite | 2.2.13 |
rstudioapi | 0,13 | rversions | 2.1.1 | rvest | 1.0.2 |
sass | 0.4.1 | весы | 1.2.0 | селектор | 0.4-2 |
sessioninfo | 1.2.2 | форма | 1.4.6 | блестящий | 1.7.1 |
sourcetools | 0.1.7 | sparklyr | 1.7.5 | SparkR | 3.3.0 |
пространственный | 7.3-11 | Сплайны | 4.1.3 | sqldf | 0.4-11 |
SQUAREM | 2021.1 | stats | 4.1.3 | статистика4 | 4.1.3 |
stringi | 1.7.6 | stringr | 1.4.0 | выживание | 3.2-13 |
sys | 3,4 | tcltk | 4.1.3 | testthat | 3.1.4 |
tibble | 3.1.7 | tidyr | 1.2.0 | tidyselect | 1.1.2 |
tidyverse | 1.3.1 | TimeDate | 3043.102 | tinytex | 0,38 |
средства | 4.1.3 | tzdb | 0.3.0 | usethis | 2.1.5 |
utf8 | 1.2.2 | служебные программы | 4.1.3 | uuid | 1.1-0 |
vctrs | 0.4.1 | viridisLite | 0.4.0 | vroom | 1.5.7 |
waldo | 0.4.0 | усы | 0,4 | withr | 2.5.0 |
xfun | 0,30 | xml2 | 1.3.3 | xopen | 1.0.0 |
xtable | 1.8-4 | yaml | 2.3.5 | zip | 2.2.0 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
ИД группы | Идентификатор артефакта | Версия |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonaws | aws-java-sdk-config | 1.12.189 |
com.amazonaws | aws-java-sdk-core | 1.12.189 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
com.amazonaws | aws-java-sdk-directory | 1.12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
com.amazonaws | aws-java-sdk-efs | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
com.amazonaws | aws-java-sdk-emr | 1.12.189 |
com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
com.amazonaws | aws-java-sdk-glue | 1.12.189 |
com.amazonaws | aws-java-sdk-iam | 1.12.189 |
com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
com.amazonaws | aws-java-sdk-kms | 1.12.189 |
com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
com.amazonaws | aws-java-sdk-logs | 1.12.189 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
com.amazonaws | aws-java-sdk-rds | 1.12.189 |
com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
com.amazonaws | aws-java-sdk-ses | 1.12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
com.amazonaws | aws-java-sdk-sns | 1.12.189 |
com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonaws | aws-java-sdk-sts | 1.12.189 |
com.amazonaws | aws-java-sdk-support | 1.12.189 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
com.amazonaws | jmespath-java | 1.12.189 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | потоковая передача | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1–0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
com.fasterxml.jackson.core | jackson-core | 2.13.3 |
com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
com.github.ben-manes.caffeine | caffeine | 2.3.4 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | core | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java-natives | 1,1 |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java-natives | 1,1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
com.github.luben | zstd-jni | 1.5.2-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | tink | 1.6.1 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guava | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.0.204 |
com.helger | профилировщик | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.ning | compress-lzf | 1,1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 2.2.1 |
dev.ludovic.netlib | blas | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.4.0 |
io.dropwizard.metrics | metrics-core | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.74.Final |
io.netty | netty-buffer | 4.1.74.Final |
io.netty | netty-codec | 4.1.74.Final |
io.netty | netty-common | 4.1.74.Final |
io.netty | netty-handler | 4.1.74.Final |
io.netty | netty-resolver | 4.1.74.Final |
io.netty | netty-tcnative-classes | 2.0.48.Final |
io.netty | netty-transport | 4.1.74.Final |
io.netty | netty-transport-classes-epoll | 4.1.74.Final |
io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-unix-common | 4.1.74.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | коллектор | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.annotation | javax.annotation-api | 1.3.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1,1 |
javax.transaction | transaction-api | 1,1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.13 |
maven-trees | hive-2.3__hadoop-3.2 | liball_deps_2.12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1.2 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.14 |
net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.1 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4,8 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | arrow-format | 7.0.0 |
org.apache.arrow | arrow-memory-core | 7.0.0 |
org.apache.arrow | arrow-memory-netty | 7.0.0 |
org.apache.arrow | arrow-vector | 7.0.0 |
org.apache.avro | avro | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | avro-mapred | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4. |
org.apache.commons | commons-compress | 1,21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1,9 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | ivy | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
org.apache.logging.log4j | log4j-api | 2.17.2 |
org.apache.logging.log4j | log4j-core | 2.17.2 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.7.4 |
org.apache.orc | orc-mapreduce | 1.7.4 |
org.apache.orc | orc-shims | 1.7.4 |
org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4,20 |
org.apache.yetus | audience-annotations | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.6.2 |
org.apache.zookeeper | zookeeper-jute | 3.6.2 |
org.checkerframework | checker-qual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
org.glassfish.jersey.core | jersey-client | 2.34 |
org.glassfish.jersey.core | jersey-common | 2.34 |
org.glassfish.jersey.core | jersey-server | 2.34 |
org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
org.hibernate.validator | hibernate-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.3 |
org.roaringbitmap | RoaringBitmap | 0.9.25 |
org.roaringbitmap | shims | 0.9.25 |
org.rocksdb | rocksdbjni | 6.24.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.14 |
org.scala-lang | scala-library_2.12 | 2.12.14 |
org.scala-lang | scala-reflect_2.12 | 2.12.14 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | jul-to-slf4j | 1.7.36 |
org.slf4j | slf4j-api | 1.7.36 |
org.spark-project.spark | неиспользованный | 1.0.0 |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1.8 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |