CLI рабочей области (устаревшая версия)

Чтобы запустить подкоманды CLI для рабочей области Databricks, добавьте их в databricks workspace. Эти вложенные команды вызывают API рабочей области.

databricks workspace -h

Usage: databricks workspace [OPTIONS] COMMAND [ARGS]...

  Utility to interact with the Databricks workspace. Workspace paths must be
  absolute and be prefixed with `/`.

Common Options:
  -v, --version  [VERSION]
  -h, --help     Show this message and exit.

Commands:
  delete      Deletes objects from the Databricks workspace. rm and delete are synonyms.
    Options:
        -r, --recursive
  export      Exports a file from the Databricks workspace.
    Options:
      -f, --format FORMAT      SOURCE, HTML, JUPYTER, or DBC. Set to SOURCE by default.
      -o, --overwrite          Overwrites file with the same name as a workspace file.
  export_dir  Recursively exports a directory from the Databricks workspace.
    Options:
      -o, --overwrite          Overwrites local files with the same names as workspace files.
  import      Imports a file from local to the Databricks workspace.
    Options:
      -l, --language LANGUAGE  SCALA, PYTHON, SQL, R  [required]
      -f, --format FORMAT      SOURCE, HTML, JUPYTER, or DBC. Set to SOURCE by default.
      -o, --overwrite          Overwrites workspace files with the same names as local files.
  import_dir  Recursively imports a directory to the Databricks workspace.

    Only directories and files with the extensions .scala, .py, .sql, .r, .R,
    .ipynb are imported. When imported, these extensions are stripped off
    the name of the notebook.

    Options:
      -o, --overwrite          Overwrites workspace files with the same names as local files.
      -e, --exclude-hidden-files
  list        Lists objects in the Databricks workspace. ls and list are synonyms.
    Options:
      --absolute               Displays absolute paths.
      -l                       Displays full information including ObjectType, Path, Language
  ls          Lists objects in the Databricks workspace. ls and list are synonyms.
    Options:
      --absolute               Displays absolute paths.
      -l                       Displays full information including ObjectType, Path, Language
  mkdirs      Makes directories in the Databricks workspace.
  rm          Deletes objects from the Databricks workspace. rm and delete are synonyms.
    Options:
        -r, --recursive

Удаление объекта из рабочей области

Чтобы просмотреть документацию по использованию, выполните команду databricks workspace delete --help или databricks workspace rm --help.

databricks workspace delete --recursive "/Users/someone@example.com/My Folder"

Или сделайте так:

databricks workspace rm --recursive "/Users/someone@example.com/My Folder"

В случае успеха отчет о выполнении команды не отображается.

Экспорт файла из рабочей области в локальную файловую систему

Чтобы просмотреть документацию по использованию, выполните команду databricks workspace export --help.

databricks workspace export --overwrite --format JUPYTER "/Users/someone@example.com/My Python Notebook" /Users/me/Downloads

Этот параметр также можно использовать для экспорта записных книжек из папки Databricks Git:

databricks workspace export "/Repos/someone@example.com/MyRepoNotebook" /Users/me/Downloads

В случае успеха отчет о выполнении команды не отображается.

Экспорт каталога из рабочей области в локальную файловую систему

Чтобы просмотреть документацию по использованию, выполните команду databricks workspace export_dir --help.

databricks workspace export_dir --overwrite /Users/someone@example.com/my-folder /Users/me/Downloads/my-folder

/Users/someone@example.com/my-folder/My Python Notebook -> /Users/me/Downloads/my-folder/My Python Notebook.py
/Users/someone@example.com/my-folder/My Scala Notebook -> /Users/me/Downloads/my-folder/My Scala Notebook.scala
/Users/someone@example.com/my-folder/My R Notebook -> /Users/me/Downloads/my-folder/My R Notebook.r
/Users/someone@example.com/my-folder/My SQL Notebook -> /Users/me/Downloads/my-folder/My SQL Notebook.sql

Импорт файла из локальной файловой системы в рабочую область

Чтобы просмотреть документацию по использованию, выполните команду databricks workspace import --help.

Импортировать можно только файлы с расширениями .scala, .py, .sql, .r, .R. При импорте эти расширения удаляются из имени записной книжки.

databricks workspace import ./a.py /Users/someone@example.com/example

./a.py -> /Users/someone@example.com/example/a

Импорт каталога из локальной файловой системы в рабочую область

Чтобы просмотреть документацию по использованию, выполните команду databricks workspace import_dir --help.

Эта команда рекурсивно импортирует каталог из локальной файловой системы в рабочую область. Импортируются только каталоги и файлы с расширениями .scala, .py, .sql, .r, .R. При импорте эти расширения удаляются из имени записной книжки.

Чтобы перезаписать существующие записные книжки по целевому пути, добавьте флаг --overwrite или -o.

tree

.
├── a.py
├── b.scala
├── c.sql
├── d.R
└── e

databricks workspace import_dir . /Users/someone@example.com/example

./a.py -> /Users/someone@example.com/example/a
./b.scala -> /Users/someone@example.com/example/b
./c.sql -> /Users/someone@example.com/example/c
./d.R -> /Users/someone@example.com/example/d

databricks workspace ls /Users/someone@example.com/example -l

NOTEBOOK   a  PYTHON
NOTEBOOK   b  SCALA
NOTEBOOK   c  SQL
NOTEBOOK   d  R
DIRECTORY  e

Список объектов в рабочей области

Чтобы просмотреть документацию по использованию, выполните команду databricks workspace list --help или databricks workspace ls --help.

databricks workspace list --absolute --long --id /Users/someone@example.com

Или сделайте так:

databricks workspace ls --absolute --long --id /Users/someone@example.com

NOTEBOOK           /Users/someone@example.com/My Python Notebook  PYTHON  1234567898012345
NOTEBOOK           /Users/someone@example.com/My Scala Notebook   SCALA   2345678980123456
NOTEBOOK           /Users/someone@example.com/My R Notebook       R       3456789801234567
DIRECTORY          /Users/someone@example.com/My Directory                4567898012345678
MLFLOW_EXPERIMENT  /Users/someone@example.com/My_Experiment               5678980123456789

Создайте каталог в рабочей области

Чтобы просмотреть документацию по использованию, выполните команду databricks workspace mkdirs --help.

databricks workspace mkdirs "/Users/someone@example.com/My New Folder"

В случае успеха отчет о выполнении команды не отображается.