Limitações com Databricks Connect para Scala

Observação

Este artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo lista as limitações com Databricks Connect para Scala. Databricks Connect permite que o senhor conecte os populares IDEs, servidores de notebook e aplicativos personalizados ao Databricks compute recurso. Consulte O que é o Databricks Connect? Para obter a versão Python deste artigo, consulte Limitações com Databricks Connect para Python.

Importante

Dependendo da versão de Scala, Java, Databricks Runtime e Databricks Connect que o senhor estiver usando, pode haver requisitos de versão para alguns recursos. Consulte os requisitos.

disponibilidade de recurso

Não disponível no Databricks Connect para Databricks Runtime 13.3 LTS e abaixo:

  • transmissão foreachBatch

  • Criando DataFrames maiores que 128 MB

  • query longa com mais de 3.600 segundos

  • UDFs escalares em compute recurso que usa o modo de acesso dedicado (anteriormente, usuário único)

Não disponível:

  • Databricks russos: credentials, library, notebook workflow, widgets

  • Contexto do Spark

  • RDDs

  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))

  • Alterando o nível logs log4j por meio de SparkContext

  • Treinamento de ML Distribuído

  • Sincronizando o ambiente de desenvolvimento local com o remoto compute recurso