Limitações do Databricks Connect for Scala

nota

Este artigo abrange o Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo lista as limitações com Databricks Connect para Scala. Databricks Connect permite que o senhor conecte os populares IDEs, servidores de notebook e aplicativos personalizados ao Databricks compute recurso. Consulte O que é o Databricks Connect? Para obter a versão Python deste artigo, consulte Limitações com Databricks Connect para Python.

important

Dependendo da versão de Scala, Java, Databricks Runtime e Databricks Connect que o senhor estiver usando, pode haver requisitos de versão para alguns recursos. Consulte os requisitos.

disponibilidade de recurso

Não disponível no Databricks Connect para o Databricks Runtime 13.3 LTS e abaixo:

• transmissão foreachBatch
• Criação de DataFrames maiores que 128 MB
• Consultas longas de mais de 3600 segundos
• UDFs escalares em compute recurso que usa o modo de acesso dedicado (anteriormente, usuário único)

Não disponível:

• Databricks utilidades: credentials, library, notebook workflow, widgets
• Contexto do Spark
• RDDs
• CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
• Alterar o nível do log4j log por meio do SparkContext
• Distribuído ML treinamento
• Sincronizando o ambiente de desenvolvimento local com o remoto compute recurso