sem servidor compute limitações
Antes de mover notebooks ou jobs para o compute serverless, verifique as linguagens e APIs suportadas, os requisitos de acesso a dados, os limites de funções definidas pelo usuário, as regras de rede e os requisitos de cache.
Suporte a idiomas e API
- R não é suportado.
- Somente as APIs do Spark Connect são suportadas. As APIs RDD do Spark não são suportadas.
- Spark Connect, usado pela compute serverless , adia a análise e a resolução de nomes para o momento da execução, o que pode alterar o comportamento do seu código. Veja Comparar Spark Connect com Spark Classic.
- O modo ANSI está habilitado por default. Conversões inválidas, estouro aritmético e entrada malformada geram erros de Runtime em vez de retornarem silenciosamente
NULLou um resultado incorreto. Para obter informações sobre como lidar com operações que alteram o comportamento e os limites de desativação, consulte a seção de diferenças de comportamento do SQL do guia de migração. - O fuso horário de sessão default é
Etc/UTC(Tempo Universal Coordenado). Para usar um fuso horário diferente, definaspark.sql.session.timeZone. Consulte Configurar propriedades do Spark para notebooks e jobs serverless. - Ao criar um DataFrame a partir do uso local de dados
spark.createDataFrame, o tamanho das linhas não pode exceder 128 MB.
Acesso e armazenamento de dados
-
O senhor deve usar o site Unity Catalog para se conectar a uma fonte de dados externa. Use locais externos para acessar o armazenamento em nuvem.
-
O acesso ao DBFS é limitado. Em vez disso, use volumes Unity Catalog ou arquivosworkspace .
-
O diretório de trabalho para notebooks e tarefas de job não é garantido, portanto, caminhos de arquivo relativos e importações Python relativas podem falhar. Use caminhos absolutos para fazer referência a arquivos e importe código Python compartilhado como arquivos de workspace em vez de módulos relativos. Consulte Trabalhar com módulos Python e R.
-
Não há suporte para coordenadas Maven.
-
Views temporárias globais não são suportadas. Use views temporárias de sessão para resultados usados em uma única sessão. Para compartilhar resultados compute entre sessões, escreva-os em uma tabela do Unity Catalog.
-
compute sem servidor não oferece suporte à conectividade do serviço privado Connect com o serviço gerenciado do Google. Utilize compute clássica para acessar Google Cloud Storage e BigQuery com o serviço privado Connect.
Funções definidas pelo usuário (UDFs)
- As UDFs Python do Unity Catalog em notebooks e jobs serverless suportam acesso de rede de saída, sujeitas às políticas de rede do workspace e às restrições de rede de UDF. O comando CREATE FUNCTION (External) não é suportado. O Databricks recomenda o uso de CREATE FUNCTION (SQL and Python) para criar UDFs suportadas.
- PySpark UDFs no Serverless compute têm execução em sandboxes isoladas com um limite de memória default de 1 GiB (1024 MiB) por sandbox. O Databricks gerencia esse limite. Os usuários não podem configurá-lo.
- As UDFs (funções definidas pelo usuário) em Scala não podem ser usadas dentro de funções de ordem superior.
Interface do usuário e registro de logs
- O site Spark UI não está disponível. Em vez disso, use o perfil de consulta para view informações sobre suas consultas Spark. Consulte Perfil de consulta.
- logs Spark não estão disponíveis. Os usuários têm acesso apenas aos logs de aplicativos do lado do cliente.
Acesso à rede e workspace
- O acesso entre Workspace depende das regras de saída do Workspace de origem e das regras de entrada do Workspace de destino. A versão Beta de acesso entre Workspace oferece suporte à configuração de pares de Workspace permitidos. Workspace usando o modo de compatibilidade mantém suas restrições de rede pré-existentes. Consulte Acesso entre Workspace para obter requisitos e limitações específicas do serviço.
- Não há suporte para o Databricks Container Services.
- O compute serverless não pode se conectar a recursos acessíveis apenas por IPv6. Os recursos devem estar acessíveis por IPv4.
limitações de transmissão
Compute Serverless para Notebooks e Jobs suporta os seguintes Trigger de Structured Streaming:
Trigger.AvailableNow()Databricks recomenda este modo de gatilho para compute serverless .Trigger.Once()Este modo obsoleto é suportado, mas não recomendado.
Os seguintes Trigger não são suportados em Notebooks ou Job Serverless:
Trigger.Continuous(interval).Trigger.ProcessingTime(interval).- Por default, se você não especificar um modo de gatilho, Apache Spark define o gatilho como
Trigger.ProcessingTime("0 seconds"). Você precisa configurar um gatilho compatível no compute serverless .
- Por default, se você não especificar um modo de gatilho, Apache Spark define o gatilho como
Se você tentar usar um gatilho não suportado, a consulta gera um erro INFINITE_STREAMING_TRIGGER_NOT_SUPPORTED.
Essas restrições de Trigger não se aplicam aos modos de processamento de LakeFlow Pipelines. Para cargas de trabalho de transmissão contínua, use um pipeline serverless em modo contínuo ou use Trigger.AvailableNow() em um job contínuo. O modo em tempo real nos LakeFlow Pipelines é compatível com cargas de trabalho operacionais de sub-segundo, com requisitos específicos de Runtime, fonte, destino e operador.
Para um guia de decisão que mapeia casos de uso de transmissão para o produto serverless adequado, consulte Transmissão em compute serverless.
Todas as limitações de transmissão no modo de acesso padrão também se aplicam. Veja as limitações de transmissão.
Limitações do notebook
- Scala e R não são suportados no Notebook.
- Bibliotecas JAR não são suportadas no Notebook. Para soluções alternativas, consulte Práticas recomendadas para compute serverless. Tarefas JAR em Jobs são suportadas. Consulte a tarefaJAR para Job.
- As bibliotecas instaladas com
%pipem uma sessão de notebook devem ser reinstaladas em uma nova sessão. As dependências configuradas no painel Ambiente usam o cache de ambiente serverless. Consulte Adicionar dependências ao notebook. - O compartilhamento de tabelas TEMP e a visualização ao compartilhar um Notebook entre usuários não são suportados.
- Não há suporte para o preenchimento automático e o Variable Explorer para quadros de dados no Notebook.
- Em default, o novo Notebook é salvo no formato
.ipynb. Se o Notebook for salvo no formato de origem, os metadados do serverless podem não ser capturados corretamente e alguns recursos podem não funcionar como esperado. - tags Notebook não são suportadas. Use políticas de uso de serviçosserverless para tag o uso de serviços serverless .
Job limitações
- Os logs de tarefas exibidos na página de execução de jobs não são isolados por execução de tarefa e contêm a saída de várias tarefas. Para entregar logs de aplicativos em um volume em diretórios organizados por execução de tarefa, consulte Entregar logs serverless para volumes do Unity Catalog.
- A tarefa biblioteca não é compatível com a tarefa Notebook. Em vez disso, use a biblioteca com escopo de Notebook. NotebookConsulte -scoped Pythonbiblioteca.
- Por default, os trabalhos serverless não têm tempo limite de execução de consulta. Você pode definir um tempo limite de execução para consultas de trabalho usando a propriedade
spark.databricks.execution.timeout. Para obter mais detalhes, consulte Configurar propriedades Spark para Notebook e Job serverless. - O compute serverless tem um tempo de execução máximo de 7 dias. As execuções que excedem 7 dias são encerradas pela plataforma e não são repetidas. Para executar cargas de trabalho por mais de 7 dias, divida-as em execuções menores ou use o compute clássico.
limitações específicas do computador
Não há suporte para os seguintes recursos específicos do site compute:
- Políticas de compute
- Init scripts com escopo de compute. Para instalar pacotes ou configurar o ambiente Python, use um ambiente base ou dependências do notebook. Consulte Configurar o ambiente serverless.
- biblioteca com escopo de computação, incluindo fonte de dados personalizada e extensões do site Spark. Em vez disso, use a biblioteca com escopo de Notebook.
- instânciaPools
- computar evento logs
- A maioria das configurações de Apache Spark compute . Para obter uma lista das configurações compatíveis, consulte Configurar propriedades do Spark para serverless Notebook e Job.
- Variáveis de ambiente com escopo Compute. Para passar variáveis de ambiente para o código do aplicativo em tarefas do Lakeflow Jobs Serverless, use o recurso de variáveis de ambiente em nível de Job (Beta). Consulte Configurar variáveis de ambiente para Jobs Serverless. Você também pode usar widgets para criar parâmetros de Job e tarefa.
Limitações de cache
-
Os metadados são armazenados em cache nas sessões compute serverless . Por esse motivo, o contexto da sessão pode não ser totalmente redefinido ao trocar de catálogo. Para limpar o contexto da sessão, reinicie o recurso compute serverless ou inicie uma nova sessão.
-
df.cache(),df.persist()edf.unpersist()têm suporte no ambiente serverless versão 5 e acima quando a Prévia Pública do DataFrame caching on serverless compute está habilitada. A prévia não está disponível em workspaces com o perfil de segurança de compliance habilitado. Consulte Requisitos para obter os requisitos de habilitação e de cliente. -
As seguintes APIs de cache e comandos SQL não são suportados no compute serverless. O uso de qualquer uma dessas APIs ou comandos SQL resulta em uma exceção.
-
O cache de modelos do Spark ML é limitado a 1 GB (1073741824 bytes) por sessão, e um único modelo é limitado a 100 MB. Ambos os limites são menores no compute serverless do que no compute classic, e nenhum deles pode ser alterado. Exceder o limite de sessão gera ML_CACHE_SIZE_OVERFLOW_EXCEPTION. Exceder o limite por modelo gera MODEL_SIZE_OVERFLOW_EXCEPTION. Para liberar espaço no cache, exclua as referências do Python aos modelos que você não usa mais. Modelos que ficarem sem uso por 15 minutos são movidos para o disco local e ainda contam para o limite de sessão.
Hive limitações
-
Não há suporte para as tabelas Hive SerDe. Além disso, não há suporte para o comando LOAD DATA correspondente, que carrega dados em uma tabela Hive SerDe. O uso do comando resultará em uma exceção.
-
Hive (por exemplo,,,
${env:var}${configName}``${system:var}spark.sql.variablee) ou referências a variáveis de configuração usando a${var}sintaxe não são suportadas. O uso de variáveis do Hive resultará em uma exceção.Em vez disso, use DECLARE VARIABLE, SET VARIABLE e referências a variáveis de sessão SQL e marcadores de parâmetros ('?', ou '') para declarar, modificar e referenciar o estado da sessão. Você também pode usar a cláusula IDENTIFIER para parametrizar nomes de objetos em muitos casos.
Fonte de dados suportada
Para operações de DML (Data Manipulation Language), o compute serverless permite os seguintes provedores de fonte de dados. Cada provedor também deve suportar a operação solicitada. A inclusão nesta lista não implica suporte para cada operação de gravação, atualização ou exclusão. Por exemplo, a fonte de arquivo binário é somente leitura.
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERG
serverless compute suporta a seguinte fonte de dados para operações de leitura:
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERGMYSQLPOSTGRESQLSQLSERVERREDSHIFTSNOWFLAKESQLDW(Azure Synapse)DATABRICKSBIGQUERYORACLESALESFORCESALESFORCE_DATA_CLOUDTERADATAWORKDAY_RAASMONGODB