O que está por vir?
Saiba mais sobre as mudanças de recurso e comportamento nas próximas versões do site Databricks.
Melhorias na interface do usuário do perfil de consulta
A interface de usuário do perfil de consulta está sendo atualizada para melhorar a usabilidade e fornecer acesso mais rápido a key percepções.
- O painel de resumo incluirá key métricas, uma visualização minimizada do perfil da consulta e links rápidos para as principais seções da página de perfil da consulta.
- Um novo painel Top operators (Principais operadores ) listará os operadores com maior volume de recursos, com opções de filtragem e destaque no gráfico view.
- A disposição atualizada foi projetada para melhorar a legibilidade e a navegação das métricas resumidas para as percepções detalhadas.
- Outros aprimoramentos incluem o destaque de nós baseado em palavras-chave, uma lista de execução aprimorada e refinamentos no fluxo de trabalho de análise de desempenho de consultas.
Alteração comportamental da opção de listagem de diretórios incremental do Auto Loader
A opção Auto Loader cloudFiles.useIncrementalListing está obsoleta. Embora esta nota discuta uma alteração no valor da opção default e como continuar a usá-la após essa alteração, o site Databricks recomenda substituir o uso dessa opção pelo modo de notificação de arquivo.
Em uma versão futura do site Databricks Runtime, o valor da opção Auto Loader cloudFiles.useIncrementalListing, que foi descontinuada, será definido por default como false. A definição desse valor como false faz com que o site Auto Loader execute uma listagem completa de diretórios sempre que for executado. Atualmente, o valor default da opção cloudFiles.useIncrementalListing é auto, instruindo o Auto Loader a fazer uma tentativa de detectar se uma listagem incremental pode ser usada com um diretório.
Para continuar usando o recurso de listagem incremental, defina a opção cloudFiles.useIncrementalListing como auto. Quando o senhor define esse valor como auto, o Auto Loader faz uma tentativa de fazer uma listagem completa a cada sete listagens incrementais, o que corresponde ao comportamento dessa opção antes dessa alteração.
Para saber mais sobre as opções de listagem de diretórios do Auto Loader, consulte Opções do Auto Loader.
serverless compute para obter Scala SDK suporte para credenciais de serviço
Uma atualização para serverless compute oferecerá suporte à autenticação governada pelo Unity Catalog para o serviço de nuvem externo usando credenciais de serviço com o Scala SDK. O suporte Scala para autenticação de entidade de serviço, já disponível em Databricks Runtime 16.2 e acima, adiciona o suporte para autenticação com credenciais de serviço usando o Python SDK. Consulte gerenciar o acesso ao serviço de nuvem externo usando credenciais de serviço.
Mudança de comportamento quando as definições de dataset são removidas de uma DLT pipeline
Uma versão futura do DLT mudará o comportamento quando uma tabela materializada view ou de transmissão for removida de um pipeline. Com essa alteração, a tabela materializada view ou de transmissão removida não será excluída automaticamente na próxima execução da atualização pipeline. Em vez disso, o senhor poderá usar o comando DROP MATERIALIZED VIEW para excluir uma tabela materializada view ou o comando DROP TABLE para excluir uma tabela de transmissão. Após a queda de um objeto, a execução de uma atualização do pipeline não recuperará o objeto automaticamente. Um novo objeto é criado se uma tabela materializada view ou de transmissão com a mesma definição for adicionada novamente ao pipeline. O senhor pode, no entanto, recuperar um objeto usando o comando UNDROP.
Custo reduzido e mais controle sobre o desempenho vs. custo para o seu serverless compute para cargas de trabalho de fluxo de trabalho
Além das otimizações automáticas de desempenho atualmente suportadas, os aprimoramentos do recurso de otimização de fluxo de trabalho do site serverless compute lhe darão mais controle sobre se as cargas de trabalho serão otimizadas para desempenho ou custo. Para saber mais, consulte Economia de custos em serverless compute para Notebook, Jobs e pipeline.
Alterações em serverless compute atribuição de carga de trabalho
Atualmente, a tabela do seu sistema de uso faturável pode incluir serverless SKU registros de faturamento com valores nulos run_as job_idpara,, job_run_id notebook_ide. Esses registros representam custos associados a recursos compartilhados que não são diretamente atribuíveis a nenhuma carga de trabalho específica.
Para ajudar a simplificar os relatórios de custos, a Databricks em breve atribuirá esses custos compartilhados às cargas de trabalho específicas que os incorreram. Você não verá mais registros de cobrança com valores nulos nos campos do identificador de carga de trabalho. À medida que o senhor aumentar o uso do serverless compute e adicionar mais cargas de trabalho, a proporção desses custos compartilhados em sua conta diminuirá, pois eles serão compartilhados entre mais cargas de trabalho.
Para obter mais informações sobre o monitoramento serverless compute custos, consulte Monitorar o custo de serverless compute .
Cronograma de fim do suporte para painéis antigos
- 7 de abril de 2025 : o suporte oficial para a versão antiga dos painéis será encerrado. Somente problemas críticos de segurança e interrupções de serviço serão abordados.
- 3 de novembro de 2025 : A Databricks começará a arquivar painéis legados que não foram acessados nos últimos seis meses. Os painéis arquivados não estarão mais acessíveis e o processo de arquivamento ocorrerá de forma contínua. O acesso aos painéis usados ativamente permanecerá inalterado.
A Databricks trabalhará com os clientes para desenvolver planos de migração para painéis legados ativos após 3 de novembro de 2025.
Para ajudar na transição para os painéis AI/BI, as ferramentas de atualização estão disponíveis tanto na interface do usuário quanto no API. Para obter instruções sobre como usar a ferramenta de migração integrada na interface do usuário, consulte Clonar um painel legado para um AI/BI dashboard. Para obter um tutorial sobre como criar e gerenciar painéis usando o site REST API em Use Databricks APIs para gerenciar painéis.
O campo sourceIpAddress na auditoria logs não incluirá mais um número de porta
Devido a um bug, algumas auditorias de autorização e autenticação logs incluem um número de porta além do IP no campo sourceIPAddress (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante da auditoria Databricks logs. Para melhorar a consistência da auditoria logs, Databricks planeja alterar o formato do endereço IP para esses eventos de auditoria log. Essa mudança será implementada gradualmente a partir do início de agosto de 2024.
Se a auditoria log contiver um sourceIpAddress de 0.0.0.0, Databricks poderá parar de registrar.
O envio de tíquetes de suporte externo em breve será descontinuado
Databricks está fazendo a transição da experiência de envio de tíquetes de suporte de help.databricks.com para o menu de ajuda no site Databricks workspace. O envio de tíquetes de suporte via help.databricks.com em breve será descontinuado. O senhor continuará acessando view e fazendo a triagem de seus tíquetes em help.databricks.com.
A experiência no produto, que está disponível se sua organização tiver um contrato de suporte da Databricks, integra-se ao Databricks Assistant para ajudar a resolver seus problemas rapidamente sem precisar enviar um tíquete.
Para acessar a experiência in-produto, clique no ícone do usuário na barra superior do site workspace e, em seguida, clique em Contact Support ou digite "I need help" (Preciso de ajuda) no assistente.
O modal de suporte de contato é aberto.
Se a experiência em produção estiver inativa, envie solicitações de suporte com informações detalhadas sobre seu problema para help@databricks.com. Para obter mais informações, consulte Obter ajuda.