Amazon
Web Services
Microsoft Azure
Google Cloud PlatformO que está por vir?
Saiba mais sobre as mudanças de recurso e comportamento nas próximas versões do site Databricks.
Gerenciamento de estatísticas ativado por padrão com otimização preditiva
A partir de 21 de janeiro, o site Databricks começará a habilitar o gerenciamento de estatísticas para todas as contas com otimização preditiva ativada. O gerenciamento de estatísticas expande a funcionalidade de otimização preditiva existente, adicionando a coleta de estatísticas na gravação e executando automaticamente o comando ANALYZE para Unity Catalog gerenciar tabelas. Para obter mais informações sobre otimização preditiva, consulte Predictive optimization for Unity Catalog gerenciar tables.
Mudança de comportamento quando as definições de conjunto de dados são removidas de um pipeline do Delta Live Tables
Uma versão futura do Delta Live Tables mudará o comportamento quando uma tabela materializada view ou de transmissão for removida de um pipeline. Com essa alteração, a tabela materializada view ou de transmissão removida não será excluída automaticamente na próxima execução da atualização pipeline. Em vez disso, o senhor poderá usar o comando DROP MATERIALIZED VIEW para excluir uma tabela materializada view ou o comando DROP TABLE para excluir uma tabela de transmissão. Após a queda de um objeto, a execução de uma atualização do pipeline não recuperará o objeto automaticamente. Um novo objeto é criado se uma tabela materializada view ou de transmissão com a mesma definição for adicionada novamente ao pipeline. O senhor pode, no entanto, recuperar um objeto usando o comando UNDROP.
Mudança de comportamento para trabalhar com tipos de dados variantes
A Databricks está bloqueando o suporte ao uso de campos com o tipo de dados variante em comparações realizadas como parte dos seguintes operadores e cláusulas:
DISTINCTINTERSECTEXCEPTUNIONDISTRIBUTE BY
O mesmo se aplica a essas funções DataFrame:
df.dropDuplicates()df.repartition()
A Databricks não oferece suporte a esses operadores e funções para comparações de tipos de dados variantes porque eles produzem resultados indefinidos.
Essas expressões serão bloqueadas ao usar tipos de variantes em Databricks Runtime 16.1 e acima. As versões de manutenção bloquearão o suporte em Databricks Runtime 15.3 e acima.
Se o senhor usar o tipo VARIANT em suas cargas de trabalho ou tabelas do Databricks, execute as seguintes ações recomendadas:
Encontre as consultas que usam a variante com qualquer um dos operadores listados.
Atualize essas consultas usando padrões recomendados que convertem explicitamente valores de variantes em tipos não variantes.
A tabela a seguir tem exemplos de funcionalidades não intencionais existentes e soluções alternativas recomendadas:
Uso não intencional |
Uso recomendado |
|---|---|
|
|
|
|
Observação
Para todos os campos que o senhor planeja usar para operações de comparação ou distintas, a Databricks recomenda extrair esses campos da coluna de variantes e armazená-los usando tipos não variantes.
Consulte Dados da variante de consulta. Entre em contato com o representante do Databricks account se precisar de apoio ou orientação adicional.
Atualização da interface de usuário do Databricks Marketplace e do Partner Connect
Estamos simplificando a barra lateral com a fusão de Partner Connect e o marketplace em um único link do marketplace. O novo link do marketplace estará na parte superior da barra lateral.
Os arquivos do espaço de trabalho serão ativados para todos os espaços de trabalho do Databricks em 1º de fevereiro de 2025
Databricks habilitará os arquivos workspace para todos os espaços de trabalho Databricks em 1º de fevereiro de 2025. Essa alteração desbloqueia os usuários do site workspace de usar o novo recurso de arquivo workspace. Depois de 1º de fevereiro de 2025, o senhor não poderá desativar os arquivos de espaço de trabalho usando a propriedade enableWorkspaceFilesystem com a API REST do Databricks PATCH workspace-conf/setstatus. Para obter mais detalhes sobre os arquivos workspace, consulte O que são arquivos workspace?
Otimização preditiva habilitada pelo site default em todas as novas contas Databricks
Em 11 de novembro, o site Databricks habilitará a otimização preditiva como default para todas as novas contas Databricks. Anteriormente, ele era desativado pelo site default e podia ser ativado pelo administrador do site account. Quando a otimização preditiva está ativada, o site Databricks executa automaticamente operações de manutenção para Unity Catalog gerenciar tabelas. Para obter mais informações sobre otimização preditiva, consulte Predictive optimization for Unity Catalog gerenciar tables.
Custo reduzido e mais controle sobre o desempenho vs. custo para o seu serverless compute para cargas de trabalho de fluxo de trabalho
Além das otimizações automáticas de desempenho atualmente suportadas, os aprimoramentos do recurso de otimização de fluxo de trabalho do site serverless compute lhe darão mais controle sobre se as cargas de trabalho serão otimizadas para desempenho ou custo. Para saber mais, consulte Economia de custos em serverless compute para Notebook, Jobs e pipeline.
Alterações no suporte à versão antiga do painel
Databricks recomenda o uso do AI/BI dashboards (anteriormente Lakeview dashboards). As versões anteriores dos painéis, anteriormente chamadas de Databricks SQL dashboards, agora são chamadas de legacy dashboards. A Databricks não recomenda a criação de novos painéis legados. AI/BI Os painéis oferecem recursos aprimorados em comparação com a versão anterior, incluindo a criação assistida pelo site AI, modos de rascunho e publicação e filtragem cruzada.
Cronograma de fim do suporte para painéis antigos
7 de abril de 2025: o suporte oficial para a versão antiga dos painéis será encerrado. Somente problemas críticos de segurança e interrupções de serviço serão abordados.
3 de novembro de 2025: A Databricks começará a arquivar painéis legados que não foram acessados nos últimos seis meses. Os painéis arquivados não estarão mais acessíveis e o processo de arquivamento ocorrerá de forma contínua. O acesso aos painéis usados ativamente permanecerá inalterado.
A Databricks trabalhará com os clientes para desenvolver planos de migração para painéis legados ativos após 3 de novembro de 2025.
Para ajudar na transição para os painéis AI/BI, as ferramentas de atualização estão disponíveis tanto na interface do usuário quanto no API. Para obter instruções sobre como usar a ferramenta de migração integrada na interface do usuário, consulte Clonar um painel legado para um AI/BI dashboard. Para obter um tutorial sobre como criar e gerenciar painéis usando o REST API em Use Databricks APIs para gerenciar painéis.
Alterações na atribuição de carga de trabalho de computação sem servidor
Atualmente, a tabela do seu sistema de uso faturável pode incluir serverless SKU registros de faturamento com valores nulos para run_as, job_id, job_run_id e notebook_id. Esses registros representam custos associados a recursos compartilhados que não são diretamente atribuíveis a nenhuma carga de trabalho específica.
Para ajudar a simplificar os relatórios de custos, a Databricks em breve atribuirá esses custos compartilhados às cargas de trabalho específicas que os incorreram. O senhor não verá mais registros de faturamento com valores nulos nos campos identificadores de carga de trabalho. À medida que o senhor aumentar o uso do serverless compute e adicionar mais cargas de trabalho, a proporção desses custos compartilhados em sua conta diminuirá, pois eles serão compartilhados entre mais cargas de trabalho.
Para obter mais informações sobre o monitoramento serverless compute custos, consulte Monitorar o custo de serverless compute .
Unity Catalog Em breve, deixará de oferecer suporte a credenciais de armazenamento que usam a função IAM não autônoma.
A partir de 20 de setembro de 2024, o site Databricks exigirá que a função AWS IAM para novas credenciais de armazenamento seja autônoma. Em 20 de janeiro de 2025, a Databricks aplicará esse requisito a todas as credenciais de armazenamento existentes. As credenciais de armazenamento que violarem esse requisito deixarão de funcionar, o que pode causar falhas nas cargas de trabalho dependentes e no trabalho. Para saber mais sobre esse requisito e como verificar e atualizar suas credenciais de armazenamento, consulte Política de imposição de funções autopresumidas.
O campo sourceIpAddress nos registros de auditoria não incluirá mais um número de porta
Devido a um bug, algumas auditorias de autorização e autenticação logs incluem um número de porta além do IP no campo sourceIPAddress (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante da auditoria Databricks logs. Para melhorar a consistência da auditoria logs, Databricks planeja alterar o formato do endereço IP para esses eventos de auditoria log. Essa alteração será implementada gradualmente a partir do início de agosto de 2024.
Se a auditoria log contiver um sourceIpAddress de 0.0.0.0, Databricks poderá parar de registrar.
A integração legada do Git termina em 31 de janeiro
Após 31 de janeiro de 2024, o site Databricks removerá as integrações legadas do site Notebook Git . Esse recurso está no status de legado há mais de dois anos, e um aviso de descontinuidade é exibido na interface do usuário do produto desde novembro de 2023.
Para obter detalhes sobre a migração para as pastas do Databricks Git (anteriormente Repos) a partir da integração do Git legado, consulte Mudança para o Databricks Repos a partir da integração do Git legado. Se essa remoção afetar o senhor e precisar de uma extensão, entre em contato com a equipe Databricks account .
O envio de tíquetes de suporte externo será descontinuado em breve
Databricks está fazendo a transição da experiência de envio de tíquetes de suporte de help.databricks.com para o menu de ajuda no site Databricks workspace. O envio de tíquetes de suporte via help.databricks.com será descontinuado em breve. O senhor continuará acessando view e fazendo a triagem de seus tíquetes em help.databricks.com.
A experiência no produto, que está disponível se a sua organização tiver um contrato de suporte do Databricks, integra-se ao Databricks Assistant para ajudar a resolver os seus problemas rapidamente, sem ter de submeter um bilhete.
Para acessar a experiência in-produto, clique no ícone do usuário na barra superior do site workspace e, em seguida, clique em Contact Support ou digite "I need help" (Preciso de ajuda) no assistente.
O modal Contate o suporte é aberto.
Se a experiência do produto falhar, envie solicitações de suporte com informações detalhadas sobre o seu problema para ajudar@databricks.com. Para obter mais informações, consulte Obter ajuda.
JDK8 e JDK11 não serão suportados
O Databricks planeja remover o suporte ao JDK 8 com a próxima versão principal do Databricks Runtime, quando o Spark 4.0 for lançado. A Databricks planeja remover o suporte ao JDK 11 com a próxima versão LTS do Databricks Runtime 14.x.
Ativação automática do Unity Catalog para novos espaços de trabalho
Databricks começou a ativar o Unity Catalog automaticamente para novos espaços de trabalho. Isso elimina a necessidade de os administradores do account configurarem o Unity Catalog depois que um workspace é criado. A implantação está ocorrendo gradualmente em toda a conta.
atualização sqlite-jdbc
O Databricks Runtime planeja atualizar a versão sqlite-jdbc de 3.8.11.2 para 3.42.0.0 em todas as versões de manutenção do Databricks Runtime. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a 3.8.11.2. Confirme que seus métodos e tipo de retorno utilizem a versão 3.42.0.0.
Se você estiver usando sqlite-jdbc em seu código, verifique o relatório de compatibilidade sqlite-jdbc.