Amazon
Web Services
Microsoft Azure
Google Cloud PlatformO que está por vir?
Saiba mais sobre os próximos lançamentos do Databricks.
Mudança de comportamento para trabalhar com tipos de dados variantes
A Databricks está bloqueando o suporte ao uso de campos com o tipo de dados variante em comparações realizadas como parte dos seguintes operadores e cláusulas:
DISTINCTINTERSECTEXCEPTUNIONDISTRIBUTE BY
O mesmo se aplica a essas funções DataFrame:
df.dropDuplicates()df.repartition()A Databricks não oferece suporte a esses operadores e funções para comparações de tipos de dados variantes porque eles produzem resultados não determinísticos.
Essas expressões serão bloqueadas ao usar a variante em Databricks Runtime 16.1 e acima. As versões de manutenção bloquearão o suporte em Databricks Runtime 15.3 e acima.
Se o senhor usar o tipo VARIANT em suas cargas de trabalho ou tabelas do Databricks, execute as seguintes ações recomendadas:
Encontre as consultas que usam variantes com qualquer um dos operadores listados.
Atualize essas consultas usando padrões recomendados que convertem explicitamente valores de variantes em tipos não variantes.
A tabela a seguir fornece exemplos de funcionalidades não intencionais existentes e soluções alternativas recomendadas:
Uso não intencional |
Uso recomendado |
|---|---|
|
|
|
|
Observação
Para todos os campos que o senhor planeja usar para operações de comparação ou distintas, a Databricks recomenda extrair esses campos da coluna de variantes e armazená-los usando tipos não variantes.
Consulte Dados da variante de consulta. Entre em contato com o representante do Databricks account se precisar de apoio ou orientação adicional.
Atualização da interface de usuário do Databricks Marketplace e do Partner Connect
Estamos simplificando a barra lateral com a fusão de Partner Connect e o marketplace em um único link do marketplace. O novo link do marketplace estará na parte superior da barra lateral.
ipynb O Notebook se tornará o formato default Notebook para Databricks em dezembro de 2024
Atualmente, o site Databricks cria todos os novos Notebooks no "formato de origemDatabricks " por meio do site default. Em dezembro de 2024, o novo formato do default Notebook será ipynb (.ipynb). Esse novo default pode ser alterado pelo usuário no painel workspace user Settings se ele preferir o formato de origem Databricks.
Os arquivos do espaço de trabalho serão ativados para todos os espaços de trabalho do Databricks em 1º de fevereiro de 2025
Databricks habilitará os arquivos workspace para todos os espaços de trabalho Databricks em 1º de fevereiro de 2025. Essa alteração desbloqueia os usuários do site workspace de usar o novo recurso de arquivo workspace. Depois de 1º de fevereiro de 2025, o senhor não poderá desativar os arquivos de espaço de trabalho usando a propriedade enableWorkspaceFilesystem com a API REST do Databricks PATCH workspace-conf/setstatus. Para obter mais detalhes sobre os arquivos workspace, consulte O que são arquivos workspace?
Otimização preditiva habilitada pelo site default em todas as novas contas Databricks
Em 11 de novembro, o site Databricks habilitará a otimização preditiva como default para todas as novas contas Databricks. Anteriormente, ele era desativado pelo site default e podia ser ativado pelo administrador do site account. Quando a otimização preditiva está ativada, o site Databricks executa automaticamente operações de manutenção para Unity Catalog gerenciar tabelas. Para obter mais informações sobre otimização preditiva, consulte Predictive optimization for Unity Catalog gerenciar tables.
Custo reduzido e mais controle sobre o desempenho vs. custo para o seu serverless compute para cargas de trabalho de fluxo de trabalho
Além das otimizações automáticas de desempenho atualmente suportadas, os aprimoramentos do recurso de otimização de fluxo de trabalho do site serverless compute lhe darão mais controle sobre se as cargas de trabalho serão otimizadas para desempenho ou custo. Para saber mais, consulte Economia de custos em serverless compute para Notebook, Jobs e pipeline.
Alterações no padrão de habilitação para AI/BI genie
Em 14 de novembro de 2024, a opção de participar do Genie Public Preview será ativada em default. Para gerenciar visualizações, consulte gerenciar Databricks Previews. AI/BI Genie estará disponível de forma geral em 11 de dezembro de 2024, quando os usuários com privilégios elevados, como os administradores de account e workspace, poderão controlar o acesso a Genie usando o botão de alternância que controla o acesso ao recurso assistivo alimentado por parceiros. Consulte Usar o Databricks Assistant.
Alterações no suporte à versão antiga do painel
Databricks recomenda o uso do AI/BI dashboards (anteriormente Lakeview dashboards). As versões anteriores dos painéis, anteriormente chamadas de Databricks SQL dashboards, agora são chamadas de legacy dashboards. A Databricks não recomenda a criação de novos painéis legados. AI/BI oferecem recursos aprimorados em comparação com os painéis antigos, incluindo a criação assistida pelo site AI, modos de rascunho e publicação e filtragem cruzada.
Para ajudar na transição para a versão mais recente, as ferramentas de atualização estão disponíveis tanto na interface do usuário quanto na API. Para obter instruções sobre como usar a ferramenta de migração integrada na interface do usuário, consulte Clonar um painel legado para um AI/BI dashboard. Para obter um tutorial sobre como criar e gerenciar painéis usando o REST API em Use Databricks APIs para gerenciar painéis.
Alterações na atribuição de carga de trabalho de computação sem servidor
Atualmente, a tabela do seu sistema de uso faturável pode incluir serverless SKU registros de faturamento com valores nulos para run_as, job_id, job_run_id e notebook_id. Esses registros representam custos associados a recursos compartilhados que não são diretamente atribuíveis a nenhuma carga de trabalho específica.
Para ajudar a simplificar os relatórios de custos, a Databricks em breve atribuirá esses custos compartilhados às cargas de trabalho específicas que os incorreram. O senhor não verá mais registros de faturamento com valores nulos nos campos identificadores de carga de trabalho. À medida que o senhor aumentar o uso do serverless compute e adicionar mais cargas de trabalho, a proporção desses custos compartilhados em sua conta diminuirá, pois eles serão compartilhados entre mais cargas de trabalho.
Para obter mais informações sobre o monitoramento serverless compute custos, consulte Monitorar o custo de serverless compute .
Unity Catalog Em breve, deixará de oferecer suporte a credenciais de armazenamento que usam a função IAM não autônoma.
A partir de 20 de setembro de 2024, o site Databricks exigirá que a função AWS IAM para novas credenciais de armazenamento seja autônoma. Em 20 de janeiro de 2025, a Databricks aplicará esse requisito a todas as credenciais de armazenamento existentes. As credenciais de armazenamento que violarem esse requisito deixarão de funcionar, o que pode causar falhas nas cargas de trabalho dependentes e no trabalho. Para saber mais sobre esse requisito e como verificar e atualizar suas credenciais de armazenamento, consulte Política de imposição de funções autopresumidas.
O campo sourceIpAddress nos registros de auditoria não incluirá mais um número de porta
Devido a um bug, algumas auditorias de autorização e autenticação logs incluem um número de porta além do IP no campo sourceIPAddress (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante da auditoria Databricks logs. Para melhorar a consistência da auditoria logs, Databricks planeja alterar o formato do endereço IP para esses eventos de auditoria log. Essa alteração será implementada gradualmente a partir do início de agosto de 2024.
Se a auditoria log contiver um sourceIpAddress de 0.0.0.0, Databricks poderá parar de registrar.
A integração legada do Git termina em 31 de janeiro
Após 31 de janeiro de 2024, o site Databricks removerá as integrações legadas do site Notebook Git . Esse recurso está no status de legado há mais de dois anos, e um aviso de descontinuidade é exibido na interface do usuário do produto desde novembro de 2023.
Para obter detalhes sobre a migração para as pastas do Databricks Git (anteriormente Repos) a partir da integração do Git legado, consulte Mudança para o Databricks Repos a partir da integração do Git legado. Se essa remoção afetar o senhor e precisar de uma extensão, entre em contato com a equipe Databricks account .
O envio de tíquetes de suporte externo será descontinuado em breve
Databricks está fazendo a transição da experiência de envio de tíquetes de suporte de help.databricks.com para o menu de ajuda no site Databricks workspace. O envio de tíquetes de suporte via help.databricks.com será descontinuado em breve. O senhor continuará acessando view e fazendo a triagem de seus tíquetes em help.databricks.com.
A experiência no produto, que está disponível se a sua organização tiver um contrato de suporte do Databricks, integra-se ao Databricks Assistant para ajudar a resolver os seus problemas rapidamente, sem ter de submeter um bilhete.
Para acessar a experiência in-produto, clique no ícone do usuário na barra superior do site workspace e, em seguida, clique em Contact Support ou digite "I need help" (Preciso de ajuda) no assistente.
O modal Contate o suporte é aberto.
Se a experiência do produto falhar, envie solicitações de suporte com informações detalhadas sobre o seu problema para ajudar@databricks.com. Para obter mais informações, consulte Obter ajuda.
JDK8 e JDK11 não serão suportados
O Databricks planeja remover o suporte ao JDK 8 com a próxima versão principal do Databricks Runtime, quando o Spark 4.0 for lançado. A Databricks planeja remover o suporte ao JDK 11 com a próxima versão LTS do Databricks Runtime 14.x.
Ativação automática do Unity Catalog para novos espaços de trabalho
Databricks começou a ativar o Unity Catalog automaticamente para novos espaços de trabalho. Isso elimina a necessidade de os administradores do account configurarem o Unity Catalog depois que um workspace é criado. A implantação está ocorrendo gradualmente em toda a conta.
atualização sqlite-jdbc
O Databricks Runtime planeja atualizar a versão sqlite-jdbc de 3.8.11.2 para 3.42.0.0 em todas as versões de manutenção do Databricks Runtime. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a 3.8.11.2. Confirme que seus métodos e tipo de retorno utilizem a versão 3.42.0.0.
Se você estiver usando sqlite-jdbc em seu código, verifique o relatório de compatibilidade sqlite-jdbc.