O que está por vir?

Saiba mais sobre os próximos lançamentos do Databricks.

Atualização da interface de usuário do Databricks Marketplace e do Partner Connect

Estamos simplificando a barra lateral com a fusão de Partner Connect e o marketplace em um único link do marketplace. O novo link do marketplace estará na parte superior da barra lateral.

ipynb O Notebook se tornará o formato default Notebook para Databricks em dezembro de 2024

Atualmente, o site Databricks cria todos os novos Notebooks no "formato de origemDatabricks " por meio do site default. Em dezembro de 2024, o novo formato do default Notebook será ipynb (.ipynb). Esse novo default pode ser alterado pelo usuário no painel workspace user Settings se ele preferir o formato de origem Databricks.

Os arquivos do espaço de trabalho serão ativados para todos os espaços de trabalho do Databricks em 1º de fevereiro de 2025

Databricks habilitará os arquivos workspace para todos os espaços de trabalho Databricks em 1º de fevereiro de 2025. Essa alteração desbloqueia os usuários do site workspace de usar o novo recurso de arquivo workspace. Depois de 1º de fevereiro de 2025, o senhor não poderá desativar os arquivos de espaço de trabalho usando a propriedade enableWorkspaceFilesystem com a API REST do Databricks PATCH workspace-conf/setstatus. Para obter mais detalhes sobre os arquivos workspace, consulte O que são arquivos workspace?

As mesas são compartilhadas com a história pelo site default em Delta Sharing

Databricks planeja alterar a configuração default para tabelas compartilhadas usando Delta Sharing para incluir a história por default. Anteriormente, o compartilhamento de histórias era desativado pelo site default. O compartilhamento do histórico da tabela melhora o desempenho da leitura e oferece suporte automático para otimizações avançadas do site Delta.

Otimização preditiva habilitada pelo site default em todas as novas contas Databricks

Em 11 de novembro, o site Databricks habilitará a otimização preditiva como default para todas as novas contas Databricks. Anteriormente, ele era desativado pelo site default e podia ser ativado pelo administrador do site account. Quando a otimização preditiva está ativada, o site Databricks executa automaticamente operações de manutenção para Unity Catalog gerenciar tabelas. Para obter mais informações sobre otimização preditiva, consulte Predictive optimization for Unity Catalog gerenciar tables.

Custo reduzido e mais controle sobre o desempenho vs. custo para o seu serverless compute para cargas de trabalho de fluxo de trabalho

Além das otimizações automáticas de desempenho atualmente suportadas, os aprimoramentos do recurso de otimização de fluxo de trabalho do site serverless compute lhe darão mais controle sobre se as cargas de trabalho serão otimizadas para desempenho ou custo. Para saber mais, consulte Economia de custos em serverless compute para Notebook, Jobs e pipeline.

Alterações no padrão de habilitação para AI/BI genie

Em 14 de novembro de 2024, a opção de participar do Genie Public Preview será ativada em default. Para gerenciar visualizações, consulte gerenciar Databricks Previews. AI/BI Genie estará disponível de forma geral em 9 de dezembro de 2024, quando os usuários com privilégios elevados, como os administradores de account e workspace, poderão controlar o acesso a Genie usando o botão de alternância que controla o acesso ao recurso assistivo alimentado por parceiros. Consulte Usar o Databricks Assistant.

Alterações no suporte à versão antiga do painel

Databricks recomenda o uso do AI/BI dashboards (anteriormente Lakeview dashboards). As versões anteriores dos painéis, anteriormente chamadas de Databricks SQL dashboards, agora são chamadas de legacy dashboards. A Databricks não recomenda a criação de novos painéis legados. AI/BI oferecem recursos aprimorados em comparação com os painéis antigos, incluindo a criação assistida pelo site AI, modos de rascunho e publicação e filtragem cruzada.

Para ajudar na transição para a versão mais recente, as ferramentas de atualização estão disponíveis tanto na interface do usuário quanto na API. Para obter instruções sobre como usar a ferramenta de migração integrada na interface do usuário, consulte Clonar um painel legado para um AI/BI dashboard. Para obter um tutorial sobre como criar e gerenciar painéis usando o REST API em Use Databricks APIs para gerenciar painéis.

Alterações na atribuição de carga de trabalho de computação sem servidor

Atualmente, a tabela do seu sistema de uso faturável pode incluir serverless SKU registros de faturamento com valores nulos para run_as, job_id, job_run_id e notebook_id. Esses registros representam custos associados a recursos compartilhados que não são diretamente atribuíveis a nenhuma carga de trabalho específica.

Para ajudar a simplificar os relatórios de custos, a Databricks em breve atribuirá esses custos compartilhados às cargas de trabalho específicas que os incorreram. O senhor não verá mais registros de faturamento com valores nulos nos campos identificadores de carga de trabalho. À medida que o senhor aumentar o uso do serverless compute e adicionar mais cargas de trabalho, a proporção desses custos compartilhados em sua conta diminuirá, pois eles serão compartilhados entre mais cargas de trabalho.

Para obter mais informações sobre o monitoramento serverless compute custos, consulte Monitorar o custo de serverless compute .

Unity Catalog Em breve, deixará de oferecer suporte a credenciais de armazenamento que usam a função IAM não autônoma.

A partir de 20 de setembro de 2024, o site Databricks exigirá que a função AWS IAM para novas credenciais de armazenamento seja autônoma. Em 20 de janeiro de 2025, a Databricks aplicará esse requisito a todas as credenciais de armazenamento existentes. As credenciais de armazenamento que violarem esse requisito deixarão de funcionar, o que pode causar falhas nas cargas de trabalho dependentes e no trabalho. Para saber mais sobre esse requisito e como verificar e atualizar suas credenciais de armazenamento, consulte Política de imposição de funções autopresumidas.

O campo sourceIpAddress nos registros de auditoria não incluirá mais um número de porta

Devido a um bug, algumas auditorias de autorização e autenticação logs incluem um número de porta além do IP no campo sourceIPAddress (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante da auditoria Databricks logs. Para melhorar a consistência da auditoria logs, Databricks planeja alterar o formato do endereço IP para esses eventos de auditoria log. Essa alteração será implementada gradualmente a partir do início de agosto de 2024.

Se a auditoria log contiver um sourceIpAddress de 0.0.0.0, Databricks poderá parar de registrar.

A integração legada do Git termina em 31 de janeiro

Após 31 de janeiro de 2024, o site Databricks removerá as integrações legadas do site Notebook Git . Esse recurso está no status de legado há mais de dois anos, e um aviso de descontinuidade é exibido na interface do usuário do produto desde novembro de 2023.

Para obter detalhes sobre a migração para as pastas do Databricks Git (anteriormente Repos) a partir da integração do Git legado, consulte Mudança para o Databricks Repos a partir da integração do Git legado. Se essa remoção afetar o senhor e precisar de uma extensão, entre em contato com a equipe Databricks account .

O envio de tíquetes de suporte externo será descontinuado em breve

Databricks está fazendo a transição da experiência de envio de tíquetes de suporte de help.databricks.com para o menu de ajuda no site Databricks workspace. O envio de tíquetes de suporte via help.databricks.com será descontinuado em breve. O senhor continuará acessando view e fazendo a triagem de seus tíquetes em help.databricks.com.

A experiência no produto, que está disponível se a sua organização tiver um contrato de suporte do Databricks, integra-se ao Databricks Assistant para ajudar a resolver os seus problemas rapidamente, sem ter de submeter um bilhete.

Para acessar a experiência in-produto, clique no ícone do usuário na barra superior do site workspace e, em seguida, clique em Contact Support ou digite "I need help" (Preciso de ajuda) no assistente.

O modal Contate o suporte é aberto.

Se a experiência do produto falhar, envie solicitações de suporte com informações detalhadas sobre o seu problema para ajudar@databricks.com. Para obter mais informações, consulte Obter ajuda.

JDK8 e JDK11 não serão suportados

O Databricks planeja remover o suporte ao JDK 8 com a próxima versão principal do Databricks Runtime, quando o Spark 4.0 for lançado. A Databricks planeja remover o suporte ao JDK 11 com a próxima versão LTS do Databricks Runtime 14.x.

Ativação automática do Unity Catalog para novos espaços de trabalho

Databricks começou a ativar o Unity Catalog automaticamente para novos espaços de trabalho. Isso elimina a necessidade de os administradores do account configurarem o Unity Catalog depois que um workspace é criado. A implantação está ocorrendo gradualmente em toda a conta.

atualização sqlite-jdbc

O Databricks Runtime planeja atualizar a versão sqlite-jdbc de 3.8.11.2 para 3.42.0.0 em todas as versões de manutenção do Databricks Runtime. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a 3.8.11.2. Confirme que seus métodos e tipo de retorno utilizem a versão 3.42.0.0.

Se você estiver usando sqlite-jdbc em seu código, verifique o relatório de compatibilidade sqlite-jdbc.