Databricks SQL notas sobre a versão 2024

A seguir, o senhor descreve as melhorias e atualizações no Databricks SQL de janeiro a dezembro de 2024.

21 de novembro de 2024

SQL warehouse tabelas do sistema (visualização pública)

  • A tabela system.compute.warehouses registra quando o depósito SQL é criado, editado e excluído. O senhor pode usar a tabela para monitorar as alterações nas configurações do depósito, incluindo o nome do depósito, tipo, tamanho, canal, tags, parada automática e configurações de escala automática. Consulte a referência da tabela do sistema de armazéns.

Descobrimento de dados

  • O Lineage tab no Catalog Explorer foi redesenhado com uma interface de usuário aprimorada para filtragem de entidades.

13 de novembro de 2024

Painéis antigos:

  • Resolveu um problema em que dicas de ferramentas modeladas não exibiam conteúdo detalhado para gráficos de eixos duplos e de vários campos.

6 de novembro de 2024

Suporte de programação legível por humanos para Databricks SQL tabelas de transmissão e visualização materializada

Os usuários agora podem começar, criar e alterar o programar para tabelas de transmissão e visualizações materializadas usando sintaxe legível por humanos em vez do programar CRON. Consulte ALTER MATERIALIZED VIEW, ALTER STREAMING TABLE, CREATE MATERIALIZED VIEW e CREATE STREAMING TABLE.

As tabelas de transmissão agora suportam consultas de viagem do tempo

Agora é possível usar a viagem do tempo para consultar versões anteriores da tabela com base no carimbo de data/hora ou na versão da tabela (conforme registrado na transação log). Talvez o senhor precise acessar refresh a tabela de transmissão antes de usar as consultas de viagem do tempo. Veja o que é Delta Lake viagem do tempo?

As consultas de viagem do tempo não são compatíveis com a visualização materializada.

31 de outubro de 2024

Atualizações da interface do usuário

Novo editor de SQL (visualização pública)

  • Agora, o senhor pode executar a consulta ativa do SQL usando o atalho de teclado Command (ou Ctrl) + Shift. + Enter.

  • A área de entrada de parâmetros agora mostra uma barra de rolagem quando o texto se estende para fora da janela de exibição.

  • Foi corrigido um problema que impedia que a página de detalhes do perfil de consulta fosse totalmente aberta.

  • Agora o senhor pode renomear as consultas digitando o novo nome no título tab.

  • O botão programar agora está desativado para consultas que nunca foram salvas antes.

24 de outubro de 2024

notas sobre a versão para AI/BI tools

As notas sobre a versão para AI/BI dashboards e AI/BI Genie foram movidas para AI/BI notas sobre a versão. Versões e atualizações futuras serão documentadas lá.

17 de outubro de 2024

Os destinos de notificação agora estão disponíveis ao público em geral

O senhor pode criar e configurar destinos de notificação que os usuários do workspace podem adicionar a determinados fluxos de trabalho, como alerta, Databricks Job e AI/BI dashboard programar, para enviar e-mails ou webhooks quando um evento for executado. Consulte gerenciar destinos de notificação.

10 de outubro de 2024

A visualização materializada e as tabelas de transmissão agora estão disponíveis de forma geral no Databricks SQL

As tabelas de transmissão permitem a ingestão incremental do armazenamento em nuvem e das filas de mensagens, enquanto as visualizações materializadas são visualizações pré-computadas que são atualizadas de forma automática e incremental à medida que novos dados chegam. Consulte Use materialized view em Databricks SQL e Load uso de dados transmission tables em Databricks SQL.

Percepções de consulta

3 de outubro de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do SQL warehouse compute descritas acima.

Explorador de Catálogos

  • AIOs comentários gerados agora são compatíveis com catálogos, esquemas, volumes, modelos e funções, e os usuários podem usar o assistente de bate-papo em linha para ajudar a editar seus comentários.

Funções SQL AI A função vector_search() já está disponível em Public Preview. Veja a função vector_search

26 de setembro de 2024

11 de setembro de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do armazém SQL compute descritas acima.

Editor de SQL

Agora o senhor pode usar a sintaxe do marcador de parâmetro nomeado no editor SQL. A sintaxe do marcador de parâmetro nomeado pode ser usada no editor SQL, no Notebook e nos painéis AI/BI. Consulte Trabalhar com parâmetros de consulta.

Consultas e painéis legados

Para consultas SQL e dashboards antigos, os itens excluídos não aparecem mais nas páginas de listagem. Localizar itens excluídos na pasta da lixeira do site workspace. Os administradores do workspace podem view itens excluídos nas pastas de lixo de todos os usuários.

5 de setembro de 2024

Mudanças em 2024.40

Databricks SQL A versão 2024.40 inclui as seguintes alterações de comportamento, novos recursos e aprimoramentos.

Mudanças comportamentais

  • Alterar o modo de vinculação do esquema default para a visualização

    agora se adapta às alterações de esquema na consulta subjacente, usando a compensação de esquema com regras de conversão regulares. Essa é uma mudança em relação ao default anterior do modo BINDING, que gerava erros quando não era possível realizar uma conversão segura ao fazer referência ao view.

    Consulte CREATE VIEW e função cast.

  • Não permitir o uso da sintaxe não documentada ! em vez de NOT fora das expressões booleanas

    Com esta versão, o uso de ! como sinônimo de NOT fora das expressões booleanas não é mais permitido. Por exemplo, declarações como as seguintes: CREATE ... IF ! EXISTS, IS! NULL, uma propriedade de coluna ou campo ! NULL, ! IN e! BETWEEN, deve ser substituído por: CREATE ... IF NOT EXISTS, IS NOT NULL, uma propriedade NOT NULL de coluna ou campo, NOT IN e NOT BETWEEN.

    Essa alteração garante a consistência, alinha-se com o padrão SQL e torna seu SQL mais portátil.

    O operador de prefixo booleano ! (por exemplo, !is_mgr ou !(true AND false)) não é afetado por essa alteração.

  • Não permitir a sintaxe de definição de coluna não documentada na visualização

    O Databricks oferece suporte ao CREATE VIEW com colunas nomeadas e comentários de coluna. Anteriormente, a especificação de tipos de coluna, restrições NOT NULL ou DEFAULT era permitida. Com esta versão, você não pode mais usar essa sintaxe.

    Essa alteração garante a consistência, alinha-se com o padrão SQL e oferece suporte a aprimoramentos futuros.

  • Adicionar uma restrição CHECK em uma coluna inválida agora retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION

    Para fornecer mensagens de erro mais úteis, em Databricks Runtime 15.3 e acima, uma instrução ALTER TABLE ADD CONSTRAINT que inclui uma restrição CHECK referenciando um nome de coluna inválido retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, um INTERNAL_ERROR era devolvido.

Novos recursos e melhorias

  • Habilitar o UniForm Iceberg usando ALTER TABLE

    Agora o senhor pode habilitar o UniForm Iceberg em tabelas existentes sem reescrever os arquivos de dados. Consulte Habilitar Iceberg reads em uma tabela existente.

  • Funções de validação UTF-8

    Esta versão apresenta as seguintes funções para validação de strings UTF-8:

    • is_valid_utf8 verifica se uma cadeia de caracteres é uma cadeia de caracteres UTF-8 válida.

    • make_valid_utf8 converte uma cadeia de caracteres UTF-8 potencialmente inválida em uma cadeia de caracteres UTF-8 válida usando caracteres de substituição

    • validate_utf8 gera um erro se a entrada não for uma cadeia de caracteres UTF-8 válida.

    • try_validate_utf8 retorna NULL se a entrada não for uma cadeia de caracteres UTF-8 válida.

  • funções to_avro e from_avro

    As funções to_avro e from_avro permitem a conversão de tipos SQL em dados binários Avro e vice-versa.

  • função try_url_decode

    Esta versão apresenta a função try_url_decode, que decodifica uma cadeia de caracteres codificada por URL. Se as cadeias de caracteres não estiverem no formato correto, a função retornará NULL em vez de gerar um erro.

  • Opcionalmente, permita que o otimizador se baseie em restrições estrangeiras não impostas key

    Para melhorar o desempenho das consultas, agora o senhor pode especificar a palavra-chave RELY em restrições FOREIGN KEY ao CRIAR ou ALTERAR uma tabela.

  • Suporte para eliminar o recurso da tabela de restrições de verificação

    Substituições seletivas usando replaceWhere agora executam trabalhos que excluem dados e inserem novos dados em paralelo, melhorando o desempenho da consulta e a utilização do clustering.

  • Execução de trabalhos paralelizados para substituições seletivas

    Substituições seletivas usando replaceWhere agora executam trabalhos que excluem dados e inserem novos dados em paralelo, melhorando o desempenho da consulta e a utilização do clustering.

  • Desempenho aprimorado para alterar o feed de dados com substituições seletivas

    As substituições seletivas usando replaceWhere em tabelas com feed de dados de alteração não gravam mais arquivos de dados de alteração separados para os dados inseridos. Essas operações usam uma coluna _change_type oculta presente nos arquivos de dados Parquet subjacentes para registrar as alterações sem amplificação de gravação.

  • Melhoria da latência de consulta para o comando COPY INTO

    Esta versão inclui uma alteração que melhora a latência de consulta do comando COPY INTO. Essa melhoria é implementada ao tornar assíncrono o carregamento do estado pelo RocksDB armazenamento do estado. Com essa alteração, o senhor deve ver uma melhoria nos tempos iniciais para consultas com estados grandes, como consultas com um grande número de arquivos já ingeridos.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do armazém SQL compute descritas acima.

Visualizações

  • Os totais das dicas de ferramentas agora aparecem somente para gráficos empilhados.

22 de agosto de 2024

Visualizações

Para configurações agrupadas e de vários campos, as dicas de ferramentas agora mostram os totais quando você passa o mouse sobre os elementos do gráfico.

15 de agosto de 2024

Visualizações

Foi corrigido um problema em que os números das linhas nas visualizações de tabela não eram atualizados após a alteração do tamanho da página.

Descobrimento de dados

Agora há suporte para a capacidade de expandir e recolher tipos de colunas complexas aninhadas nas tabelas do Unity Catalog.

1 de agosto de 2024

Visualizações:

  • A classificação da tabela agora é preservada quando os dados são alterados devido à filtragem.

Editor SQL:

  • Maior legibilidade adicionando espaço adicional entre a última linha de uma consulta e a saída do resultado.

25 de julho de 2024

API REST da Databricks:

  • APIs para gerenciar consultas, alertas, fontes de dados e permissões foram alterados. A versão antiga continuará sendo suportada por seis meses. Esse período de transição visa dar a você tempo suficiente para migrar seus aplicativos e integrações para a nova versão antes que a versão mais antiga seja eliminada. Consulte Atualização para a versão mais recente Databricks SQL API

18 de julho de 2024

Atualizações da interface do usuário

Explorador de catálogos:

  • Um novo assistente de configuração de catálogo agora está disponível para a configuração de workspace bindings, privilégios de catálogo e metadados ao criar um catálogo.

SQL monitoramento do armazém:

  • A permissão CAN MONITOR agora está disponível ao público em geral. Ele permite que usuários privilegiados monitorem o armazém SQL, incluindo o histórico de consultas associado e os perfis de consultas. Consulte Pesquisa de vetores endpoint ACLs.

11 de julho de 2024

Databricks SQL Versão 2024.35 disponível

Programar o lançamento: Pré-visualizar o lançamento para 2024,35: Entre 9 de julho e 15 de julho

Mudanças em 2024.35

Desativar o mapeamento de colunas com o recurso de soltar

Agora o senhor pode usar DROP FEATURE para desativar o mapeamento de colunas nas tabelas Delta e fazer downgrade do protocolo da tabela. Consulte Desativar mapeamento de colunas.

Sintaxe e funções do tipo de variante na visualização pública

integrada Apache Spark O suporte para trabalhar com dados semiestruturados do tipo VARIANT agora está disponível em Spark DataFrames e SQL. Consulte Dados da variante de consulta.

Suporte a tipos de variantes para o Delta Lake na visualização pública

Agora o senhor pode usar VARIANT para armazenar dados semiestruturados em tabelas com o suporte do Delta Lake. Consulte Suporte de variantes no Delta Lake.

Suporte para diferentes modos de evolução do esquema em vista

CREATE VIEW e ALTER VIEW agora permitem que o senhor defina um modo de vinculação de esquema, aprimorando a forma como as visualizações lidam com as alterações de esquema em objetos subjacentes. Esse recurso permite que a visualização tolere ou se adapte às alterações de esquema nos objetos subjacentes. Ele aborda as mudanças no esquema de consulta resultantes de modificações nas definições de objetos.

Melhoria do desempenho de algumas funções de janela

Esta versão inclui uma alteração que melhora o desempenho de algumas funções de janela do Spark, especificamente funções que não incluem uma cláusula ORDER BY ou um parâmetro window_frame. Nesses casos, o sistema pode reescrever a consulta para executá-la usando uma função agregada. Essa alteração permite que a consulta seja executada mais rapidamente, usando a agregação parcial e evitando a sobrecarga de execução de funções de janela. O parâmetro de configuração spark.databricks.optimizer.replaceWindowsWithAggregates.enabled do site Spark controla essa otimização e é definido como true pelo site default. Para desativar essa otimização, defina spark.databricks.optimizer.replaceWindowsWithAggregates.enabled como false.

Suporte para a função try_mod adicionado

Esta versão adiciona suporte para a função PySpark try_mod(). Essa função suporta o cálculo compatível com ANSI SQL do resto inteiro dividindo dois valores numéricos. Se o argumento do divisor for 0, a função try_mod() retornará null em vez de lançar uma exceção. O senhor pode usar a função try_mod() em vez de mod ou %, que gera uma exceção se o argumento do divisor for 0 e o ANSI SQL estiver ativado.

Atualizações da interface do usuário

Editor SQL:

O assistente em linha agora está disponível no editor SQL. Clique no ícone do assistente na caixa do editor para alternar a entrada. Digite uma pergunta ou comentário em inglês e pressione Enter (e não Shift+Enter, que executa uma consulta) para gerar uma resposta com um view diferente diretamente no editor.

Plataforma:

Uma API para destinos de notificação já está disponível. Agora o senhor pode gerenciar programaticamente webhooks e email destinations para suas notificações de alerta e execução de trabalho. Consulte Destinos de notificação.

4 de julho de 2024

Databricks SQL Versão 2024.30 disponível

Programar lançamento: Pré-visualizar o lançamento para 2024.30: Entre 9 de julho e 15 de julho

Mudanças em 2024.30

A Lakehouse Federation está geralmente disponível (GA)

Os conectores da Lakehouse Federation nos seguintes tipos de banco de dados já estão disponíveis de forma geral (GA):

  • MySQL

  • PostgreSQL

  • Amazon Redshift

  • Snowflake

  • Microsoft SQL Server

  • Azure Synapse (SQL Data Warehouse)

  • Databricks

Esta versão também apresenta as seguintes melhorias:

  • Suporte a pushdowns adicionais (strings, matemática, funções diversas).

  • Taxa de sucesso de pushdown aprimorada em diferentes formas de consulta.

  • Recursos adicionais de depuração pushdown:

    • A saída EXPLAIN FORMATTED exibe o texto da consulta pressionado.

    • A interface do usuário do perfil de consulta exibe o texto da consulta transferida, os identificadores de nós federados e os tempos de execução da consulta JDBC (no modo detalhado). Consulte Exibir consultas federadas geradas pelo sistema.

DESCRIBE HISTORY agora mostra colunas de clustering para tabelas que usam clustering líquido

Quando o senhor executa uma consulta DESCRIBE HISTORY, a coluna operationParameters mostra um campo clusterBy em default para operações CREATE OR REPLACE e OPTIMIZE. Para uma tabela Delta que usa clustering líquido, o campo clusterBy é preenchido com as colunas de clustering da tabela. Se a tabela não usar o clustering líquido, o campo estará vazio.

O suporte para chaves primárias e estrangeiras está geralmente disponível

O suporte para chaves primárias e estrangeiras em Databricks Runtime está disponível de modo geral. A versão GA inclui as seguintes alterações nos privilégios necessários para usar chaves primárias e estrangeiras:

  • Para definir um key estrangeiro, o senhor deve ter o privilégio SELECT na tabela com o key primário ao qual o key estrangeiro se refere. O senhor não precisa ser proprietário da tabela com o endereço primário key, o que era necessário anteriormente.

  • A eliminação de uma chave primária key usando a cláusula CASCADE não requer privilégios nas tabelas que definem a chave estrangeira que faz referência à chave primária key. Anteriormente, você precisava possuir as tabelas de referência.

  • A eliminação de uma tabela que inclui restrições agora exige os mesmos privilégios que a eliminação de tabelas que não incluem restrições.

Para saber como usar chaves primárias e estrangeiras com tabelas ou exibições, consulte a cláusula CONSTRAINT, a cláusula ADD CONSTRAINT e a cláusula DROP CONSTRAINT.

O agrupamento líquido é GA

O suporte para o líquido clustering agora está disponível de forma geral usando o Databricks Runtime 15.2 e o acima. Consulte Usar clustering líquido para tabelas Delta.

A ampliação de texto está na pré-visualização pública

Agora o senhor pode ativar a ampliação de tipos em tabelas apoiadas pelo Delta Lake. Tabelas com ampliação de tipo ativada permitem alterar o tipo de colunas para um tipo de dados mais amplo sem reescrever os arquivos de dados subjacentes. Consulte Ampliação de tipos.

Cláusula de evolução do esquema adicionada à sintaxe de mesclagem do SQL

Agora o senhor pode adicionar a cláusula WITH SCHEMA EVOLUTION a uma declaração SQL merge para permitir a evolução do esquema para as operações. Consulte Sintaxe de evolução do esquema para mesclagem.

Suporte ao inventário de vácuo

Agora o senhor pode especificar um inventário de arquivos a serem considerados ao executar o comando VACUUM em uma tabela Delta. Consulte os documentos do OSS Delta.

Suporte para funções de compressão Zstandard

Agora você pode usar as funções zst_compress, zstd_decompress e try_zstd_decompress para compactar e descompactar BINARY dados.

Os planos de consulta na interface do usuário do SQL agora exibem corretamente PhotonWriteStage

Quando exibido na UI SQL, o comando write nos planos de consulta mostrava incorretamente PhotonWriteStage como um operador. Com esta versão, a interface do usuário é atualizada para mostrar PhotonWriteStage como um palco. Essa é uma alteração apenas na interface do usuário e não afeta a forma como as consultas são executadas.

Atualizações da interface do usuário

Suporte à API:

27 de junho de 2024

Filtros de linha e máscaras de coluna na visualização materializada Databricks SQL e tabelas de transmissão são Public Preview

Os filtros de linha e as máscaras de coluna na visualização materializada Databricks SQL e nas tabelas de transmissão são Public Preview. A versão Public Preview inclui as seguintes alterações:

  • Você pode adicionar filtros de linha e máscaras de coluna a uma visualização materializada ou tabela de streaming do Databricks SQL.

    • Você pode definir visualizações materializadas ou tabelas de streaming do Databricks SQL em tabelas que incluem filtros de linha e máscaras de coluna.

    Consulte CREATE MATERIALIZED VIEW e CREATE STREAMING TABLE.

Atualizações da interface do usuário

Visualizações:

  • Melhoria da interatividade na exibição de dicas de ferramentas ao passar o mouse sobre pie, gráficos de dispersão e de mapa de calor com muitos pontos de dados.

Explorador de catálogos:

  • Uma interface de usuário do Catalog Explorer renovada facilita a descoberta e a inclusão de favoritos recentes Unity Catalog ativo no Quick Access view. A experiência de navegação também foi simplificada, permitindo que o senhor compute explore, armazenamento, credenciais, conexões, e detalhes de gerenciamentoDBFS usando as Ícone de configurações configurações no canto superior esquerdo da tela. Delta Sharing, Clean Rooms e External Data agora têm páginas dedicadas.

6 de junho de 2024

Correção para Databricks SQL materialized view e tabelas de transmissão

Foi corrigido o problema que fazia com que as consultas ALTER SCHEDULE na visualização materializada Databricks SQL e nas tabelas de transmissão tivessem efeito somente após as próximas REFRESH operações. Agora, as consultas ALTER SCHEDULE são aplicadas imediatamente. Consulte programar materializado view refresh.

A visualização materializada e as tabelas de transmissão em Databricks SQL são Public Preview

A visualização materializada e as tabelas de transmissão em Databricks SQL são Public Preview e estão disponíveis para todos os clientes. A versão prévia pública inclui as seguintes alterações:

Atualizações da interface do usuário

Painéis de controle:

  • Os usuários da conta agora podem download visualizar dados de painéis publicados

  • Os painéis não publicados agora podem ser publicados usando a opção Draft/Publish (Rascunho/Publicar ) dropdown na parte superior de um painel.

  • Foi corrigido um problema em que os parâmetros denominados limite não eram detectados.

  • Os painéis agora aparecem na navegação lateral do AWS GovCloud.

Visualizações:

  • Melhoria da renderização do box-graficar no modo escuro.

Percepções de consulta:

  • Para todos os Notebooks anexados ao armazém SQL, o senhor pode acessar o perfil da consulta clicando em Ver desempenho sob a célula que contém a consulta. Se a célula incluir várias consultas, um link para o perfil de consulta de cada uma será fornecido para cada instrução.

30 de maio de 2024

Novo nível de permissão para o armazém SQL

A permissão Can monitor permite que os usuários monitorem o armazém SQL, incluindo o histórico de consultas associado e os perfis de consultas. A permissão Pode monitorar agora está em Pré-visualização pública. Consulte Pesquisa de vetores endpoint ACLs.

Atualizações da interface do usuário

Melhorias no painel:

  • Foi adicionado um menu kebab aos widgets do painel para downloads de imagens e dados.

  • Os usuários podem migrar os parâmetros de painel legado com base em consulta e os parâmetros da lista dropdown para os painéis.

23 de maio de 2024

Atualizações da interface do usuário

  • Agora o senhor pode selecionar vários itens no site workspace para mover ou excluir. Quando vários objetos são selecionados, uma barra de ação aparece e fornece opções para mover ou excluir itens. Além disso, você pode selecionar vários itens usando o mouse e arrastá-los para um novo local. As permissões existentes nos objetos ainda se aplicam durante as operações de movimentação e exclusão em massa.

  • Agora o senhor pode marcar o site Unity Catalog ativo como favorito no Catalog Explorer e no Schema Browser. Isso inclui catálogos, esquemas, tabelas, modelos, volumes e funções. Unity Catalog ativo que o senhor marca como favoritos são facilmente acessíveis na página inicial do site Databricks.

Atualizações do painel:

  • Os gráficos combinados de eixo duplo agora exibem corretamente as legendas das barras no eixo direito e as legendas das linhas de acordo.

  • Os gráficos de eixo duplo agora mostram corretamente o rótulo nas barras.

Atualizações de visualizações:

  • O rótulo de formato condicional do editor de tabelas para if e then agora suporta o modo escuro.

  • O ícone redundante de link aberto foi removido das dicas de ferramentas de formato do editor de tabelas.

  • O rótulo da cor da fonte default no editor de tabelas agora se alinha automaticamente.

16 de maio de 2024

Programa de lançamento

  • Lançamento da versão prévia para 2024.25: Concluído em 1º de maio

  • Lançamento atual para 2024.25: Entre 14 de maio e 21 de maio

Observação

Uma atualização da biblioteca panda Python (versão 2.0.3) causou uma alteração significativa no Databricks SQL versão 2024.20. A Databricks não implementou a versão 2024.20 para o canal atual. Em vez disso, o canal de visualização foi atualizado para 2024,25 em 1º de maio de 2025. O lançamento do canal atual vai diretamente de 2024.15 a 2024.25.

Mudanças em 2024.25

Governança de dados

A passagem de credenciais e o controle de acesso Hive metastore da tabela estão obsoletos.

A passagem de credenciais e o controle de acessoHive metastore da tabela são modelos legados de governança de dados. Faça o upgrade para Unity Catalog para simplificar a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso aos dados em vários espaços de trabalho em seu account. Consulte O que é o Unity Catalog?

O suporte à passagem de credenciais e ao controle de acesso Hive metastore da tabela será removido em uma versão futura do DBR.

SQL recurso de linguagem

A cláusula * (star) agora é suportada na cláusula WHERE.

Agora você pode usar a cláusula star (*) na cláusula WHERE para referenciar todas as colunas da lista SELECT. Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Suporte ao armazenamento Cloudflare R2 para evitar taxas de saída entre regiões desde 2024.15

Agora o senhor pode usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Unity Catalog. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing nos quais o senhor deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões.

O armazenamento R2 da Cloudflare suporta todos os dados Databricks e AI ativos suportados em AWS S3.

Consulte Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2 e criar uma credencial de armazenamento para conectar-se ao Cloudflare R2.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do armazém SQL compute descritas acima.

descobrimento de dados atualizações: O assistente de atualização de Hive metastore para Unity Catalog suporta a atualização de Hive metastore gerenciar tabelas usando o armazém multifuncional compute ou SQL. A atualização de mais de 20 tabelas cria um novo Notebook que contém os comandos SYNC E ALTER TABLE que realizam a conversão.

Atualizações do painel:

  • A funcionalidade de eixo duplo agora está disponível para os tipos de gráficos de área, barra, linha e dispersão.

    • Quando você ativa um gráfico de eixo duplo, o título e o intervalo do eixo não são mais copiados para o eixo secundário.

    • O último campo identificado na configuração de visualização é automaticamente realocado para o eixo y do lado direito.

9 de maio de 2024

Correções do SQL Editor:

  • A configuração de SQL administrador Recurso da área de transferência da tabela de resultados agora se aplica à tabela de novos resultados do editor.

Melhorias no painel:

  • Os parâmetros baseados em consultas permitem que os autores definam uma lista de valores selecionáveis que os espectadores podem usar como parâmetros para outras visualizações em uma tela de painel. Consulte Usar parâmetros baseados em consultas.

  • A ordem das colunas nos downloads de arquivos de um widget de tabela agora é preservada.

  • O editor de tabelas agora inclui dicas de ferramentas flutuantes que exibem os nomes das colunas.

  • Ao mudar de outros tipos de visualização para um histograma, a codificação das informações agora é mais bem preservada.

Correções do painel:

  • Corrigido um problema em que um único filtro de altura da grade exibia uma barra de rolagem desnecessária.

  • Foi corrigido um problema que causava visualizações renderizadas incorretamente em painéis publicados nos quais uma coluna dataset referenciada era excluída.

2 de maio de 2024

Suporte ao warehouse sem servidor SQL expandido: o warehouse sem servidor SQL agora está disponível nas seguintes regiões:

  • ca-central-1

  • ap-nordeste-2

Ver recurso com disponibilidade regional limitada

Atualizações do painel:

  • As consultas e visualizações agora podem ser copiadas para um novo painel a partir do editor SQL. O senhor ainda pode adicionar visualizações a painéis antigos a partir do editor SQL. Consulte Editar, fazer download ou adicionar a um painel.

  • Agora, os painéis manterão um cache de resultados de 24 horas para otimizar os tempos de carregamento inicial. Consulte otimização e armazenamento em cache do conjunto de dados.

  • Os gráficos de barras com X categórico e Y quantitativo agora são classificados nas respostas do Databricks Assistant.

  • Problema de migração corrigido com o histograma legado COUNT (*) para garantir uma migração precisa.

  • Implementou a capacidade de misturar tipos numéricos e tipos de data em um widget de filtro.

  • Ao criar gráficos, o Databricks Assistant agora sugere automaticamente as colunas relevantes à medida que o senhor digita.

Atualizações de visualização:

  • A cor selecionada pelo usuário para tabelas agora persiste nos modos claro e escuro em gráficos antigos.

  • A lógica de truncamento de dados foi aprimorada para melhorar o desempenho em gráficos combinados, pie, mapas de calor e histogramas.

  • Agora, uma marca de verificação é sempre exibida na parte superior de um eixo quantitativo para gráficos básicos.

23 de abril de 2024

Atualizações da interface do usuário:

  • Para todas as caixas de diálogo de compartilhamento na interface do usuário, o grupo All Users foi renomeado para All Workspace Users. O novo nome reflete com mais precisão o escopo do grupo, que sempre incluiu os usuários atribuídos ao site workspace. Nenhuma alteração é feita na associação ao grupo como parte dessa renomeação.

Melhorias no painel:

  • Quando o site SQL warehouse de um painel está sendo iniciado, é exibida uma caixa de diálogo para explicar o tempo de espera.

  • A posição de rolagem é preservada ao alternar entre a guia Canvas e Data.

  • A clonagem de um painel legado para criar um painel do Lakeview agora suporta algumas conversões de parâmetros. Consulte Ajustar parâmetros legados.

  • Datas relativas, como Hoje, Amanhã e 7 dias atrás, agora são compatíveis com os parâmetros de data e hora.

  • Os controles deslizantes de intervalo numérico podem ser adicionados como filtros em um painel.

  • Os histogramas agora podem exibir dados desagregados.

  • O gráfico de dispersão agora suporta a codificação de tamanho.

Correções do painel:

  • A codificação temporal de cores agora pode alterar as atribuições de cores corretamente.

Atualizações de visualização:

  • Os formatos personalizados do topo de ferramentas agora funcionam corretamente para gráficos com vários eixos.

  • A tag de visualização de novos gráficos é removida quando os usuários não alteram a opção nos últimos 14 dias.

18 de abril de 2024

Os painéis do Lakeview estão disponíveis de forma geral

Lakeview Os painéis são agora a ferramenta de painel default. Eles foram renomeados como Painéis na interface do usuário. Databricks SQL agora são chamados de painéis legados. Os nomes das ferramentas de API relacionadas não foram alterados.

  • Melhorias no painel:

    • Auditoria logs está disponível para os painéis Lakeview. Veja os eventos do Dashboards.

    • Os downloads de dados dos dashboards respeitam os parâmetros aplicados.

    • Databricks Assistant é ativado no Data tab sem adicionar o conjunto de dados primeiro.

    • Gráficos de barras empilhadas com vários campos Y podem oferecer suporte à classificação do eixo X com base na soma dos valores do eixo Y.

    • Alternar entre as funções de escala Linear e log(Symmetric) nos menus do eixo de visualização.

    • O tamanho default do widget de filtro agora é mais compacto.

    • O tempo de carregamento inicial do widget de filtro de entrada de texto foi reduzido.

    • Conversões automáticas de gráficos aprimoradas ao migrar de painéis antigos.

  • Correções do painel:

    • O aviso de configurações de visualização restrita não mostra se o painel foi compartilhado com outras pessoas.

    • As mensagens de erro no editor do Data tab SQL agora são ativadas no modo escuro.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do SQL warehouse compute descritas acima.

Melhorias:

  • As dicas de ferramentas dos gráficos empilhados agora exibem o valor e a porcentagem da pilha em default.

  • As dicas de ferramentas para gráficos com vários eixos agora destacam o item que passou o mouse.

  • As visualizações de tabela do Databricks SQL agora adaptam o tipo de dados de um novo resultado de consulta quando editado no editor SQL.

  • A tabela do Catalog Explorer Query History do Catalog Explorer mostra uma árvore view para atribuição de Fonte de Consulta. O senhor pode usar isso para ver quais entidades acionaram a execução da instrução de consulta.

11 de abril de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do SQL warehouse compute descritas acima.

Melhorias:

  • Agora o senhor pode agrupar por porcentagem ao criar visualizações em Databricks SQL e no Notebook.

  • Para novos gráficos (na Pré-visualização pública), você pode ampliar ao longo de um único eixo clicando e arrastando em uma linha reta paralela ao eixo.

  • A UI Unity Catalog do Allowlist de clustering compartilhado já está disponível para todos. Você pode acessá-lo na página de detalhes do Metastore no Catalog Explorer. Consulte Como adicionar itens à lista de permissões.

  • Os formulários para criar e editar locais externos agora são abertos como uma página inteira. Eles incluem a opção de incluir uma credencial de armazenamento.

Correções:

  • Foi corrigido um problema nos gráficos de histograma em que valores negativos eram marcados erroneamente como positivos.

4 de abril de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do SQL warehouse compute descritas acima.

Melhorias:

  • Aprimoramentos nos gráficos de histograma nos painéis do Lakeview.

    • Adicionado suporte para rótulo.

    • As configurações do compartimento agora são mantidas ao alternar entre campos diferentes.

  • A galeria de amostras na página de listagem de painéis agora cria painéis do Lakeview. Consulte o tutorial: Usar painéis de amostra.

  • Clicar com o botão direito do mouse na borda de um widget em um painel do Lakeview abre um menu de contexto.

  • A barra de navegação do lado esquerdo é mantida para os usuários do workspace que visualizam os painéis publicados do Lakeview.

  • As seleções de filtro são mantidas ao navegar entre painéis publicados e de rascunho do Lakeview.

  • Agora, os nomes das colunas podem ser inseridos no editor SQL ao editar uma consulta dos dados tab em um painel de rascunho Lakeview.

  • A substituição de um painel do Lakeview mantém o nome do painel existente e substitui o conteúdo.

  • Alternar visualizações entre mapas de aquecimento e outros tipos de gráficos agora preserva melhor os campos relevantes.

Correções:

  • Os gráficos de barras com codificações de cores agora restringem corretamente a adição de vários campos do eixo Y.

  • Foi resolvido um problema em que o botão de download como PNG estava ausente em algumas visualizações.

  • Formatação corrigida para números inteiros grandes negativos que anteriormente não tinham milhares de separadores.

  • Foi corrigido o posicionamento incorreto da linha de foco ao passar o mouse sobre o rótulo em gráficos de linhas.

28 de março de 2024

Databricks SQL versão 2024.15 disponível

Programa de lançamento

  • Lançamento da versão prévia para 2024.15: Entre 14 de fevereiro e 4 de março

  • Lançamento atual para 2024.15: Entre 25 de março e 8 de abril

Mudanças em 2024.15

Atualizações da Delta

  • O Delta UniForm já está disponível para todos: O UniForm agora está disponível para todos e usa o recurso de tabela IcebergCompatV2. Agora o senhor pode ativar ou atualizar o UniForm em tabelas existentes. Veja as tabelas Ler Delta com clientes Iceberg.

  • Recompute as estatísticas de omissão de dados para tabelas Delta: Agora o senhor pode recomputar as estatísticas armazenadas no log Delta após alterar as colunas usadas para ignorar dados. Consulte Especificar colunas de estatísticas Delta.

Atualizações da linguagem SQL

  • Declarar variáveis temporárias em uma sessão SQL: Esta versão introduz a capacidade de declarar variáveis temporárias em uma sessão que podem ser definidas e, em seguida, referenciadas em consultas. Consulte Variáveis.

  • Suporte ao formato de arquivo XML nativo (visualização pública): o suporte ao formato de arquivo XML nativo agora está na visualização pública. O suporte ao formato de arquivo XML permite a ingestão, a consulta e a análise de dados XML para processamento ou transmissão de lotes. Ele pode inferir e desenvolver automaticamente o esquema e os tipos de dados, suporta expressões SQL como from_xml e pode gerar documentos XML. Ele não requer jars externos e funciona perfeitamente com Auto Loader, read_files, COPY INTO e Delta Live Tables. Consulte Ler e gravar arquivos XML.

  • O Cloud Fetch agora está ativado por default: O Cloud Fetch é ativado por default no espaço de trabalho AWS com o controle de versão do bucket ativado. Se o controle de versão do bucket estiver ativado, o site Databricks recomenda definir uma política de ciclo de vida para remover automaticamente as versões antigas dos resultados da consulta de upload. Consulte Cloud Fetch em ODBC (ODBC) e Cloud Fetch em JDBC (JDBC).

Atualizações do Apache Spark SQL

O Databricks SQL 2024.15 inclui o Apache Spark 3.5.0. Correções de bugs e melhorias adicionais para SQL estão listadas em Databricks Runtime 14.3 notas sobre a versão. Consulte Apache Spark e procure a tag [SQL] para obter uma lista completa.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do SQL warehouse compute descritas acima.

  • Uma nova visão geral tab na página de entidade do Catalog Explorer mostra metadados importantes como tamanho do arquivo, fonte de dados, proprietário, esquema de tabela e comentários.

  • Atualizações do painel de controle de Lakeview:

    • Os painéis do Lakeview agora suportam parâmetros. Os autores podem adicionar parâmetros às consultas do site dataset a partir do Data tab e, em seguida, definir parâmetros na tela usando seletores de valor único e selecionadores de data. Consulte Trabalhar com parâmetros do painel.

    • Lakeview Os painéis agora são compatíveis com as permissões do site workspace API. Consulte PATCH /api/workspace/workspace/updatepermissions na referência da API REST.

    • Os widgets de controle na tela foram renomeados para widgets de filtro.

    • Os gráficos combinados não permitem mais campos desagregados no eixo x.

    • O botão Copiar link na caixa de diálogo Compartilhar agora inclui parâmetros armazenados no URL.

    • Os widgets nos painéis publicados não mostram mais bordas ao passar o mouse.

    • Foi resolvido um problema em que os botões Databricks Assistant e download de PNG se sobrepunham aos visuais do gráfico.

  • Alternar visualizações entre mapas de calor e outros tipos de gráficos agora preserva melhor os campos relevantes.

  • Os gráficos de barras com codificações de cores agora restringem corretamente a adição de vários campos do eixo Y.

21 de março de 2024

  • A linhagem de modelos do Unity Catalog está agora em Public Preview.

A tabela view no Catalog Explorer agora tem uma Visão geral tab para descrever seus metadados primários.

  • SQL warehouse for Notebook, agora disponível de forma geral, permite que o senhor aproveite as vantagens do compute totalmente gerenciado, instantâneo e escalável para suas cargas de trabalho do SQL no ambiente de criação rico e colaborativo de um Notebook. Consulte Usar um notebook com o SQL warehouse site.

As seguintes correções e melhorias se aplicam aos painéis do Lakeview:

  • O suporte ampliado da API para o Lakeview adiciona a capacidade de criar, obter, atualizar e descartar painéis. Consulte Lakeview na referência da API REST.

  • Foi adicionado um botão refresh para o navegador do catálogo nos dados tab.

  • Lakeview Os painéis agora aparecem antes de Dashboards no menu New (Novo ) na barra lateral workspace. Na página de listagem de painéis, o endereço Lakeview dashboards tab aparece à esquerda de Dashboards tab.

  • A experiência do Databricks Assistant para o Lakeview foi atualizada com uma caixa de entrada e sugestões para melhorar a capacidade de descoberta e ajudar os usuários a entender os prompts que podem ser apresentados.

  • As visualizações do Lakeview agora suportam agregações medianas.

  • Atualizamos o seletor de cores no editor de visualização do painel do Lakeview para simplificar a experiência do usuário ao criar tabelas.

  • Melhoria na migração do gráfico pie para suportar exclusivamente cenários com definições de ângulo ou cor.

  • Corrigido um bug que impedia o agrupamento por gráficos chamado count. Agora, os gráficos podem ser agrupados por campos chamados count.

  • Para gráficos de barras, os controles de disposição de grupos e pilhas agora estão ocultos quando não se aplicam à configuração selecionada pelo usuário.

14 de março de 2024

Para painéis do Lakeview:

  • Os histogramas agora oferecem suporte a cores categóricas personalizadas.

    • Os mapas de calor agora suportam escala quantitativa.

    • Os títulos e as descrições são mantidos ao alternar entre os tipos de visualização, incluindo gráficos combinados.

    • Agora, o senhor pode abrir o site subjacente dataset associado a um widget de painel de rascunho clicando com o botão direito do mouse sobre ele. O site dataset é aberto no Data tab.

  • Os novos gráficos agora aplicam aliases e cores personalizadas para valores nulos em colunas numéricas.

  • Novos gráficos agora renderizam marcas de verificação para mostrar a parte superior do eixo y.

7 de março de 2024

  • Ao visualizar uma tabela no Catalog Explorer, o botão Create inclui uma opção para criar um painel Lakeview em vez de um painel Databricks SQL.

  • Os histogramas agora estão disponíveis para os painéis do Lakeview. Os histogramas geralmente são usados para visualizar a distribuição de um campo numérico.

  • Ao clonar um painel Databricks SQL para criar um painel Lakeview, os problemas de conversão do dataset agora são exibidos como erros no novo widget do painel Lakeview.

  • Os gradientes de cor estão disponíveis quando um campo numérico é usado para uma visualização em um painel do Lakeview.

  • Os gradientes de cor agora são expostos no editor de visualização do painel do Lakeview quando um campo Color by é especificado.

  • O título e a descrição associados a uma visualização não serão mais editáveis se o visualizador não tiver privilégios de edição em um painel de rascunho do Lakeview.

  • Foi corrigido um problema em que as dicas de ferramentas em gráficos com mais de 100 séries mostravam incorretamente todas as séries. Agora, somente a série focada é mostrada.

  • Redução da latência de digitação no editor SQL em 30% por meio de otimizações de desempenho.

  • Ao gerenciar consultas no editor SQL, mover uma consulta para a lixeira fecha automaticamente o tab.

  • Foi corrigido um problema no editor SQL em que o texto era selecionado acidentalmente ao ajustar a largura do painel lateral.

29 de fevereiro de 2024

  • O suporte ao SQL warehouse sem servidor foi adicionado nas seguintes regiões:

    • ap-sul-1

    • ap-sudeste-1

    • ap-nordeste-1

    • sa-east-1

    • ue-west-3

    Consulte as nuvens e regiões da Databricks para obter uma lista completa das regiões compatíveis.

  • O navegador de esquemas no Catalog Explorer agora exibe as restrições primárias e externas da coluna key.

  • O tempo de retenção mostrado no Lineage tab no Catalog Explorer foi aumentado para um ano.

  • As dicas de ferramentas em novos gráficos no Notebook agora são sempre renderizadas dentro do limite da visualização.

  • Saiba como gerenciar de forma programática os painéis do Lakeview usando a API REST. Veja como gerenciar dashboards com o espaço de trabalho APIs.

  • Os painéis do Lakeview agora suportam histogramas.

  • Melhoria do compartilhamento e da publicação nos painéis do Lakeview:

    • Diálogos de compartilhamento e publicação aprimorados, permitindo o compartilhamento fácil e seguro com qualquer usuário do site account.

    • Os painéis abertos no navegador workspace mostram o painel publicado, se ele existir. Agora, os espectadores também podem ver detalhes da última versão publicada, incluindo editor, horário e credenciais.

    • Para os editores, um novo seletor suspenso na interface de usuário do Lakeview Dashboard permite que o senhor alterne rapidamente entre as versões de rascunho e publicadas.

22 de fevereiro de 2024

  • Melhorias no Sample Data tab na tabela do Catalog Explorer view permitem que o senhor classifique colunas, copie dados selecionados para a área de transferência e view números de linha. Agora ele pode exibir melhor valores especiais, como objetos JSON, datas, valores numéricos e nulos.

  • Lakeview Os painéis agora suportam o envio periódico de instantâneos em PDF do painel para usuários e destinos de notificação do site workspace. Consulte programar e inscrição.

  • A lista de opções de visualização no seletor Lakeview dropdown agora é classificada em ordem alfabética.

  • Ao copiar painéis Databricks SQL para painéis Lakeview, os widgets que não podem ser convertidos agora mostram o seletor de configuração de visualização em vez de uma mensagem de erro.

15 de fevereiro de 2024

  • A documentação dos filtros de consulta baseados em código, como SELECT action AS 'action::filter', foi removida. A Databricks recomenda atualizar as consultas para remover esse padrão.

  • Nos painéis Lakeview, os gráficos pie agora exibem fatias de tamanho igual quando nenhum campo de ângulo é especificado.

  • O Lakeview agora suporta gráficos combinados, que combinam gráficos de barras e de linhas para mostrar dois valores diferentes no mesmo gráfico.

  • Os gráficos de mapa de calor, que usam a intensidade da cor para mostrar a magnitude da correlação entre duas variáveis discretas, agora estão disponíveis no Lakeview.

8 de fevereiro de 2024

  • Agora é possível solicitar acesso ao abrir um link para um painel do Lakeview no qual o senhor não tem permissões.

  • Os filtros do painel do Lakeview agora têm as opções explícitas All (Todos ) e None (Nenhum ). Os autores podem optar por ocultar a opção Todos em filtros de seleção única.

  • Agora o senhor pode definir valores mínimos e máximos para os eixos nos gráficos do painel do Lakeview.

1 de fevereiro de 2024

Databricks SQL Versão 2024.10 disponível

Programa de lançamento

  • Lançamento da versão prévia para 2024.10: Entre 30 de janeiro de 2024 e 5 de fevereiro de 2024

  • Lançamento atual para 2024.10: Entre 13 de fevereiro de 2023 e 20 de fevereiro de 2024

Mudanças em 2024.10

  • Foi corrigido o tratamento de arquivos corrompidos no comando DML: Os comandos DML DELETE, UPDATE e MERGE INTO não respeitam mais as opções de leitura ignoreCorruptFiles e ignoreMissingFiles. Ao encontrar um arquivo ilegível em uma tabela, esse comando agora falha mesmo se essas opções forem especificadas.

  • A simultaneidade em nível de linha está disponível de forma geral e em default: A simultaneidade no nível da linha reduz os conflitos entre operações de gravação concorrentes ao detectar alterações no nível da linha. A simultaneidade em nível de linha só é suportada em tabelas sem particionamento, o que inclui tabelas com clustering líquido. A simultaneidade em nível de linha é ativada pelo site default em tabelas Delta com vetores de exclusão ativados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

  • Clone raso para tabelas externas do Unity Catalog (visualização pública): Agora o senhor pode usar o shallow clone com tabelas externas do Unity Catalog. Consulte Shallow clone para tabelas do Unity Catalog.

  • Coleta de estatísticas multi-threaded mais rápida: A coleta de estatísticas é até 10 vezes mais rápida em pequenos clusters ao executar CONVERT TO DELTA ou clonar tabelas de Iceberg e Parquet. Consulte Converter para Delta Lake e Clonar incrementalmente tabelas Parquet e Iceberg para Delta Lake.

  • Filtros pushdown no DeltaSource em arquivos Delta: Para uma melhor utilização, os filtros de partição nas consultas de transmissão das tabelas Delta agora são enviados para Delta antes da limitação de taxa.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das versões do armazém SQL compute descritas acima.

  • Uma opção de menu, Clone to Lakeview dashboard, foi adicionada à UI do dashboard Databricks SQL. O senhor pode usar essa ferramenta para criar um novo painel Lakeview que inclua as mesmas consultas e visualizações em seus painéis Databricks SQL existentes. Consulte Clonar um painel legado para um AI/BI dashboard.

  • Os gráficos de barras nos painéis do Lakeview suportam o empilhamento de barras para normalizar a 100%.

  • Foi corrigido um problema em que o zoom em um painel publicado do Lakeview resultava em foco em intervalos de zoom incorretos.

24 de janeiro de 2024

  • A tela do painel do Lakeview ajusta automaticamente o posicionamento do widget para remover o espaço em branco vertical vazio entre as linhas, quando possível.

  • Redução do espaço em branco entre o título e o texto de descrição nas visualizações do painel do Lakeview.

18 de janeiro de 2024

  • Corrigido um problema de renderização para visualizações em que gráficos de barras mostrando uma única data no eixo x resultavam em uma barra muito fina. As novas visualizações de gráficos são renderizadas conforme o esperado.

  • A página de listagem do painel Lakeview mostra seus painéis por default. O senhor pode usar filtros nessa página para acessar os painéis do Lakeview pertencentes a outros usuários do workspace.

11 de janeiro de 2024

  • Databricks SQL As consultas e o Dashboard APIs suportam a alteração da configuração de execução como função programaticamente.

4 de janeiro de 2024