Databricks SQL notas sobre a versão

Este artigo lista os novos recursos e melhorias do Databricks SQL, juntamente com problemas conhecidos e perguntas frequentes.

processo de lançamento

A Databricks lança atualizações para a interface de usuário do aplicativo da Web Databricks SQL de forma contínua, com todos os usuários recebendo as mesmas atualizações em um curto período de tempo.

Além disso, o Databricks normalmente lança novas versões compute do SQL warehouse regularmente. Dois canais estão sempre disponíveis: Visualização e Atual.

Observação

Os lançamentos são encenados. Sua account do Databricks pode não ser atualizada com uma nova versão SQL warehouse ou recurso Databricks SQL até uma semana ou mais após a data de lançamento inicial.

canal

O canal permite que o senhor escolha entre a versão atual do SQL warehouse compute ou a versão Preview. As versões de visualização permitem que o senhor teste a funcionalidade antes que ela se torne o padrão Databricks SQL. Aproveite as versões de visualização para testar suas consultas e painéis de produção em relação às próximas alterações.

Normalmente, uma versão de visualização é promovida para o canal atual aproximadamente duas semanas após ser lançada no canal de visualização. Alguns recursos, como recursos de segurança, atualizações de manutenção e correções de bugs, podem ser lançados diretamente no canal atual. De vez em quando, Databricks pode promover uma versão de visualização para o canal atual em um programar diferente. Cada nova versão será anunciada nas seções a seguir.

Para saber como mudar um SQL warehouse existente para o canal de visualização, consulte Preview Channels (Canais de visualização). Os recursos listados nas seções de atualizações da interface do usuário são independentes das versões do SQL warehouse compute descritas na seção Problemas corrigidos das notas sobre a versão.

Versões disponíveis do Databricks SQL

Canal atual: Databricks SQL versão 2024.15

Canal de visualização: Databricks SQL versão 2024.15

Consulte o recurso e as atualizações em Databricks SQL versão 2024.15.

23 de abril de 2024

Mudanças na interface do usuário:

  • Em todas as caixas de diálogo Compartilhar na interface do usuário, o grupo All Users foi renomeado para All Workspace Users. O novo nome reflete com mais precisão o escopo do grupo, que sempre incluiu os usuários atribuídos ao site workspace. Nenhuma alteração é feita na associação do grupo como parte dessa renomeação.

Melhorias no painel de controle:

  • Quando o site SQL warehouse de um painel está sendo iniciado, é exibida uma caixa de diálogo para explicar o tempo de espera.

  • A posição de rolagem é preservada ao alternar entre a guia Canvas e Data.

  • A clonagem de um painel legado para criar um painel do Lakeview agora suporta algumas conversões de parâmetros. Consulte Ajustar parâmetros legados.

  • As datas relativas, como Hoje, Amanhã e 7 dias atrás, agora são compatíveis com os parâmetros de data e data/hora.

  • Os controles deslizantes de intervalo de números podem ser adicionados como filtros em um painel.

  • Os histogramas agora podem exibir dados desagregados.

  • O gráfico de dispersão agora suporta a codificação de tamanho.

Correções no painel:

  • A codificação de cores temporais agora pode alterar corretamente as atribuições de cores.

Atualizações de visualização:

  • Os formatos personalizados do tooltop agora funcionam corretamente para gráficos de vários eixos.

  • A tag de visualização de novos gráficos é removida quando os usuários não alteram a alternância nos últimos 14 dias.

18 de abril de 2024

Os painéis do Lakeview estão disponíveis de forma geral

Lakeview Os painéis são agora a ferramenta de painel default. Eles foram renomeados como Dashboards na interface do usuário. Databricks SQL agora são chamados de painéis legados. Os nomes das ferramentas de API relacionadas não foram alterados.

  • Melhorias no painel de controle:

    • Auditoria logs está disponível para os painéis Lakeview. Consulte Eventos de painéis.

    • Os downloads de dados dos dashboards respeitam os parâmetros aplicados.

    • Databricks O Assistente é ativado no site Data tab sem adicionar o conjunto de dados primeiro.

    • Os gráficos de barras empilhadas com vários campos Y podem suportar a classificação do eixo X com base na soma dos valores do eixo Y.

    • Alternar entre as funções de escala Linear e log(Simétrica) nos menus de eixos de visualização.

    • O tamanho default do widget de filtro agora é mais compacto.

    • O tempo de carregamento inicial do widget de filtro de entrada de texto foi reduzido.

    • Melhoria nas conversões automáticas de gráficos ao migrar de painéis antigos.

  • Correções no painel:

    • O aviso de configurações de visualização restrita não será exibido se o painel tiver sido compartilhado com outras pessoas.

    • As mensagens de erro no editor do Data tab SQL agora são ativadas no modo escuro.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.

Melhorias:

  • As dicas de ferramentas dos gráficos empilhados agora exibem o valor e a porcentagem da pilha em default.

  • As dicas de ferramentas para gráficos de vários eixos agora destacam o item focalizado.

  • As visualizações de tabela do Databricks SQL agora adaptam o tipo de dados de um novo resultado de consulta quando editado no editor SQL.

  • A tabela do Catalog Explorer Query History do Catalog Explorer mostra uma árvore view para atribuição de Fonte de Consulta. O senhor pode usar isso para ver quais entidades acionaram a execução da instrução de consulta.

11 de abril de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.

Melhorias:

  • Agora o senhor pode agrupar por porcentagem ao criar visualizações em Databricks SQL e no Notebook.

  • Para novos gráficos (em Public Preview), o senhor pode aumentar o zoom ao longo de um único eixo clicando e arrastando em uma linha reta paralela ao eixo.

  • A UI da lista de permissões do cluster compartilhado do Unity Catalog já está disponível para todos. O senhor pode acessá-la na página de detalhes do Metastore no Catalog Explorer. Consulte Como adicionar itens à lista de permissões.

  • Os formulários para criar e editar locais externos agora abrem como uma página inteira. Eles incluem a opção de incluir uma credencial de armazenamento.

Correções:

  • Correção de um problema nos gráficos de histograma em que os valores negativos eram erroneamente marcados como positivos.

4 de abril de 2024

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.

Melhorias:

  • Aprimoramentos nos gráficos de histograma nos painéis do Lakeview.

    • Adicionado suporte para rótulo.

    • As configurações do compartimento agora são mantidas ao alternar entre campos diferentes.

  • A galeria de amostras na página de listagem de painéis agora cria painéis do Lakeview. Consulte o tutorial: Usar painéis de amostra.

  • Clicar com o botão direito do mouse na borda de um widget em um painel do Lakeview abre um menu de contexto.

  • A barra de navegação do lado esquerdo é mantida para os usuários do workspace que visualizam os painéis publicados do Lakeview.

  • As seleções de filtro são mantidas ao navegar entre painéis publicados e de rascunho do Lakeview.

  • Agora, os nomes das colunas podem ser inseridos no editor SQL ao editar uma consulta dos dados tab em um painel de rascunho Lakeview.

  • A substituição de um painel do Lakeview mantém o nome do painel existente e substitui o conteúdo.

  • A troca de visualizações entre mapas de calor e outros tipos de gráficos agora preserva melhor os campos relevantes.

Correções:

  • Os gráficos de barras com codificações de cores agora restringem corretamente a adição de vários campos do eixo Y.

  • Foi resolvido um problema em que o botão download as PNG estava ausente em algumas visualizações.

  • Correção da formatação de números inteiros grandes negativos que anteriormente não tinham milhares de separadores.

  • Foi corrigido o posicionamento incorreto da linha de foco ao passar o mouse sobre o rótulo em gráficos de linhas.

28 de março de 2024

Databricks SQL versão 2024.15 disponível

Rollout programador

  • Pré-lançamento para 2024.15: Entre 14 de fevereiro e 4 de março

  • Implementação atual para 2024.15: Entre 25 de março e 8 de abril

Alterações em 2024.15

Atualizações da Delta

Atualizações da linguagem SQL

  • Declarar variáveis temporárias em uma sessão SQL: Esta versão introduz a capacidade de declarar variáveis temporárias em uma sessão que podem ser definidas e, em seguida, referenciadas em consultas. Consulte Variáveis.

  • Suporte ao formato de arquivo XML nativo (visualização pública): O suporte ao formato de arquivo XML nativo está agora na visualização pública. O suporte ao formato de arquivo XML permite a ingestão, a consulta e a análise de dados XML para processamento ou transmissão de lotes. Ele pode inferir e desenvolver automaticamente o esquema e os tipos de dados, suporta expressões SQL como from_xml e pode gerar documentos XML. Ele não requer jars externos e funciona perfeitamente com Auto Loader, read_files, COPY INTO e Delta Live Tables. Consulte Ler e gravar arquivos XML.

  • cloud O Fetch agora está habilitado por default: cloud A busca é ativada por default no espaço de trabalho AWS com o controle de versão do bucket ativado. Se o controle de versão do bucket estiver ativado, o site Databricks recomenda definir uma política de ciclo de vida para remover automaticamente as versões antigas dos resultados da consulta de upload. Consulte Cloud Fetch em ODBC (ODBC) e Cloud Fetch em JDBC (JDBC).

Atualizações do Apache Spark SQL

O Databricks SQL 2024.15 inclui o Apache Spark 3.5.0. Correções de bugs e melhorias adicionais para SQL estão listadas em Databricks Runtime 14.3 notas sobre a versão. Consulte Apache Spark e procure a tag [SQL] para obter uma lista completa.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.

  • Uma nova visão geral tab na página de entidade do Catalog Explorer mostra metadados importantes como tamanho do arquivo, fonte de dados, proprietário, esquema de tabela e comentários.

  • Atualizações do painel de controle de Lakeview:

    • Os painéis do Lakeview agora suportam parâmetros. Os autores podem adicionar parâmetros às consultas do site dataset a partir do Data tab e, em seguida, definir parâmetros na tela usando seletores de valor único e selecionadores de data. Consulte Usar parâmetros do dashboard.

    • Lakeview Os painéis agora são compatíveis com as permissões do site workspace API. Consulte PATCH /api/workspace/workspace/updatepermissions na referência da API REST.

    • Os widgets de controle na tela foram renomeados para widgets de filtro.

    • Os gráficos combinados não permitem mais campos desagregados no eixo x.

    • O botão Copiar link na caixa de diálogo Compartilhar agora inclui parâmetros armazenados no URL.

    • Os widgets nos painéis publicados não mostram mais as bordas ao passar o mouse.

    • Foi resolvido um problema em que os botões Databricks Assistant e download PNG se sobrepunham aos visuais do gráfico.

  • A troca de visualizações entre mapas de calor e outros tipos de gráficos agora preserva melhor os campos relevantes.

  • Os gráficos de barras com codificações de cores agora restringem corretamente a adição de vários campos do eixo Y.

21 de março de 2024

  • A linhagem de modelos do Unity Catalog está agora em Public Preview.

A tabela view no Catalog Explorer agora tem uma Visão geral tab para descrever seus metadados primários.

  • O SQL warehouse for Notebook, agora disponível de forma geral, permite que o senhor aproveite as vantagens do compute totalmente gerenciado, instantâneo e escalável para suas cargas de trabalho SQL no ambiente de criação rico e colaborativo de um Notebook. Consulte Usar um Notebook com um SQL warehouse.

As seguintes correções e melhorias se aplicam aos painéis do Lakeview:

  • O suporte ampliado da API para o Lakeview adiciona a capacidade de criar, obter, atualizar e descartar painéis. Consulte Lakeview na referência da API REST.

  • Foi adicionado um botão refresh para o navegador do catálogo nos dados tab.

  • Os painéis do Lakeview agora aparecem antes de Dashboards no menu New (Novo ) na barra lateral do site workspace. Na página de listagem de painéis, o Lakeview dashboards tab aparece à esquerda do Dashboards tab.

  • A experiência do Databricks Assistant para o Lakeview foi atualizada com uma caixa de entrada e sugestões para melhorar a capacidade de descoberta e ajudar os usuários a entender os prompts que podem ser apresentados.

  • As visualizações do Lakeview agora suportam agregações medianas.

  • Atualizamos o seletor de cores no editor de visualização do painel do Lakeview para simplificar a experiência do usuário ao criar tabelas.

  • Melhoria na migração do gráfico pie para suportar exclusivamente cenários com definições de ângulo ou cor.

  • Foi corrigido um bug que impedia o agrupamento por gráficos denominados contagem. Os gráficos agora podem ser agrupados por campos denominados contagem.

  • Para gráficos de barras, os controles de disposição de grupos e pilhas agora estão ocultos quando não se aplicam à configuração selecionada pelo usuário.

14 de março de 2024

Para painéis do Lakeview:

  • Os histogramas agora suportam cores categóricas personalizadas.

    • Os mapas de calor agora suportam escala quantitativa.

    • Os títulos e as descrições são mantidos ao alternar entre os tipos de visualização, incluindo gráficos Combo.

    • Agora o senhor pode abrir o site subjacente dataset associado a um widget de painel de rascunho clicando com o botão direito do mouse sobre ele. O site dataset é aberto no Data tab.

  • Os novos gráficos agora aplicam aliases e cores personalizadas para valores nulos em colunas numéricas.

  • Os novos gráficos agora exibem marcas de escala para mostrar a parte superior do eixo y.

7 de março de 2024

  • Ao visualizar uma tabela no Catalog Explorer, o botão Criar inclui uma opção para criar um painel do Lakeview em vez de um painel do Databricks SQL.

  • Os histogramas agora estão disponíveis para os painéis do Lakeview. Os histogramas são comumente usados para visualizar a distribuição de um campo numérico.

  • Ao clonar um painel do Databricks SQL para criar um painel do Lakeview, os problemas de conversão do dataset agora são exibidos como erros no novo widget do painel do Lakeview.

  • Os gradientes de cor estão disponíveis quando um campo numérico é usado para uma visualização em um painel do Lakeview.

  • Os gradientes de cor agora são expostos no editor de visualização do painel do Lakeview quando um campo Color by é especificado.

  • O título e a descrição associados a uma visualização não aparecem mais como editáveis se o visualizador não tiver privilégios de edição em um painel de rascunho do Lakeview.

  • Foi corrigido um problema em que as dicas de ferramentas em gráficos com mais de 100 séries mostravam incorretamente todas as séries. Agora, somente a série focada é mostrada.

  • Redução da latência de digitação no editor SQL em 30% por meio de otimizações de desempenho.

  • Ao gerenciar consultas no editor SQL, mover uma consulta para a lixeira fecha automaticamente o site tab.

  • Foi corrigido um problema no editor SQL em que o texto era selecionado acidentalmente ao ajustar a largura do painel lateral.

29 de fevereiro de 2024

  • serverless O suporte ao SQL warehouse foi adicionado nas seguintes regiões:

    • ap-south-1

    • ap-southeast-1

    • ap-nordeste-1

    • sa-east-1

    • eu-oeste-3

    Consulte Databricks clouds e regiões para obter uma lista completa das regiões compatíveis.

  • O navegador de esquemas no Catalog Explorer agora exibe as restrições primárias e externas da coluna key.

  • O tempo de retenção mostrado no Lineage tab no Catalog Explorer foi aumentado para um ano.

  • As dicas de ferramentas em novos gráficos no Notebook agora são sempre renderizadas dentro do limite da visualização.

  • Saiba como gerenciar de forma programática os painéis do Lakeview usando a API REST. Consulte tutorial: gerenciar dashboards com workspace APIs .

  • Os painéis do Lakeview agora suportam histogramas.

  • Melhoria do compartilhamento e da publicação nos painéis do Lakeview:

    • Diálogos aprimorados de compartilhamento e publicação, permitindo o compartilhamento fácil e seguro com qualquer usuário do site account.

    • Os painéis abertos no navegador workspace mostram o painel publicado, se ele existir. Agora, os visualizadores também podem ver os detalhes da última versão publicada, incluindo o editor, a hora e as credenciais.

    • Para os editores, um novo seletor suspenso na interface de usuário do Lakeview Dashboard permite que o senhor alterne rapidamente entre as versões de rascunho e publicadas.

22 de fevereiro de 2024

  • Melhorias no Sample Data tab na tabela do Catalog Explorer view permitem que o senhor classifique colunas, copie dados selecionados para a área de transferência e view números de linha. Agora ele pode exibir melhor valores especiais, como objetos JSON, datas, valores numéricos e nulos.

  • Lakeview Os painéis agora suportam o envio periódico de instantâneos em PDF do painel para usuários e destinos de notificação do site workspace. Consulte os painéis de controle do programa para obter atualizações periódicas.

  • A lista de opções de visualização no seletor do Lakeview dropdown agora está em ordem alfabética.

  • Ao copiar os painéis do Databricks SQL para os painéis do Lakeview, os widgets que não podem ser convertidos agora mostram o seletor de configuração de visualização em vez de uma mensagem de erro.

15 de fevereiro de 2024

  • A documentação dos filtros de consulta baseados em código, como SELECT action AS 'action::filter', foi removida. A Databricks recomenda atualizar as consultas para remover esse padrão.

  • Nos painéis do Lakeview, os gráficos pie agora exibem fatias de tamanho igual quando nenhum campo de ângulo é especificado.

  • O Lakeview agora suporta gráficos combinados, que combinam gráficos de barras e de linhas para mostrar dois valores diferentes no mesmo gráfico.

  • Os gráficos de mapa de calor, que usam a intensidade da cor para mostrar a magnitude da correlação entre duas variáveis discretas, agora estão disponíveis no Lakeview.

8 de fevereiro de 2024

  • Agora é possível solicitar acesso ao abrir um link para um painel do Lakeview no qual o senhor não tem permissões.

  • Os filtros do painel do Lakeview agora têm as opções explícitas All (Todos ) e None (Nenhum ). Os autores podem optar por ocultar a opção Todos nos filtros de seleção única.

  • Agora o senhor pode definir valores mínimos e máximos para os eixos nos gráficos do painel do Lakeview.

1º de fevereiro de 2024

Databricks SQL Versão 2024.10 disponível

Rollout programador

  • Pré-implementação para 2024.10: Entre 30 de janeiro de 2024 e 5 de fevereiro de 2024

  • Implementação atual para 2024.10: Entre 13 de fevereiro de 2023 e 20 de fevereiro de 2024

Alterações em 2024.10

  • Corrigido o tratamento de arquivos corrompidos no comando DML: Os comandos DML DELETE, UPDATE e MERGE INTO não respeitam mais as opções de leitura ignoreCorruptFiles e ignoreMissingFiles. Ao encontrar um arquivo ilegível em uma tabela, esse comando agora falha mesmo se essas opções forem especificadas.

  • A simultaneidade em nível de linha está disponível de forma geral e em default: A simultaneidade no nível da linha reduz os conflitos entre operações de gravação simultâneas ao detectar alterações no nível da linha. A simultaneidade em nível de linha só é suportada em tabelas sem particionamento, o que inclui tabelas com clusters líquidos. A simultaneidade em nível de linha é ativada pelo site default em tabelas Delta com vetores de exclusão ativados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

  • Clone raso para tabelas externas do Unity Catalog (visualização pública): Agora o senhor pode usar o shallow clone com tabelas externas do Unity Catalog. Consulte Shallow clone para tabelas do Unity Catalog.

  • Coleta de estatísticas multi-threaded mais rápida: A coleta de estatísticas é até 10 vezes mais rápida em pequenos clusters ao executar CONVERT TO DELTA ou clonar a partir de tabelas Iceberg e Parquet. Consulte Converter em Delta Lake e Clonar incrementalmente tabelas Parquet e Iceberg em Delta Lake.

  • Filtros pushdown no DeltaSource em arquivos Delta: Para uma melhor utilização, os filtros de partição em consultas de transmissão de tabelas Delta agora são enviados para o Delta antes da limitação de taxa.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.

  • Uma opção de menu, Clone to Lakeview dashboard, foi adicionada à UI do dashboard Databricks SQL. O senhor pode usar essa ferramenta para criar um novo painel Lakeview que inclua as mesmas consultas e visualizações em seus painéis Databricks SQL existentes. Consulte Clonar um painel legado em um painel do Lakeview.

  • Os gráficos de barras nos painéis do Lakeview suportam o empilhamento de barras para normalizar a 100%.

  • Foi corrigido um problema em que o zoom em um painel publicado do Lakeview resultava em foco em intervalos de zoom incorretos.

24 de janeiro de 2024

  • A tela do painel do Lakeview ajusta automaticamente o posicionamento do widget para remover espaços em branco verticais vazios entre as linhas, quando possível.

  • Espaço em branco reduzido entre o título e o texto de descrição nas visualizações do painel Lakeview.

18 de janeiro de 2024

  • Foi corrigido um problema de renderização para visualizações em que gráficos de barras mostrando uma única data no eixo x resultavam em uma barra muito fina. Novas visualizações de gráfico são renderizadas conforme esperado.

  • A página de listagem do painel do Lakeview mostra seus painéis por default. Você pode usar filtros nessa página para acessar os painéis do Lakeview pertencentes a outros usuários workspace .

11 de janeiro de 2024

  • As consultas Databricks SQL e as APIs do painel suportam a alteração da execução como configuração de função programaticamente.

4 de janeiro de 2024

21 de dezembro de 2023

  • O tipo de visualização Lakeview Counter mostra cores ao comparar valores BigInt nos campos principais Valor e Destino .

  • As dicas de ferramentas que aparecem ao alternar a visibilidade das colunas nas tabelas no Lakeview foram aprimoradas. Eles se comportam conforme o esperado e não persistem.

  • Os usuários agora podem usar o Databricks Assistant para criar visualizações no Lakeview. Consulte Criar visualizações com o Databricks Assistant.

  • Para novos gráficos, os gráficos do tipo heatmap respeitam a configuração reverseY .

  • Corrigido um problema de desempenho de renderização para Notebook com um grande número de visualizações.

14 de dezembro de 2023

  • Corrigido um bug em que os painéis do Lakeview não apareciam na página de listagem do Lakeview sem uma refresh manual da página.

  • Use a key Escape para cancelar a criação de um widget Lakeview ao colocá-lo na tela.

  • O Catalog Explorer agora exibe índices de pesquisa vetorial na interface do usuário como parte da visualização pública do Databricks Vector Search .

7 de dezembro de 2023

Atualizações da interface do usuário

  • Os painéis do Lakeview podem ser adicionados aos favoritos para acesso rápido.

  • Os atalhos de teclado para copiar e colar são suportados durante a elaboração de um painel do Lakeview. Além disso, a key delete remove os widgets selecionados.

  • Títulos e descrições de widgets Lakeview aprimorados para evitar recorte de texto durante o carregamento.

  • Corrigimos o problema de formatação de visualização em que valores inteiros grandes eram exibidos erroneamente como números flutuantes.

  • Foi corrigido um problema com os painéis Databricks SQL em que view expandida do gráfico às vezes exibia gráficos em branco.

  • Gráficos de barras com campos quantitativos nos eixos X e Y tornam o rótulo de dados mais legível.

  • Foi corrigido o problema no SQL Editor para que as tabelas com a palavra stream no título não entrem mais em conflito com a palavra-chave reservada. Essas tabelas agora aparecem como esperado no navegador de esquemas e não são destacadas como erro.

  • A página da história query agora suporta redimensionamento e seleção de colunas.

  • A página query história suporta duas novas colunas: query source e query source type.

  • As opções de BI, como Tableau e Power BI, são mais fáceis de encontrar no Catalog Explorer em páginas qualificadas.

30 de novembro de 2023

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.

  • gráficos pie em Lakeview agora podem ter atribuições de cores personalizadas.

  • As transformações de visualização no Lakeview agora são mantidas ao alternar entre tipos de campo compatíveis.

  • Adicionadas configurações de título para o canal angular do gráfico pie Lakeview.

  • O Lakeview dataset dropdown agora pode ser pesquisado para facilitar a navegação.

  • Lakeview suporta exibição numérica completa para valores abaixo de 10.000, eliminando abreviações.

  • Adicionado recurso para codificar campos de data categórica por cores no Lakeview.

  • Os usuários do Lakeview agora podem destacar as legendas dos gráficos com o cursor para copiar e colar os valores.

  • gráficos pie no Lakeview agora apresentam uma opção de alternância de rótulo.

  • Padronizou uma cor azul default em todas as visualizações do Lakeview.

  • Os ícones da coluna Lakeview nas transformações agora correspondem consistentemente ao método de transformação usado.

  • Os controles no painel de edição do Lakeview agora são ajustados automaticamente para melhor legibilidade.

  • Lançou um editor de cores aprimorado para visualizações Lakeview.

  • O controle para condições de fonte de tabela em Lakeview agora está empacotado para melhorar a legibilidade.

  • Melhor compatibilidade com modo escuro para rótulo em novos gráficos.

  • Novos gráficos agora priorizam consistentemente a exibição do rótulo dentro das barras.

  • Corrigido um bug em que algumas ações do menu do botão direito não funcionavam no Editor SQL.

16 de novembro de 2023

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.

  • Os widgets Lakeview agora são mais fáceis de redimensionar devido a uma zona de acionamento de redimensionamento maior.

  • workspace Os administradores agora podem alterar o proprietário de um painel Lakeview. No modo de edição em um painel do Lakeview:

    • Clique em Compartilhar

    • Clique ícone de engrenagem

    • Clique em Atribuir novo proprietário

  • Os usuários podem ativar ou desativar o rótulo em Lakeview.

Visualizações:

  • O novo rótulo gráfico agora prefere estar dentro de uma barra quando possível.

  • Novos rótulos de gráficos agora aparecem corretamente em barras empilhadas que são largas o suficiente para mostrar o rótulo inteiro.

  • as cores dos rótulos dentro dos gráficos de barras agora são mais consistentes.

9 de novembro de 2023

Mudanças em 2023.50:

Destaques:

Atualizações da linguagem SQL: As seguintes funções integradas foram adicionadas: - `from_xml`: analisa um XML STRING em um STRUCT. - `schema_of_xml`: Deriva um esquema de um XML STRING. - `session_user`: Retorna o usuário log in . - `try_reflect`: Retorna NULL em vez da exceção se um método Java falhar.

As seguintes funções internas foram aprimoradas:

  • invocação de função. Argumentos de tabela para funções suportam particionamento e ordenação: agora você pode usar cláusulas PARTITION BY e ORDER BY para controlar como os argumentos de tabela são passados para uma função.

  • `mode`: Suporte para um parâmetro opcional que força um resultado determinístico.

  • `to_char`: Novo suporte para DATE, TIMESTAMP e BINARY.

  • `to_varchar`: Novo suporte para DATE, TIMESTAMP e BINARY.

  • `array_insert()` é baseado em 1 para índices negativos: A função array_insert é baseada em 1 para índices positivos e negativos. Agora insere um novo elemento no final das matrizes de entrada para o índice -1.

Atualizações da interface do usuário

Os recursos listados nesta seção são independentes das SQL warehouse compute versões descritas acima.

Visualizações:

  • As dicas de ferramentas para novos gráficos mostram apenas itens pairados para gráficos de alta cardinalidade.

  • Novos gráficos alinham automaticamente os gráficos de eixo duplo em zero.

  • Os gráficos alteraram a direção do ângulo do texto do rótulo e do eixo girado de -90 para 90 graus.

  • Os gráficos agora usam a largura do rótulo para decidir a rotação.

Painéis Lakeview:

  • Correção: as linhas da tabela nos painéis do Lakeview não adicionam mais preenchimento vertical quando apenas um pequeno número de linhas é retornado.

  • Clonar um novo widget de painel do Lakeview primeiro tenta colocar o clone à direita do original, desde que haja espaço suficiente na tela. Se não houver espaço suficiente disponível, o clone será colocado abaixo do original.

  • Agora você pode reatribuir o proprietário de um painel do Lakeview por meio da caixa de diálogo Compartilhar.

Editor SQL: o preenchimento automático agora é menos agressivo e é descartado automaticamente no final das instruções

2 de novembro de 2023

Melhorias:

A seguir estão melhorias na linhagem do painel Lakeview:

  • Adicionados ícones distintos para tabelas, view e view materializada.

  • Adicionado suporte para rolagem vertical no caso de muitas fontes de dados upstream.

  • Mensagem de erro aprimorada quando o visualizador não tem permissões no objeto upstream.

  • Mensagens esclarecidas sobre tabelas de dados de amostra e dados HMS.

  • Adicionadas tags de valor- key à fonte de dados upstream.

Consertar:

  • Corrigido um problema em novos gráficos que impedia a renderização após renomear uma série com valores Boolean .

26 de outubro de 2023

Mudanças no Databricks SQL versão 2023.45

Destaques:

otimizações query :

  • Removida a join externa se todas forem funções agregadas distintas. FAÍSCA-42583

  • Otimizou a ordem de filtragem de predicados. FAÍSCA-40045

Atualizações da função SQL:

Atualizações da interface do usuário

Melhorias:

  • O editor Lakeview SQL agora oferece suporte a atalhos de teclado para query de execução.

  • Os filtros em Lakeview agora listam seleções rápidas de intervalos de datas relativas dos últimos 7, 14, 28, 30, 60 e 90 dias.

  • Os pontos nos nomes dos campos de dados não resultam mais em gráficos em branco.

  • O navegador de esquema legado agora funciona com o Unity Catalog.

  • Implementadas melhorias de desempenho para carregar apenas a tab ativa no Editor SQL, diminuindo o tempo de carregamento inicial em até 20%.

  • Os comentários de tabela gerados por IA no Catalog Explorer agora estão disponíveis para o público geral.

Conserta:

  • As barras nos gráficos de barras temporais agora estão centralizadas sobre a marca da data.

  • O rótulo de dados padrão com expressões agregadas agora usa os formatadores numéricos apropriados.

  • O zoom em novos gráficos agora funciona com uma escala definida como categórica usando dados temporais.

Novos artigos:

  • Lançamos um novo artigo mostrando todas as visualizações do Lakeview, incluindo capturas de tela e notas mostrando como recriar cada uma das visualizações em cada captura de tela. Consulte Tipos de visualização do painel.

19 de outubro de 2023

Melhorias:

  • Arrastar e soltar no navegador de esquema já está disponível.

  • O modal Selecionar tabela nos painéis do Lakeview facilita a seleção de todas as tabelas em um catálogo ou esquema e agora usa previsões de pesquisa de preenchimento automático conforme você digita.

Conserta:

  • As instruções da dica de ferramenta de seleção de legenda especificam que os usuários do Mac usam cmd e os usuários do Windows usam ctrl.

  • Visibilidade aprimorada de mensagens truncadas em painéis do Lakeview quando os dados renderizados excedem os limites.

  • Gráficos com dados truncados exibem cores consistentes conforme vistas no editor.

12 de outubro de 2023

Melhorias:

  • Os valores de filtro de texto contendo caracteres especiais agora são filtrados corretamente nos painéis do Lakeview.

  • Novos gráficos suportam rótulo de dados @@name no gráfico de dispersão.

  • Formatos de porcentagem personalizados se aplicam a dicas de ferramentas de gráficos agrupados em novos gráficos.

  • A UI da extensão de vinculação workspace é GA.

Conserta:

  • Melhor renderização do rótulo em novos gráficos para evitar que o rótulo se espalhe para fora dos limites do gráfico.

  • Aumentou o contraste das linhas de escala e grade em novos gráficos para melhorar a visibilidade.

  • Aumento do espaçamento dos rótulos dos eixos para melhorar a legibilidade em novos gráficos.

5 de outubro de 2023

Melhorias:

  • Dicas de ferramentas precisas foram adicionadas para ações do modo de publicação e linhagem de datas nos painéis do Lakeview.

  • A formatação condicional e o link padrão nas visualizações da tabela Lakeview agora oferecem suporte a colunas ocultas.

  • Posicionamento de rótulo otimizado para gráficos temporais de barra larga para aumentar a clareza em novos gráficos.

  • A visualização do contador no Lakeview mantém suas transformações mesmo após a remoção de outros campos, garantindo consistência.

  • Passar o mouse sobre uma série em um gráfico agora escurece a série ao redor na dica de ferramenta para melhorar a legibilidade em novos gráficos.

  • Novos gráficos que usam valores percentuais agora exibem dicas de ferramentas com valores absolutos.

  • Adicionado suporte de preenchimento automático para criação de volumes.

  • Fechar uma tab não ativa não alterna mais tab.

  • A execução selecionada indica claramente ao destacar o texto.

Conserta:

  • Melhor redação da mensagem de erro em tabelas dinâmicas quando os dados são truncados.

  • Corrigido um erro de renderização em tabelas dinâmicas em que as cores não eram exibidas ao usar tipos de dados BigInt.

  • Ao downloads PNGs em novos gráficos com vários itens de legenda, removeu o símbolo de cor para entradas de legenda excedentes.

  • As linhas nos novos gráficos manterão uma espessura consistente mesmo no limite superior view .

  • No Lakeview, se não existir nenhum dataset , o seletor de dataset no Canvas estará vazio.

  • As Delta Live Tables são detectadas corretamente pelo SQL Parser e não aparecerão como tabelas inválidas no Schema Browser.

  • Dicas de ferramentas foram adicionadas à barra lateral.

28 de setembro de 2023

Melhorias:

  • Os painéis publicados do Lakeview agora têm um botão refresh .

  • Mensagens de erro aprimoradas para usuários que não têm acesso a um painel do Lakeview.

  • A configuração do filtro nos painéis do Lakeview agora lista os campos válidos no topo da lista de seleção.

  • downloads um gráfico como PNG de um painel do Lakeview agora mantém o título e a descrição.

  • A melhoria da história das tabelas Delta no Catalog Explorer inclui a adição de filtros para intervalo de datas, usuário e tipo de operações, bem como colunas classificáveis e links embutidos para Jobs e Notebook associados.

  • Suporte ao modo escuro adicionado a legendas, dicas de ferramentas e visualização de tabela.

Consertar:

  • As seleções de filtro não são mais limpas ao atualizar um painel do Lakeview.

21 de setembro de 2023

Melhorias:

  • O desempenho de renderização da tabela dinâmica foi aprimorado.

  • Novo padrão DuBois para view tabular de linhagem na UI.

14 de setembro de 2023

Melhoria:

7 de setembro de 2023

Databricks SQL versão 2023.40 disponível

Rollout programador

  • Lançamento de visualização para 2023.40: Entre 5 de setembro de 2023 e 11 de setembro de 2023

  • Implementação atual para 2023.40: Entre 18 de setembro de 2023 e 25 de setembro de 2023

Mudanças em 2023.40:

  • As tags agora estão disponíveis no Unity Catalog.

  • O Databricks Runtime retorna um erro se um arquivo for modificado entre o planejamento query e a invocação.

  • Suporte ao driver Databricks ODBC/JDBC.

  • Habilite o rótulo da coluna de série temporal.

  • Novas funções SQL de bitmap.

  • Funções de criptografia aprimoradas.

  • Suporte Unity Catalog para REFRESH FOREIGN.

  • INSERT BY NAME agora é suportado.

  • Compartilhe view materializada com Delta compartilhamento.

Atualizações da interface do usuário

Melhorias:

  • Novos gráficos estão agora disponíveis, apresentando desempenho de renderização mais rápido, cores bonitas e interatividade aprimorada. Consulte Novas visualizações de gráfico no Databricks.

  • Na view gráfica do Perfil query , agora é possível view o tipo join em qualquer nó que contenha uma join no plano query .

  • O Data Explorer foi renomeado para Catalog Explorer para reconhecer o fato de que você pode usá-lo para trabalhar com todos os objetos protegíveis no Unity Catalog, não apenas com objetos de dados. Consulte O que é o Catalog Explorer?.

  • A API de execução de instruções SQL do Databricks agora é GA com Databricks SQL versão 2023.35 e acima. A API permite-lhe submeter instruções SQL para execução num armazém Databricks SQL , verificar o estado e obter resultados ou cancelar uma execução de instrução SQL em execução. Consulte API de execução de instrução.

31 de agosto de 2023

Novo recurso:

  • tags para Unity Catalog estão em visualização pública. Você pode usar tags para simplificar a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar tags.

24 de agosto de 2023

Melhoria:

  • O preenchimento automático para de sugerir recomendações depois que você pressiona a barra de espaço.

  • O Schema Browser não vê mais live Delta Live Tables como tabelas quebradas.

16 de agosto de 2023

Melhoria:

  • A lista dropdown Catálogo no editor SQL agora fecha quando você alterna tab. Anteriormente, quando você trocava tab, o dropdown permanecia aberto.

10 de agosto de 2023

Melhoria:

  • O preenchimento automático agora oferece suporte à nova sintaxe para definir as tags Unity Catalog . Para obter informações sobre comandos, consulte Referência de linguagem SQL.

3 de agosto de 2023

Melhorias:

  • O Monaco Editor subjacente agora usa a versão 37.1.

  • Suporte de preenchimento automático para comandos Delta SHOW ARCHIVED FILES FOR .

27 de julho de 2023

Melhorias:

  • O editor SQL agora é compatível com os caracteres de nova linha do Windows, garantindo que a formatação query funcione conforme o esperado em todos os casos.

  • Você pode abrir a navegação do perfil query nos resultados Notebook . Para query, execute sua query com o SQL warehouse.

20 de julho de 2023

Databricks SQL versão 2023.35 disponível

Rollout programador

  • Lançamento de visualização para 2023.35: Entre 18 de julho de 2023 e 24 de julho de 2023

  • Lançamento atual para 2023.35: Entre 31 de julho de 2023 e 8 de agosto de 2023

Mudanças em 2023.35:

  • Confiabilidade aprimorada para VACUUM com clone raso no Unity Catalog.

  • Suporte para UDFs Python em SQL.

  • Delta Lake UniForm para Iceberg está em pré-visualização pública.

  • clusters líquidos do Delta Lake estão em pré-visualização pública.

  • Suporte de arquivo para Delta Lake.

  • Suporte à cláusula IDENTIFIER.

  • Suporte Unity Catalog para Python e Pandas User-Defined Functions (UDFs).

Melhoria:

  • A popularidade da tabela no Catalog Explorer está disponível para todos os usuários do Unity Catalog.

13 de julho de 2023

Melhoria:

  • Os usuários do Unity Catalog agora podem view tabelas adicionais no Catalog Explorer, como tabelas frequentemente unidas, usuários frequentes de uma determinada tabela e Notebook e painéis usados com frequência.

22 de junho de 2023

Visualização pública:

  • O Databricks SQL agora oferece suporte a modelos de linguagem grandes (LLMs) hospedados no endpoint de serviço de modelo. Ligue para ai_query() para acessar seu LLM. Esta função está disponível apenas na visualização pública no Databricks SQL Pro e serverless. Para participar do Public Preview, envie o formulário de inscrição do IA Functions Public Preview.

15 de junho de 2023

Novo recurso:

  • Tarefas SQL no fluxo de trabalho agora estão disponíveis para todos. Você pode orquestrar query, painéis e alertas na página fluxo de trabalho. Consulte Opções de tipo de tarefa.

  • Um novo navegador de esquema está agora em visualização pública, com recurso de UX atualizado,Para você tab e filtros aprimorados. O navegador de esquema está disponível em Databricks SQL, Catalog Explorer e Notebook. Consulte Navegar pelos dados.

8 de junho de 2023

DBSQL versão 2023.30 disponível

Mudanças em 2023.30

  • Novas funções SQL integradas, como array_prepend(array, elem), try_aes_decrypt(expr, key [, mode [, padding]]) e sql_keywords() .

  • Agora você pode usar o clone superficial para criar novas tabelas de gerenciamento do Catálogo do Unity a partir de tabelas de gerenciamento do Catálogo do Unity existentes. Consulte Clone superficial para tabelas Unity Catalog .

  • Agora você pode usar CLONE e CONVERT TO DELTA com tabelas Iceberg que possuem partições definidas em colunas truncadas dos tipos int, long e string. Colunas truncadas do tipo decimal não são suportadas.

  • START VERSION agora está obsoleto para ALTER SHARE.

Atualizações da interface do usuário

Consertar:

  • A visualização do contador agora oferece suporte à formatação ao usar números inteiros grandes.

1º de junho de 2023

Melhorias:

  • Os dados binários agora serão renderizados como strings hexadecimais ao usar o formato de seta.

  • Na API de instrução SQL, o formato CSV agora é compatível com a disposição EXTERNAL_LINKS . Isso permite que os clientes extraiam até 100 GiB de dados no formato CSV com URLs pré-assinados, enquanto o limite INLINE para JSON é de 16 MiB.

29 de maio de 2023

Novo recurso:

25 de maio de 2023

Melhorias:

  • Agora você pode alternar o painel de resultados de preenchimento automático.

  • Desative a key enter para que ela não aceite mais sugestões de preenchimento automático. Em DBSQL User Settings, clique em Editor Settings e em New Editor settings. Desligue * key Enter aceita sugestões de preenchimento automático*.

Conserta:

  • Os cabeçalhos das tabelas classificadas agora têm cores.

  • As linhas do gráfico agora são renderizadas corretamente.

18 de maio de 2023

Melhoria:

  • Na API de instrução SQL, a disposição EXTERNAL_LINKS agora suporta o formato JSON_ARRAY . Você pode extrair até 100 GiB de dados no formato JSON com URLs pré-assinados. O limite INLINE para JSON é 16 MiB.

11 de maio de 2023

Novo recurso:

  • O Schema Browser agora está disponível para todos no Catalog Explorer.

Melhorias:

  • A exibição do painel de detalhes da tabela em foco é menos sensível.

  • A key de escape agora fecha o painel de preenchimento automático.

  • as definições view agora têm realce de sintaxe na tab de detalhes do Catalog Explorer.

Conserta:

  • As tabelas dinâmicas agora são renderizadas corretamente em dispositivos Windows.

  • As sugestões de conclusão agora seguem corretamente o caso da primeira palavra-chave.

4 de maio de 2023

Databricks SQL versão 2023.26 disponível

Rollout programador

  • Lançamento de visualização para 2023.26: Entre 19 de abril de 2023 e 25 de abril de 2023

  • Lançamento atual para 2023.26: Entre 3 de maio de 2023 e 10 de maio de 2023

Mudanças em 2023.26

  • Photon retorna um erro se um arquivo for modificado entre o planejamento e a execução query .

  • Novo recurso e suporte estendido para recurso Predictive I/O. Consulte Databricks Runtime 13.0 (sem suporte).

  • Use o conector Databricks para se conectar a outro workspace Databricks.

  • CREATE TABLE LIKE recurso para tabelas Delta.

  • Novos campos de coluna de metadados denotando o início e comprimento do bloco de arquivo.

  • Novas funções geoespaciais H3. Veja funções geoespaciais H3.

  • Novas funções SQL integradas. Consulte Databricks Runtime 13.0 (sem suporte).

Atualizações da interface do usuário

Melhorias:

  • Os administradores podem alterar os proprietários do depósito usando a interface do usuário ou a API. Consulte gerenciar a SQL warehouse.

  • O Catalog Explorer agora exibe account entidade de serviço em listas de usuários para ativos no Unity Catalog. Por exemplo, account entidade de serviço fica visível ao editar privilégios ou alterar proprietários no Catalog Explorer.

  • O rótulo de gráfico personalizado oferece suporte à capacidade de fazer referência a qualquer coluna no dataset.

  • Os filtros do painel agora carregam os nomes das colunas, mesmo ao usar query que não possuem informações de catálogo ou esquema.

27 de abril de 2023

Melhorias:

  • O editor SQL agora conta com o editor Monaco para uma experiência de edição mais confiável.

  • A página da lista de história SQL (query) agora inclui o Dubois Design System.

20 de abril de 2023

Melhorias:

  • Apresenta novas tabelas dinâmicas que permitem agregar mais de 64 mil resultados.

  • As tabelas e visualizações Databricks SQL agora oferecem suporte a BigInt, decimais de 38 bits e caracteres não UTF-8. Para números, a configuração default agora é precisão de dígito definida pelo usuário.

  • O preenchimento automático agora sugere join anterior frequente para tabelas Unity Catalog , com tecnologia de dados de linhagem Unity Catalog no Databricks Runtime 12.0e acima.

  • clouds Fetch é habilitado por default no AWS workspace com o versionamento de bucket habilitado. Se tiver a versão do balde ativada, a Databricks recomenda definir uma política de ciclo de vida para remover automaticamente versões antigas dos resultados da consulta upload . Consulte buscaclouds em ODBC (ODBC) e buscaclouds em JDBC (JDBC).

Novo recurso:

13 de abril de 2023

Novo recurso:

  • O tipo TIMESTAMP_NTZ representa valores que compreendem os campos ano, mês, dia, hora, minuto e segundo. Todas as operações são realizadas independentemente do fuso horário. Veja o tipo TIMESTAMP_NTZ.

Melhorias:

  • Os usuários agora podem enviar resultados formatados em alertas usando as tags QUERY_RESULT_TABLE em uma mensagem de alerta personalizada.

  • Os usuários agora podem view o tamanho dos dados do arquivo para tabelas Unity Catalog no Catalog Explorer.

6 de abril de 2023

Databricks SQL versão 2023.20 disponível

Rollout programador

  • Lançamento de visualização para 2023.20: Entre 15 de março de 2023 e 23 de março de 2023

  • Lançamento atual para 2023.20: Entre 27 de março de 2023 e 3 de abril de 2023

Mudanças em 2023.20

  • A evolução do esquema Delta Lake dá suporte à especificação de colunas de origem em instruções merge .

  • Remova todos os elementos NULL de um array usando array_compact.

  • Para anexar elementos a um array, use array_append.

  • Para anonimizar valores strings confidenciais, use a função de máscara.

  • Condições de erro comuns agora retornam SQLSTATE.

  • Invoque funções geradoras com valor de tabela na cláusula FROM regular de uma query.

  • Use as funções from_protobuf e to_protobuf para trocar dados entre tipos binários e struct. Consulte Ler e gravar buffers de protocolo.

  • Consistência aprimorada para comportamento commit Delta para transações vazias relacionadas aos comandos update, delete e merge.

  • mudança de comportamento

    • O recurso de alias da coluna lateral apresenta alterações de comportamento durante a resolução de nomes. Consulte Mudanças de comportamento.

Atualizações da interface do usuário

Melhorias:

  • O Catalog Explorer agora oferece suporte à exclusão Hive metastore .

  • A mensagem para o estado inicial do editor de visualização mudou de Colunas obrigatórias ausentes para Sem dados.

3 de abril de 2023

Novo recurso:

30 de março de 2023

Melhorias:

  • Na página de monitoramento do depósito, agora o senhor pode acessar view o histórico da consulta para o intervalo de tempo selecionado junto com os gráficos de escala. O senhor também pode acessar view as consultas em execução e em fila, as sessões SQL ativas, o status do depósito e a contagem atual de clusters. Consulte Monitorar um SQL warehouse.

  • clusters de mapas agora estão desativados por default nos mapas de marcadores.

  • Dicas de ferramentas para truncamento de visualização e limites de renderização foram adicionadas.

Conserta:

  • Os gráficos agora respeitam a ordem original quando a classificação está desabilitada para os valores dos eixos e o gráfico possui o agrupamento por coluna.

23 de março de 2023

Melhorias:

  • As visualizações agora oferecem suporte à divisão de tempo por semana.

  • Total agora calcula todos os dados além de 100 X 100 células até 64k resultados em tabelas dinâmicas Notebook .

  • Os usuários agora podem formatar valores de células na nova tabela dinâmica Notebook .

  • Arquivo, query e linhagem de repositório de recursos estão disponíveis.

16 de março de 2023

Melhoria:

  • Suporte para sintaxe GROUP BY ALL .

9 de março de 2023

Novo recurso:

  • A API de Execução de Instrução Databricks SQL agora está disponível em Visualização Pública. Execução de instrução fornece endpoint que está executando instruções SQL em um Databricks SQL warehouse. Ele também pode verificar o status, buscar resultados e cancelar uma instrução SQL em execução.

Melhoria:

  • O console de administração SQL foi combinado com as configurações gerais de administração para criar uma experiência unificada para usuários administrativos. Todas as configurações de administração do SQL agora são acessadas no console de administração.

  • destino de alerta agora são chamados de destinos de notificação.

Conserta:

  • As tabelas não exibem mais duas barras de rolagem.

  • Os títulos de widgets em branco não são mais substituídos nos painéis.

2 de março de 2023

Consertar:

  • Agora você pode usar URLs relativos em tabelas para acessar painéis.

23 de fevereiro de 2023

Melhoria:

  • TINYINT agora é suportado em tabelas de resultados no Notebook.

Consertar:

  • Correção de um bug em que a rolagem no modal de filtro do painel de criação resultava em um erro.

16 de fevereiro de 2023

Melhorias:

  • Os rótulos de dados nos gráficos agora mostram mais caracteres para evitar descrições truncadas.

  • O preenchimento automático agora reconhece as funções range() e Python UDF create .

  • O preenchimento automático agora evita iniciar snippets em decimais e nos comentários do código.

Conserta:

  • Os usuários agora podem ampliar os mapas.

  • No Notebook, as cores agora são atribuídas corretamente aos gráficos.

2 de fevereiro de 2023

Melhorias:

  • Suporte para DESCRIBE DETAILS no editor.

  • Velocidade de carregamento do navegador de esquema aprimorada.

  • Agora você pode view uma lista de colunas possíveis no painel lateral de um SELECT *.

26 de janeiro de 2023

Melhoria:

  • As mensagens de erro da sua queryagora incluem links para o tópico de documentação relacionado que descreve o erro.

19 de janeiro de 2023

Melhorias:

  • Agora você pode encontrar um painel O que há de novo que destaca key aprimoramentos. Você pode abrir e fechar este painel clicando no ícone de presente.

  • Os administradores agora podem alterar a propriedade do SQL warehouse.

  • Agora você pode filtrar várias visualizações em um painel clicando em Adicionar > Filtro e selecionando a query e as colunas para filtragem.

12 de janeiro de 2023

Melhorias:

  • Os títulos de widgets de visualização nos painéis agora são formatados como Nome da visualização - nome query por default.

  • Funções geoespaciais H3 adicionadas à referência do painel embutido.

  • Referências embutidas adicionadas para sintaxe SQL como CREATE TABLE e OVER.

Conserta:

  • A classificação e alternância reversa agora estão disponíveis quando a escala do eixo X é definida como automática.

  • Mapas de calor e tabelas dinâmicas agora respondem a certos casos extremos.

  • As marcas de escala categóricas do eixo Y agora são classificadas por default.

  • rascunhos query não são mais perdidos depois de refresh o navegador.

8 de dezembro de 2022

  • Os alertas Databricks SQL agora oferecem suporte a alertas para agregações de colunas de resultados query , como SUM, COUNT e AVG.

  • O título de visualização default agora é 'VisualizationName - QueryName' ao criar novos widgets em painéis.

17 de novembro de 2022

alerta:

  • Chatworks, Mattermost e Google Hangouts Chat não são mais destinos de notificação.

Melhoria:

  • O eixo y agora exibe números como porcentagens ao verificar valores percentuais.

  • A configuração do administrador do espaço de trabalho para desativar a UI de upload de dados agora se aplica à nova UI de upload de dados. Essa configuração se aplica às personas ciência de dados & engenharia, Databricks Machine Learning e Databricks SQL.

Conserta:

  • Correção de um problema nos alertas Databricks SQL em que a comparação com valores nulos era avaliada incorretamente.

  • Correção de um problema em que as barras de rolagem nas tabelas dinâmicas desapareciam.

  • Correção de um problema em que o navegador de esquema não podia ser redimensionado com tab transbordada.

10 de novembro de 2022

Melhoria:

  • Agora você pode criar um filtro de painel que funcione em várias query ao mesmo tempo. No modo Editar painel, escolha Adicionar, Filtro e Novo filtro de painel.

  • O preenchimento automático agora suporta CREATE MATERIALIZED VIEW.

Consertar:

  • Correção de um problema em que a rolagem até o final de um conjunto de resultados paginados do painel enviava um erro.

  • Correção de um problema em que alternar de um gráfico de barras empilhadas para um gráfico de linhas mantinha a propriedade de empilhamento.

  • Chamadas de busca duplicadas corrigidas.

3 de novembro de 2022

Melhoria:

  • Ao solicitar acesso no Databricks SQL, a permissão default agora é “can execução”.

Conserta:

  • Correção de um problema em que a classificação por created_at usando a API query e painéis não retornava a ordem de classificação correta.

  • Corrigido um problema em que as colunas contendo URLs com formatação HTML tinham larguras de coluna excessivamente largas.

  • Corrigido um problema em que a palavra-chave WHERE não era destacada.

27 de outubro de 2022

Melhorias:

  • O limite de linhas para downloads de resultados query para o Excel foi aumentado de 64.000 linhas para 100.000 linhas. Os limites downloads de CSV e TSV permanecem inalterados (cerca de 1 GB de dados).

  • O preenchimento automático agora oferece suporte à sintaxe, URLs e credenciais LIST .

  • Painéis de sugestões Fix-me consolidados e modernizados.

  • Um novo tipo de armazém, Databricks SQL Pro, é introduzido para Databricks SQL. Esse tipo de warehouse permite que um databricks SQL warehouse use integração de fluxo de trabalho, federação query , recursos geoespaciais e E/S preditiva.

Conserta:

  • Correção de um problema em que o banner de aviso no editor se sobrepunha às visualizações de altura total.

  • Corrigido um problema em que a largura da coluna da tabela não era preservada quando as colunas da tabela eram movidas.

  • Corrigido um problema em que o link para o painel em notificações pop-up era interrompido se uma visualização fosse adicionada do editor SQL.

20 de outubro de 2022

Melhorias:

  • Agora você pode encontrar a barra de progresso query no rodapé e editar uma ação de visualização no menu kebab.

  • O preenchimento automático agora suporta Delta viagem do tempo e fornece preenchimento automático de coluna ao definir uma key estrangeira.

Consertar:

  • Correção de um problema em que adicionar várias visualizações a um painel em rápida sucessão resultaria em visualizações que não apareceriam no painel.

13 de outubro de 2022

Melhorias:

  • Agora você pode remover as mensagens de erro relatadas.

  • COMMENT ON instrução agora é suportada no editor.

  • Agora você pode usar Cmd+P ou Ctr+P (para PC) como um atalho para a pesquisa principal. Use Cmd+I ou Ctr+I (para PC) para Adicionar parâmetros.

11 de outubro de 2022

Melhorias:

6 de outubro de 2022

Melhorias:

  • EXTERNAL agora é uma propriedade de tabela reservada. Os comandos CREATE TABLE ... TBLPROPERTIES e ALTER TABLE ... SET TBLPROPERTIES falharão se EXTERNAL for especificado nas propriedades.

  • O strfmt em format_string(strfmt, obj, ...) e printf(strfmt, obj, ...) não suporta mais o uso de 0$ como o primeiro argumento. O primeiro argumento deve ser referenciado por 1$ ao usar um índice de argumento para indicar a posição do argumento na lista de argumentos.

  • segmentos de gráfico pie agora têm uma borda fina para delinear segmentos diferentes.

  • Agora você pode usar Cmd+I (para Mac) ou Ctr+I (para PC) como um atalho para Adicionar parâmetro. Use Cmd+P ou Ctr+P (para PC) como um atalho para pesquisa global.

  • Um botão de feedback está disponível para mensagens de erro query boas ou ruins.

  • As sugestões de correção agora estão disponíveis como Correção rápida.

Conserta:

  • lpad e as funções rpad agora funcionam corretamente com entradas strings BINARY. A saída de lpad e rpad para BINARY strings de entrada agora é um BINARY strings.

  • Corrigido um problema em que refresh de alerta manual não estava funcionando.

  • Alterações revertidas no dimensionamento automático do contador para corrigir problemas de formatação.

29 de setembro de 2022

Melhorias:

  • Agora você pode solicitar acesso à query Databricks SQL, alertas e painéis dos proprietários desses ativos.

  • Agora você pode filtrar por duração query e tipo de instrução na página de história query .

    • Para usar o filtro de duração query , insira um período de tempo e escolha uma unidade de tempo. O resultado da história retorna query com execução mais longa que o tempo especificado.

    • Para usar o filtro de tipo de instrução, escolha um tipo de instrução no dropdown. O resultado da história retorna query contendo essa instrução.

Consertar:

  • Corrigido um problema em que nem todas as tags HTML suportadas funcionavam no padrão de alerta personalizado. Todas as tags estão disponíveis conforme documentado.

  • Corrigido um problema em que a notificação de visualização é exibida. Por exemplo, clicar duas vezes para diminuir o zoom em uma visualização não era exibido anteriormente.

  • Correção de um problema em que a troca de eixos em um gráfico não era refletida no nome do gráfico.

22 de setembro de 2022

Melhorias:

  • Widgets de contador do mesmo tamanho terão o mesmo tamanho de fonte quando vários widgets de contador forem exibidos em um painel.

  • Gráficos de combinação atualizados para que, ao usar eixo duplo, apenas o mesmo tipo de gráfico (por exemplo, linha, barra) possa ser usado no mesmo eixo. Aliases de série também são aplicados ao eixo.

  • Adicionado suporte de preenchimento automático para key substituta e operações LIST.

Consertar:

  • Corrigido o problema em que os parâmetros de texto não aceitavam Null como um valor válido.

15 de setembro de 2022

Consertar:

  • Correção de um problema em que a exibição do histórico query na página de listagem SQL warehouse não funcionava.

8 de setembro de 2022

Melhoria:

  • Apresentando o novo cartão 'Open Source Integrations' nas páginas iniciais DSE/SQL que exibe opções de integração de código aberto, como Delta Live Tables e dbt core.

Consertar:

  • Corrigido um problema em que os menus dropdown de parâmetros eram bloqueados pela tab de visualização.

1º de setembro de 2022

Melhorias:

  • Apresentando uma nova IU simplificada para adicionar parâmetros e filtros. Escolha <button>+</button> e escolha adicionar um filtro ou parâmetro.

  • Os parênteses de tokens SQL, como 'OVER()' agora são preenchidos automaticamente.

Conserta:

  • Correção de um problema em que a exibição do painel em tela inteira ignorava a paleta de cores.

  • Correção de um problema em que digitar rapidamente e, em seguida, usar o atalho <span texecuçãoslate="no">1execução <span texecuçãoslate="no">2executar o texto query anterior, em vez do texto query recém-digitado.

  • Corrigido o problema em que, ao usar o comando do teclado, ctrl+enter para executar query , query era duplicada.

25 de agosto de 2022

Consertar:

  • Correção de um problema em que os filtros do painel não eram atualizados quando os parâmetros query eram alterados.

18 de agosto de 2022

  • Para Databricks SQL, o Unity Catalog (Public Preview) está disponível no canal de visualização. Para obter mais informações, consulte O que é Unity Catalog?.

  • Documentação: A documentação da API de alertas foi lançada.

  • Visualizações: os usuários agora podem definir valores default para filtros de data. Sempre que o filtro é atualizado em uma query ou painel, o valor default é aplicado.

  • Conserta:

    • Correção de um problema em que aplicar alterações não funcionava se um painel ainda estivesse sendo recarregado.

    • Corrigido um problema em que as colunas eram muito estreitas quando uma query não retorna resultados.

11 de agosto de 2022

Melhorias:

  • Os usuários podem receber email quando a refresh falha. Para ativar essas notificações, navegue até a tab de configurações SQL do console administrativo. Em emailde falha, escolha o tipo de objeto (query, Dashboard ou alerta) para o qual deseja receber notificações de falha. Os relatórios de falha são enviados a cada hora.

  • Visualizações

    • Apresentando uma paleta de cores nova e moderna para visualizações e painéis. Para alterar um painel para a nova paleta de cores, vá para o seu painel, clique em <button>Editar</button> -> <button>Cores</button> -> <button>Importar</button> e selecione a Cor do Databricks Paleta. Os administradores SQL também podem definir a nova paleta de cores como a opção default para um workspace acessando <button>Configurações</button> -> <button>QL Admin Console</button> -> <button>coresworkspace </button> -> <button>Importar</button> e selecionando a nova paleta.

Conserta:

  • Correção de um problema em que a seleção anterior de <button>Aplicar alterações</button> para aplicar um filtro não funcionava se uma query já estava sendo executada.

4 de agosto de 2022

Melhorias:

  • Ao clonar um painel, agora existe a opção de clonar ou não query .

  • o conteúdo tab é sincronizado na tab do navegador. O estado da sua query agora estará sincronizado em todas tab do navegador. Isso significa que, se você estiver trabalhando na consulta1 na tab 1 do navegador e, em seguida, alternar para tab 2 do navegador, verá a consulta1 no estado em que a deixou na tab original do navegador .

Consertar:

  • Os rótulos para strings vazias no gráfico pie agora refletem que a string está vazia em vez do índice do valor.

28 de julho de 2022

  • alerta

    • O email padrão de alerta personalizado foi atualizado para não permitir certas tags HTML que podem representar um risco à segurança. tags e atributos HTML não permitidos são automaticamente limpos. Por exemplo, <button> é uma tags HTML não permitida , portanto, em vez de renderizar um botão, o texto “button” é exibido. Consulte alerta para obter a lista de tags e atributos HTML permitidos.

    • Os usuários agora podem inscrever outros usuários em alertas sem precisar criar um destino de notificação, o que requer permissões de administrador.

  • downloadss: os usuários agora podem downloads até aproximadamente 1 GB de dados de resultados do Databricks SQL no formato CSV e TSV, acima das 64.000 linhas anteriormente.

  • Visualizações

    • Agora você pode editar as visualizações diretamente no painel. No modo de edição, clique no menu kebab e selecione Editar visualização para começar a editar a visualização.

    • Quando os resultados downloads estão associados a uma visualização que utiliza agregações, os resultados downloads também são agregados. A opção de downloads está passando do kebab inferior para o kebab associado à tab. Os resultados dos downloads são da execução mais recente da query que criou a visualização.

  • Editor SQL: As tabelas de resultados agora exibem uma mensagem quando os dados exibidos pela tabela no navegador são limitados a 64.000 linhas. downloads de TSV e CSV ainda terão aproximadamente 1 GB de dados.

  • filtros query :

    • Os filtros de consulta foram atualizados para funcionar dinamicamente no lado do cliente ou do servidor para otimizar o desempenho. Os filtros query anteriores (agora herdados) operavam apenas no lado do cliente. Os usuários ainda podem usar filtros herdados com a sintaxe :: , se desejarem.

    • Os filtros atualizados são mais simples: os usuários clicam em um botão +Adicionar filtro e selecionam uma coluna em um dropdown. Anteriormente, os usuários precisavam modificar o texto query diretamente.

    • Os valores relevantes são realçados para facilitar a visualização de quais seleções dentro de um filtro retornarão resultados de acordo com outras seleções de filtro.

  • histórico query : os detalhes query na história query agora mostram a Origem query , que é a origem da query executada .

21 de julho de 2022

  • Notificações ao compartilhar: os usuários agora serão notificados por email sempre que um painel, query ou alerta for compartilhado com eles.

  • Experiência aprimorada do editor SQL por meio do novo kit de ferramentas do editor incorporado

    • Realce de erro de sintaxe ao vivo (por exemplo, palavra-chave errada, tabela inexistente e sugestões para corrigir o erro)

    • Na ajuda de contexto: ao passar o mouse (por exemplo, nome completo da tabela, painel de função detalhado) e mensagens de erro de execução em linha (por exemplo, destacar linha com erro após a execução)

    • Classificação inteligente de sugestões (por exemplo, preenchimento automático de parâmetros, fórmula de classificação, correspondência menos ruidosa)

14 de julho de 2022

  • Agora você pode fazer upload de arquivos TSV usando a IU Create Table , além de arquivos CSV.

  • Databricks SQL agora oferece a opção de notificar os usuários por e-mail sempre que um painel, query ou alerta for compartilhado com eles.

  • As tabelas de visualização agora incluem opcionalmente números de linha exibidos ao lado dos resultados.

  • Ao selecionar uma região geográfica para a visualização Cloropleth, agora você obtém dicas em linha para os valores aceitos.

23 de junho de 2022

  • Alteração do nome SQL endpoint : Databricks mudou o nome do SQL endpoint para SQL warehouse porque é mais do que apenas um ponto de entrada da API para executar o comando SQL. Um SQL warehouse é um recurso de computação para todas as suas necessidades data warehousing , parte integrante da plataforma Databricks. recurso compute são recursos de infraestrutura que fornecem capacidades de processamento na nuvem.

  • Para visualizações Choropleth, as seleções de coluna key e campo de destino no editor de visualização foram renomeadas para Coluna geográfica e Tipo geográfico. Essa renomeação para facilitar a compreensão não introduz nenhuma alteração de comportamento em Choropleths novos ou existentes.

  • A opção query limit 1000 foi movida de uma caixa de seleção no editor query SQL para uma caixa de seleção no botão de execução.

  • query em cache na tabela de histórico query agora são marcadas com tags de cache.

  • A atualização manual de um painel usa o warehouse do painel (se disponível) em vez do warehouse de cada queryindividual.

  • Atualizar um alerta sempre usa o warehouse do alerta, independentemente da configuração de execução como Viewer/Owner.

9 de junho de 2022

  • Ao passar o mouse sobre o seletor endpoint , o nome completo endpoint é exibido como uma dica de ferramenta.

  • Ao filtrar no navegador de esquema do editor SQL, o termo de pesquisa agora é realçado nos resultados da pesquisa.

  • A caixa de diálogo Fechar tudo no editor SQL agora exibe uma lista de query não salvas.

  • Para reabrir a última tab fechada no editor SQL, use este novo atalho de teclado: <Cmd> + <Shift> + <Option> + T

  • Agora você pode adicionar rótulos de dados a gráficos de combinação.

  • A lista de operações de agregação de visualização agora inclui variância e desvio padrão.

26 de maio de 2022

Melhorias de autoria:

  • Agora você pode ignorar agregações ao criar visualizações. Isso é particularmente útil quando sua query já inclui uma agregação. Por exemplo, se sua query for SELECT AVG(price_per_sqft), isStudio, location GROUP BY location, isStudio, o editor de gráficos exigia anteriormente a especificação explícita de outra camada de agregação.

  • Ao criar painéis, agora você pode:

    • Duplicar widgets de caixa de texto

    • Expanda o tamanho do painel da caixa de texto de edição

  • A agregação default para a coluna de erro ao criar visualizações é o desvio padrão.

Conserta:

  • As ações de edição para visualizações estão disponíveis apenas quando o painel está no modo de edição. As ações de edição não estão mais disponíveis como uma ação do modo view .

  • Quando você cria uma nova query, ela é aberta em uma tab imediatamente à direita da tab em foco, e não no final da lista.

  • O modal query aberta mostra qual query já está aberta e oferece a opção de alternar o foco para essa tab query.

  • Os gráficos Sankey & Sunburst não tratam mais 0 como nulo.

19 de maio de 2022

  • Problema corrigido: Quando você tem o foco do editor SQL aberto em uma tab de visualização específica e compartilha o link com outro usuário, o usuário terá o mesmo foco no editor SQL ao clicar no link compartilhado.

  • Melhorias:

    • O Microsoft Teams agora é um destino de notificação com suporte.

    • Os parâmetros Intervalo de data, Intervalo de data e hora e Intervalo de data e hora (com segundos) agora suportam a opção de designar o dia inicial da semana, com domingo como default.

12 de maio de 2022

  • As visualizações agora oferecem suporte à divisão de tempo diretamente na interface do usuário. Agora você pode alternar facilmente entre compartimentos anuais, mensais, diários ou horários de seus dados alterando um valor dropdown em vez de adicionar e modificar uma função date_trunc() no próprio texto query .

  • Os painéis agora têm consistência de cores por default. Se você tiver a mesma série em vários gráficos, a série sempre terá a mesma cor em todos os gráficos – sem exigir nenhuma configuração manual.

3 de maio de 2022

  • Ao compartilhar um painel com um usuário ou grupo, agora também fornecemos a capacidade de compartilhar todas query upstream usadas por visualizações e parâmetros.

    • Quando você não tem permissão para compartilhar uma ou mais query upstream, você receberá uma mensagem de aviso informando que nem todas query podem ser compartilhadas.

    • As permissões concedidas ao compartilhar um painel não substituem, negam ou expandem as permissões existentes nas consultas upstream. Por exemplo, se um usuário ou grupo tiver permissões de execução CAN como Proprietário no painel compartilhado, mas tiver apenas permissões de execução como Visualizador em uma consulta upstream, as permissões efetivas nessa consulta upstream serão de execução como Visualizador.

27 de abril de 2022

  • A disposição do painel agora é mantida ao exportar para PDF sob demanda e gerar email de inscrição agendado.

17 de março de 2022

  • Os gráficos incluem uma nova opção de visualização de combinação. Isso permite criar gráficos que incluem barras e linhas.

10 de março de 2022

  • O Unity Catalog (Preview) permite gerenciar a governança e o acesso aos seus dados no nível da account. Você pode gerenciar metastore e permissões de dados centralmente e pode atribuir um metastore a vários workspace em sua account. Você pode gerenciar e interagir com dados e objetos Unity Catalog usando o Databricks SQL Catalog Explorer ou o editor SQL, e pode usar dados Unity Catalog em painéis e visualizações. Consulte O que é Unity Catalog?.

Observação

Unity Catalog requer que SQL endpoint use a versão 2022.11, que está no canal de visualização.

  • Delta compartilhamento (Visualização) permite que você compartilhe dados somente leitura com destinatários fora de sua organização. Databricks SQL dá suporte à consulta de dados de compartilhamento Delta e ao seu uso em visualizações e painéis.

    O compartilhamento Delta está sujeito aos termos aplicáveis que devem ser aceitos por um administrador account para habilitar o recurso.

    Veja Compartilhar dados e IA ativo com segurança usando o Delta Sharing.

  • Cada vez que um painel é atualizado manualmente ou em um programar, todas query no painel e no upstream, incluindo aquelas usadas por parâmetros, são atualizadas. Quando uma visualização individual é atualizada, todas query upstream, incluindo aquelas usadas por parâmetros, são atualizadas.

3 de março de 2022

  • A visualização da coorte foi atualizada para que as coortes sejam interpoladas a partir dos valores mínimo e máximo em vez de 0 e 100. Agora é muito mais fácil distinguir coortes dentro do intervalo real de dados disponíveis. Anteriormente, se todos os números estivessem próximos, eles usavam a mesma cor. Agora, os números que estão próximos têm maior probabilidade de usar cores diferentes porque a coorte é dividida do intervalo máximo ao mínimo para formar cada série.

  • É mais fácil ver se um programar de inscrição do painel está ativo ou pausado. Ao clicar em Assinar, se a inscrição programar do painel estiver pausada, aparecerá a mensagem Este programar foi pausado . Quando um programar de inscrição do painel é pausado, você pode se inscrever ou cancelar a inscrição no painel, mas Snapshot do programa não é enviado e as visualizações do painel não são atualizadas.

  • Ao view o históricoquery , agora você pode classificar a lista por duração. Por default, query são ordenadas por horário de início.

24 de fevereiro de 2022

  • No Catalog Explorer, agora você pode view as permissões que os usuários ou grupos têm em uma tabela, view, esquema ou catálogo. Clique no objeto, em Permissões e use a nova caixa de filtro.

17 de fevereiro de 2022

  • As visualizações ficaram um pouco mais inteligentes! Quando uma query resulta em uma ou duas colunas, um tipo de visualização recomendado é selecionado automaticamente.

  • Agora você pode criar histogramas para visualizar a frequência com que cada valor ocorre em um dataset e para entender se um dataset possui valores agrupados em um pequeno número de intervalos ou mais dispersos.

  • Tanto no históricoquery quanto no Perfilquery , agora você pode expandir para a largura total as strings query e a mensagem de erro de uma query com falha. Isso torna mais fácil analisar planos query e solucionar query com falha.

  • Nas visualizações de barra, linha, área, pie e mapa de calor, agora você pode realizar a agregação diretamente na interface do usuário de configuração da visualização, sem a necessidade de modificar a própria query . Ao aproveitar esses novos recursos, a agregação é realizada em todo o conjunto de dados, em vez de ser limitada às primeiras 64.000 linhas. Ao editar uma visualização criada antes desta versão, você verá uma mensagem que diz This visualization uses an old configuration. New visualizations support aggregating data directly within the editor. Se quiser aproveitar os novos recursos, você deve recriar a visualização. Consulte Habilitar agregação em uma visualização.

10 de fevereiro de 2022

  • Agora você pode definir uma paleta de cores personalizada para um painel. Todas as visualizações que aparecem nesse painel usarão a paleta especificada. Definir uma paleta personalizada não afeta como uma visualização aparece em outros painéis ou no editor SQL.

    Você pode especificar valores hexadecimais para uma paleta ou importar cores de outra paleta, fornecida pelo Databricks ou criada por um administrador de workspace .

    Quando uma paleta é aplicada a um painel, todas as visualizações exibidas nesse painel usarão a paleta de cores selecionada por default, mesmo se você configurar cores personalizadas ao criar a visualização. Para substituir esse comportamento, consulte Personalizar cores para uma visualização.

  • Os administradores do espaço de trabalho agora podem criar uma paleta de cores personalizada usando o console administrativo. Depois que a paleta de cores personalizada for criada, ela poderá ser usada em painéis novos e existentes. Para usar uma paleta de cores personalizada para um painel ou personalizá-lo, você pode editar as configurações do painel.

  • Quando você adiciona uma visualização que usa parâmetros a um painel do SQL Reticências verticais menu, a visualização agora usa parâmetros no nível do painel por default. Isso corresponde ao comportamento quando você adiciona um widget usando o botão Adicionar visualização em um painel.

  • Ao view o histórico query e filtrar a lista por uma combinação de parâmetros, o número de query correspondentes agora é exibido.

  • Nas visualizações, foi corrigido um problema em que o intervalo do eixo Y não podia ser ajustado para valores específicos.

3 de fevereiro de 2022

  • A aba Editor SQL agora está habilitada por default para todos os usuários. Para mais informações ou para desabilitar o editor de abas, veja Editar múltiplas consultas.

27 de janeiro de 2022

  • Foram feitos aprimoramentos na forma como o senhor pode view, compartilhar e importar o perfil de uma consulta. Consulte Perfil de consulta.

  • A visualização Detalhes agora permite que você renomeie as colunas exatamente como na visualização Tabela.

  • Agora você pode fechar uma tab no editor SQL clicando nela com o botão do meio.

  • Os seguintes atalhos de teclado foram adicionados ao editor SQL tab :

    • Fechar todas tab: Cmd+Option+Shift+A (macOS) / Ctrl+Option+Shift+A (Windows)

    • Fechar outra tab: Cmd+Option+Shift+W (macOS) / Ctrl+Option+Shift+W (Windows)

    Esses atalhos de teclado fornecem uma alternativa para clicar com o tab direito do mouse em uma guia para acessar as mesmas ações. Para view todos os atalhos de teclado, clique no ícone do teclado Ícone do teclado na tab do editor SQL.

20 de janeiro de 2022

  • A formatação default para tipos de dados inteiros e flutuantes nas tabelas foi atualizada para não incluir vírgulas. Isso significa que, por default, valores como 10002343 não terão mais vírgulas. Para formatar esses tipos para exibição com vírgulas, clique em Editar visualização, expanda a área da coluna e modifique o formato para incluir uma vírgula.

  • Para um melhor alinhamento com os limites de renderização do navegador, as visualizações agora exibem no máximo 10.000 pontos de dados. Por exemplo, um gráfico de dispersão exibirá no máximo 10.000 pontos. Se o número de pontos de dados for limitado, um aviso será exibido.

13 de janeiro de 2022

  • Corrigimos um problema em que o botão Salvar no editor SQL às vezes era desativado. O botão Salvar agora está sempre ativado e inclui um asterisco (*) quando alterações não salvas são detectadas.

15 de dezembro de 2021

  • Databricks SQL está geralmente disponível. Isso representa um marco importante no fornecimento da primeira plataforma lakehouse que unifica cargas de trabalho de dados, IA e BI em um só lugar. Com o GA, você pode esperar o mais alto nível de estabilidade, suporte e preparação empresarial do Databricks para cargas de trabalho de missão crítica. Leia os blogsde anúncios do GA para saber mais.

  • alerta agora são agendados independentemente da query. Ao criar um novo alerta e criar uma query, você será solicitado a criar também um programar para o alerta. Se você já tinha um alerta, duplicamos o programar da query original. Esta alteração também permite definir alerta para execução como consulta do Proprietário e execução como query do Visualizador. execução como proprietário execução query no programa de alerta designado com a credencial do proprietário query . execução como execução query do Viewer no programa de alerta designado com a credencial do criador do alerta. Consulte O que são alertas Databricks SQL ? e programar uma consulta.

  • Agora o senhor pode reordenar os parâmetros no editor SQL e nos painéis.

  • A documentação para criação de visualizações de mapa de calor foi expandida. Consulte Opções de mapa de calor.

9 de dezembro de 2021

  • Ao criar uma visualização de tabela, agora você pode definir a cor da fonte de uma coluna para um valor estático ou um intervalo de valores com base nos valores do campo da coluna. O valor literal é comparado ao limite. Por exemplo, para colorir os resultados cujos valores excedem 500000, crie o limite > 500000, em vez de > 500,000. Consulte Formatar cores de coluna condicionalmente.

  • Os ícones no navegador de esquema do editor SQL com guias agora permitem distinguir entre tabelas e view.

1 de dezembro de 2021

  • Agora, o senhor pode aplicar os parâmetros de configuração do SQL no nível workspace. Esses parâmetros se aplicam automaticamente a todos os endpoints SQL existentes e novos no site workspace. Consulte Configurar parâmetros SQL.

18 de novembro de 2021

  • Agora você pode abrir o editor SQL usando um atalho na barra lateral. Para abrir o editor SQL, clique em Editor SQL.

  • Se você tem permissão para criar clusters de ciência de dados & engenharia, agora você pode criar SQL endpoint clicando em Create na barra lateral e clicando em SQL endpoint.

  • Os administradores agora podem transferir a propriedade de uma query, painel ou alerta para um usuário diferente por meio da interface do usuário. Ver:

4 de novembro de 2021

  • Em uma visualização de Mapa (Choropleth) , o número máximo de gradientes de passos para cores na legenda foi aumentado de 11 para 20. O default é 5 passos de gradiente, incluindo Min color e Max color.

  • O editor tab SQL agora oferece suporte ao gerenciamento tab em massa. Se você clicar com o botão direito do mouse em uma tab, verá a opção Fechar outros, Fechar à esquerda, Fechar à direita e Fechar tudo. Observe que, se você clicar com o botão direito na primeira ou na última tab, não verá as opções Fechar à esquerda ou Fechar à direita.

28 de outubro de 2021

  • Ao view uma tabela no Catalog Explorer, você tem duas opções para simplificar a interação com a tabela:

    • Clique em Criar > query para criar uma query que selecione todas as colunas e retorne as primeiras 1.000 linhas.

    • Clique em Criar > Painel rápido para abrir uma página de configuração onde você pode selecionar colunas de interesse e criar um painel e query de suporte que forneça algumas informações básicas usando essas colunas e mostre parâmetros no nível do painel e outros recursos.

19 de outubro de 2021

  • Novos atalhos de teclado agora estão disponíveis no editor tab :

    • Abra uma nova tab:

      • Janelas: Cmd+Alt+T

      • Mac: Cmd+Option+T

    • tabatual

      • Janelas: Cmd+Alt+W

      • Mac: Cmd+Option+W

    • Abrir caixa de diálogo query

      • Janelas: Cmd+Alt+O

      • Mac: Cmd+Option+O

23 de setembro de 2021

  • Agora é possível criar um novo painel clonando um painel existente, desde que o senhor tenha as permissões CAN RUN, CAN EDIT e CAN MANAGE no painel e em todas as consultas upstream. Consulte Clonar um painel legado.

  • Agora você pode usar GROUP BY em uma visualização com diversas colunas do eixo Y. Consulte Gráfico de dispersão.

  • Agora você pode usar {{ @@yPercent}} para formatar rótulo de dados em um gráfico de barras empilhadas não normalizadas. Consulte Gráfico de barras.

  • Se você usar a autenticação SAML e sua credencial SAML expirar em alguns minutos, agora você será solicitado a logs in novamente antes de executar uma query ou atualizar um painel. Isso ajuda a evitar a interrupção devido a uma credencial que expira durante a execução query .

20 de setembro de 2021

  • Agora, o senhor pode transferir a propriedade de dashboards, consultas e alertas usando o site Permissions REST API. Consulte Consultar ACLs.

16 de setembro de 2021

  • Nos resultados query , os resultados BIGINT agora são serializados como strings quando maiores que 9007199254740991. Isso corrige um problema em que os resultados BIGINT podem ser truncados nos resultados query . Outros resultados inteiros ainda são serializados como números. A formatação de número em rótulos de eixo e dicas de ferramentas não se aplica a resultados BIGINT que são serializados como strings. Para obter mais informações sobre tipos de dados no Databricks SQL, consulte BIGINT type.

7 de setembro de 2021

Databricks está lançando as alterações que se seguem ao longo de uma semana. Seu workspace pode não ser habilitado para essas alterações até depois de 7 de setembro.

  • Databricks SQL agora está em visualização pública e habilitado para todos os usuários no novo workspace.

    Observação

    Se seu workspace foi habilitado para Databricks SQL durante a Visualização pública, ou seja, antes da semana que começa em 7 de setembro de 2021, os usuários retêm o direito atribuído antes dessa data, a menos que você o altere. Em outras palavras, se um usuário não teve acesso ao Databricks SQL durante a visualização pública, ele não o terá agora, a menos que um administrador o conceda a ele.

  • Os administradores podem gerenciar quais usuários têm acesso ao Databricks SQL atribuindo o direito de acesso do Databricks SQL (databricks-sql-access na API) a usuários ou grupos. Por default, novos usuários têm esse direito.

    Os administradores podem limitar um usuário ou grupo para acessar apenas Databricks SQL e impedi-los de acessar ciência de dados & engenharia ou Databricks Machine Learning removendo o direito de acesso aoworkspace (workspace-access na API) do usuário ou grupo. Por default, novos usuários têm esse direito.

    Importante

    Para logs in e acessar Databricks, um usuário deve ter o acessoDatabricks SQL ou o direito de acesso aoworkspace (ou ambos).

  • Um pequeno e clássico SQL endpoint chamado Starter Endpoint é pré-configurado em todos os espaços de trabalho, para que o senhor possa começar a criar painéis, visualizações e consultas imediatamente. Para lidar com cargas de trabalho mais complexas, é possível aumentar facilmente seu tamanho (para reduzir a latência) ou o número de clusters subjacentes (para lidar com mais usuários concorrentes). Para gerenciar os custos, o starter endpoint está configurado para terminar após 120 minutos parado.

  • Se o compute sem servidor estiver habilitado para o seu workspace e você habilitar o endpointserverless SQL, um serverless SQL endpoint chamado serverless Starter endpoint será criado automaticamente, e você poderá usá-lo para painéis, visualizações e consultas. serverless O ponto de extremidade SQL começa mais rapidamente do que o ponto de extremidade SQL clássico e termina automaticamente após 10 minutos parado.

  • Para ajudá-lo a começar a trabalhar rapidamente, uma nova experiência de integração guiada está disponível para administradores e usuários. O painel de integração é visível por default e você sempre pode ver quantas tarefas de integração ainda restam na barra lateral. Clique nas tarefas restantes para reabrir o painel de integração.

  • Você pode começar a usar o Databricks SQL rapidamente com dois dataset avançados em um catálogo somente leitura chamado SAMPLES, que está disponível em todos os workspace. Ao aprender sobre Databricks SQL, você pode usar esses esquemas para criar query, visualizações e painéis. Nenhuma configuração é necessária e todos os usuários têm acesso a esses esquemas.

    • O esquema nyctaxi contém dados de viagem de táxi na tabela trips .

    • O esquema tpch contém receita de varejo e dados da cadeia de suprimentos nas tabelas a seguir:

      • customer

      • lineitem

      • nation

      • orders

      • part

      • partsupp

      • region

      • supplier

    Clique em executar sua primeira query no painel de integração para gerar uma nova query do esquema nyctaxi.

  • Para saber mais sobre a visualização de dados no Databricks SQL sem necessidade de configuração, você pode importar painéis da Dashboard Samples Gallery. Esses painéis são alimentados pelo dataset no catálogo SAMPLES.

    Para view a Galeria de amostras do painel, clique em Importar painel de amostra no painel de integração.

  • Agora você pode criar e descartar funções SQL nativas usando os comandos CREATE FUNCTION e DROP FUNCTION .

2 de setembro de 2021

  • Os usuários com a permissão CAN EDIT em um dashboard agora podem gerenciar a lista de programação e inscrição do dashboard refresh. Anteriormente, era necessária a permissão CAN MANAGE. Para obter mais informações, consulte Automaticamente refresh a dashboard.

  • Agora o senhor pode pausar temporariamente a exportação programada para assinantes do painel sem modificar o programa. Anteriormente, o senhor tinha que remover todos os assinantes, desativar o programa e, em seguida, recriar. Para obter mais informações, consulte Pausar temporariamente as atualizações programadas do dashboard.

  • Por default, as visualizações não são mais redimensionadas dinamicamente com base no número de resultados retornados, mas mantêm a mesma altura, independentemente do número de resultados. Para retornar ao comportamento anterior e configurar uma visualização para redimensionar dinamicamente, habilite Redimensionar dinamicamente a altura do painel nas configurações da visualização no painel. Para mais informações, consulte Opções de tabela.

  • Se você tiver acesso a mais de um workspace na mesma account, poderá alternar workspace no Databricks SQL. Clique ícone account no canto inferior esquerdo do workspace do Databricks e selecione um workspace para alternar para ele.

30 de agosto de 2021

  • SQL endpoint serverless fornece compute instantânea, gerenciamento mínimo e otimização de custos para query SQL.

    Até agora, a computação para o ponto de extremidade SQL acontecia no plano compute em seu AWS account. A versão inicial do serverless compute adiciona o endpointserverless SQL ao Databricks SQL, movendo esses recursos do compute para o seu Databricks account.

    Você usa SQL warehouse serverless com query Databricks SQL , assim como usa o SQL endpoint que reside em sua própria account da AWS, agora chamado de SQL endpointclássico. Mas SQL warehouse serverless normalmente começa com baixa latência em comparação com SQL endpoint clássico, é mais fácil de gerenciar e é otimizado para custo.

    Antes que o senhor possa criar um armazém SQL sem servidor, um administrador deve habilitar a opção de endpoint serverless SQL para o seu workspace. Uma vez ativado, os novos pontos de extremidade SQL são serverless por default, mas o senhor pode continuar a criar pontos de extremidade SQL como serverless ou Classic, conforme desejar.

    Para obter detalhes sobre a arquitetura serverless compute e comparações com o plano clássico compute, consulte serverless compute plane. Para obter detalhes sobre a configuração do serverless SQL warehouse - incluindo como converter o ponto de extremidade do SQL clássico para serverless- consulte Ativar o serverless SQL warehouse.

    Para obter a lista de regiões com suporte para SQL warehouse serverless, consulte cloud e regiões Databricks.

    Importante

    compute serverless está sujeita aos termos aplicáveis que devem ser aceitos pelo proprietário ou administrador account account habilitar o recurso.

12 de agosto de 2021

  • Agora você pode enviar uma atualização de painel agendada para endereços de email que não estão associados à account Databricks. Ao viewum painel, clique em Agendado para view ou atualizar a lista de endereços email inscritos. Se um endereço de email não estiver associado a uma account Databricks, ele deverá ser configurado como um destino de notificação. Para obter mais informações, consulte Atualizar um painel automaticamente.

  • Agora, um administrador pode encerrar a consulta de outro usuário enquanto ela estiver sendo executada. Para obter mais informações, consulte Encerrar uma consulta em execução.

05 de agosto de 2021

  • Formatação de resultado EXPLAIN aprimorada

    • Explique os resultados são mais fáceis de ler

    • Formatado como monoespaçado sem quebra de linha

29 de julho de 2021

  • O malabarismo com várias consultas ficou mais fácil com o suporte para várias guias no editor de consultas. Para usar o editor de guias, consulte Editar diversas consultas.

08 de julho de 2021

  • Os widgets de visualização em painéis agora têm títulos e descrições para que você possa personalizar o título e a descrição das visualizações usadas em vários painéis para o próprio painel.

  • A barra lateral foi atualizada para melhor visibilidade e navegação:

    • Os armazéns agora são SQL endpoint e a história foi renomeada para query história.

    • As configurações da conta (anteriormente denominadas Users) foram movidas para ícone account SQL Conta. Ao selecionar account você pode alterar o espaço de trabalho do Databricks e fazer logs .

    • As configurações do usuário foram movidas para Ícone de configurações do usuário Settings e foram divididas em Settings e SQL Admin Console. O SQL Admin Console é visível apenas para administradores.

    • O ícone de ajuda mudou para ícone de ajuda Ajuda.

01 de julho de 2021

  • O novo Catalog Explorer permite explorar e gerenciar facilmente permissões em bancos de dados e tabelas. Os usuários podem view detalhes do esquema, visualizar dados de amostra e ver detalhes e propriedades da tabela. Os administradores podem view e alterar proprietários de objetos de dados, e os proprietários de objetos de dados podem conceder e revogar permissões. Para obter detalhes, consulte O que é o Catalog Explorer?.

  • Os eixos Y em gráficos horizontais foram atualizados para refletir a mesma ordem das tabelas. Se você selecionou anteriormente a ordem reversa, pode usar o botão Reverse Order na tab do eixo Y para inverter a nova ordem.

23 de junho de 2021

  • view temporária agora é suportada.

17 de junho de 2021

  • Photon, o novo mecanismo de execução vetorizado do Databricks, agora está ativado por default para SQL endpoint recém-criado (UI e API REST). Photon acelera de forma transparente

    • Grava em tabelas Parquet e Delta.

    • Muitas query SQL. Consulte Limitações.

  • Gerencie facilmente usuários e grupos com os comandos CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS e SHOW USERS . Para obter detalhes, consulte Instruções de segurança e Instruções Show.

  • O navegador de esquema do editor de consultas é mais ágil e rápido em esquemas com mais de 100 tabelas. Nesses esquemas, o navegador de esquemas não carregará todas as colunas automaticamente; a lista de tabelas ainda é exibida normalmente, mas as colunas são carregadas somente quando você clica em uma tabela. Esta alteração afeta o preenchimento automático de consultas no editor de consultas, pois depende desta informação para mostrar sugestões. Até que você expanda uma tabela e carregue suas colunas, essas sugestões não estarão disponíveis.

03 de junho de 2021

  • Os administradores de espaços de trabalho Databricks recém-habilitados agora recebem o direito Databricks SQL por default e não precisam mais conceder a si mesmos o direito de acesso Databricks SQL usando o console de administração.

  • O Photon está agora em visualização pública e habilitado pelo site default para o novo endpoint SQL.

  • O balanceamento de carga de vários clusters agora está em visualização pública.

  • Agora o senhor pode permitir a colaboração em dashboards e consultas com outros membros da sua organização usando a permissão CAN EDIT. Consulte Listas de controle de acesso.

26 de maio de 2021

  • SQL analítico é renomeado para Databricks SQL. Essa mudança tem os seguintes impactos voltados para o cliente:

    • As referências na interface do usuário da Web foram atualizadas.

    • O direito de conceder acesso ao Databricks SQL foi renomeado:

      • UI: acessoDatabricks SQL (anteriormente acesso analítico SQL)

      • API SCIM: databricks-sql-access (anteriormente sql-analytics-access)

      Usuários, grupos e entidades de serviço com o direito anterior foram migrados para o novo direito.

    • As tags para eventos de log de auditoria relacionados ao Databricks SQL foram alteradas:

      • O prefixo para eventos Databricks SQL agora é databrickssql.

      • changeSqlAnalyticsAcl agora é changeDatabricksSqlAcl.

  • Atualizações do painel

    • O nome do arquivo de exportação do painel foi atualizado para ser o nome do painel + carimbo de data/hora, em vez de um UUID.

    • O limite de registros de exportação foi aumentado de 22k para 64k.

    • Os autores do painel agora têm a capacidade de exportar periodicamente e email o instantâneo Snapshot. Snapshot do painel é obtido do estado default do painel, o que significa que qualquer interação com as visualizações não estará presente no Snapshot.

      • Se você for o proprietário de um painel, poderá criar um programar refresh e inscrever outros usuários, que receberão um Snapshot do painel email sempre que ele for refresh .

      • Se você tiver permissão view para um painel, poderá se inscrever no programa refresh existente.

      Consulte o Dashboard Snapshot inscrição.

  • As expressões pushdown de predicado (StartsWith, EndsWith, Contains, Not(EqualTo()) e DataType) estão desabilitadas para o AWS Glue Catalog porque não são compatíveis.

20 de maio de 2021

  • Agora o senhor pode usar seu próprio key do AWS KMS para criptografar as consultas Databricks SQL e o histórico de consultas armazenado no Databricks. Se o senhor já tiver configurado seu próprio key para que um workspace criptografe dados para o serviço gerenciado (Notebook e segredos), não será necessária nenhuma ação adicional. O mesmo gerenciador de clientes key para o serviço gerenciado agora também criptografa as consultas Databricks SQL e o histórico de consultas. Veja a chave Customer-gerenciar para serviço gerenciado. Essa alteração afeta apenas os novos dados que são armazenados em repouso. Databricks SQL As consultas e o histórico de consultas que foram armazenados antes de hoje não têm garantia de serem criptografados com este key.

    Databricks SQL Os resultados da consulta são armazenados no seu bucket S3 raiz que o senhor forneceu durante a configuração do workspace e não são criptografados pelo seu serviço gerenciado key. No entanto, o senhor pode usar seu próprio key para criptografá-los. Consulte Chave de gerenciamento de clientes para armazenamento de espaço de trabalho.

    Esse recurso está disponível no plano de preços Enterprise.

  • A tab Execuções passadas agora mostra o tempo relativo.

13 de maio de 2021

  • Databricks SQL não tenta mais adivinhar os tipos de coluna. Anteriormente, uma coluna com o formato xxxx-yy-dd era tratada automaticamente como uma data, mesmo que fosse um código de identificação. Agora essa coluna não é mais tratada automaticamente como uma data. Você deve especificar isso na query , se assim o desejar. Essa alteração pode fazer com que algumas visualizações que dependiam do comportamento anterior não funcionem mais. Nesta versão, você pode alterar Ícone de configurações do usuário > Configurações > Opção de compatibilidade com versões anteriores para retornar ao comportamento anterior. Em uma versão futura, removeremos esse recurso.

  • O editor query agora tem um indicador de progresso query . As alterações de estado agora são visíveis em uma barra de progresso continuamente atualizada.

    Barra de progresso

06 de maio de 2021

  • Agora o senhor pode fazer o download do conteúdo do painel como PDF. Veja Baixar como PDF.

  • Um usuário administrador agora tem acesso view a todas as consultas e painéis. Neste site view, um administrador pode view e excluir qualquer consulta ou painel. No entanto, o administrador não poderá editar a consulta ou o painel se ele não for compartilhado com o administrador. Consulte Query admin view e legacy dashboard admin view.

  • A capacidade de aumentar a simultaneidade de endpoint com balanceamento de carga de vários clusters agora está disponível para todas as account. Você pode criar endpoint que autoscale entre as contagens clusters mínimo e máximo especificadas. endpoint sobrecarregado aumentará e endpoint subcarregado diminuirá.

29 de abril de 2021

22 de abril de 2021

  • Correção de um problema no qual os endpoints estavam inacessíveis e pareciam ter sido excluídos devido a um erro interno.

16 de abril de 2021

Databricks SQL mantém a compatibilidade com a semântica Apache Spark SQL. Esta versão atualiza a semântica para corresponder à do Apache Spark 3.1. Anteriormente, o Databricks SQL era alinhado à semântica do Apache Spark 3.0.

  • Funções de agregação estatística, incluindo std, stddev, stddev_samp, variance, var_samp, skewness, kurtosis, covar_samp e corr, retornam NULL em vez de Double.NaN quando DivideByZero ocorre durante a avaliação da expressão, por exemplo, quando stddev_samp aplicado em um único conjunto de elementos. Antes desta versão, ele retornaria Double.NaN.

  • grouping_id() retorna valores longos. Antes desta versão, esta função retornava valores int.

  • O plano query explica os resultados agora está formatado.

  • from_unixtime, unix_timestamp,to_unix_timestamp, to_timestamp e to_date falharão se o padrão de data e hora especificado for inválido. Antes desta versão, eles retornaram NULL.

  • As fontes de dados Parquet, ORC, Avro e JSON lançam a exceção org.apache.spark.sql.AnalysisException: “Coluna(s) duplicada(s) encontrada(s) no esquema de dados na leitura se detectarem nomes duplicados em colunas de nível superior, bem como em estruturas aninhadas.”

  • Estruturas e mapas são agrupados pelos colchetes {} ao convertê-los em strings. Por exemplo, a ação show() e a expressão CAST usam esses colchetes. Antes desta versão, os colchetes d eram usados para o mesmo propósito.

  • Elementos NULL de estruturas, arrays e mapas são convertidos em “nulos” ao convertê-los em strings. Antes desta versão, os elementos NULL eram convertidos em strings vazias.

  • A soma dos estouros da coluna do tipo decimal retorna nulo. Antes desta versão, no caso, a soma da coluna do tipo decimal pode retornar nulo ou resultado incorreto, ou até mesmo falhar em Runtime (dependendo da execução real do plano query ).

  • IllegalArgumentException é retornado para os literais de intervalo incompletos, por exemplo, INTERVAL '1', INTERVAL '1 DAY 2', que são inválidos. Antes desta versão, esses literais resultavam em NULLs.

  • Carregar e salvar carimbos de data/hora de e para arquivos Parquet falhará se os carimbos de data/hora forem anteriores a 1900-01-01 00:00:00Z e carregados (salvos) como o tipo INT96 . Antes desta versão, as ações não falhavam, mas podem levar à mudança dos carimbos de data/hora de entrada devido ao rebase de/para Julian para/do calendário proleptic gregoriano.

  • As funções schema_of_json e schema_of_csv retornam o esquema no formato SQL no qual os nomes dos campos são citados. Antes desta versão, a função retornava strings de catálogo sem aspas de campo e em letras minúsculas.

  • CHAROs tipos ,CHARACTER e VARCHAR são suportados no esquema da tabela. A varredura e a inserção da tabela respeitam a semântica char/varchar. Se char/varchar for usado em locais diferentes do esquema da tabela, uma exceção será lançada (CAST é uma exceção que simplesmente trata char/varchar como strings como antes).

  • As seguintes exceções são lançadas para tabelas do catálogo externo do Hive:

    • ALTER TABLE .. ADD PARTITION lança PartitionsAlreadyExistException se já existir uma nova partição.

    • ALTER TABLE .. DROP PARTITION lança NoSuchPartitionsException para partições não existentes.

13 de abril de 2021

  • Consulta aprimorada Taxa de transferência com SQL endpoint queuing. As consultas enviadas para o site SQL endpoint agora entram na fila quando o site endpoint já está saturado de consultas em execução. Isso melhora a taxa de transferência da consulta ao não sobrecarregar o endpoint com solicitações. O senhor pode view o desempenho aprimorado na tela de monitoramento do endpoint.

01 de abril de 2021

  • Encontre rapidamente o tempo gasto na compilação, execução e busca de resultados de uma consulta no Query History. Consulte Perfil de consulta. Anteriormente, essas informações só estavam disponíveis quando o senhor clicava em uma consulta e abria o Execution Details tab.

  • SQL endpoint não é mais escalado além do máximo de clusters especificados. Todos os clusters alocados para um SQL endpoint são reciclados após 24 horas, o que pode criar uma breve janela na qual há um cluster adicional.

18 de março de 2021

  • O preenchimento automático no editor de consultas agora suporta a sintaxe Databricks SQL e reconhece o contexto e o alias. Consulte Criar uma consulta.

  • As solicitações JDBC e ODBC não falham mais com erros de sessão inválida após o tempo limite da sessão no servidor. Os clientes de BI agora podem se recuperar perfeitamente quando ocorrerem tempos limite de sessão.

11 de março de 2021

  • Os administradores e usuários no workspace recém-habilitado para Databricks SQL não têm mais acesso automático ao Databricks SQL. Para habilitar o acesso ao Databricks SQL, o administrador deve:

    1. Ir para a página de configurações do administrador.

    2. Clique na tab Usuários .

    3. Na linha de sua account, clique na caixa de seleção Databricks SQL access .

    4. Clique em Confirmar.

    5. Repita os passos 3 e 4 para conceder aos usuários acesso ao SQL do Databricks ou conceder acesso a grupos.

  • Crie facilmente query, painéis e alertas selecionando Novo ícone Novo > [query | Painel | Alerta] na parte superior da barra lateral.

  • O Editor de Consultas agora salva rascunhos e você pode reverter para uma consulta salva. Consulte Escrever consultas e explorar dados no Editor SQL.

  • Você não pode mais criar fontes externas de dados.

  • A confiabilidade do gráfico SQL endpoint de monitoramento foi aprimorada. O gráfico não exibe mais mensagens de erro espúrias de forma intermitente.

04 de março de 2021

  • A atualização programada do dashboard agora é sempre realizada. A atualização é realizada no aplicativo da Web, portanto, o senhor não precisa mais manter o painel aberto em um navegador. Consulte Atualizar automaticamente um painel.

  • O novo SQL endpoint criado usando a APISQL warehouse agora tem a Parada Automática habilitada com um tempo default de duas horas.

  • Os usuários do Tableau Online agora podem se conectar ao SQL endpoint. Consulte o novo início rápido do Tableau Online.

  • SQL endpoint não falha mais ao iniciar devido a recursos inadequados da AWS em uma única zona de disponibilidade.

26 de fevereiro de 2021

O novo conector do Power BI para Azure Databricks, lançado em visualização pública em setembro de 2020, agora é GA. Ele fornece:

  • Configuração de conexão simples: o novo conector Power BI Databricks é integrado ao Power BI e você o configura usando uma caixa de diálogo simples com alguns cliques.

  • Importações mais rápidas e chamadas de metadados otimizadas, graças ao novo driver Databricks ODBC, que vem com melhorias significativas de desempenho.

  • O acesso aos dados do Databricks por meio do Power BI respeita o controle de acesso do Databricks da tabela.

Para obter mais informações, consulte Conectar o Power BI ao Databricks.

25 de fevereiro de 2021

  • A definição de permissões em um site SQL endpoint agora é mais rápida. É um passo a passo logo após criar um novo SQL endpoint e facilmente acessível quando o senhor edita um endpoint existente. Consulte Criar um SQL warehouse e gerenciar um SQL warehouse.

  • Para reutilizar as configurações de visualização, agora você pode duplicar uma visualização. Consulte Clonar uma visualização.

  • Os resultados das consultas agora são armazenados em seu site account em vez de no site da Databricks account.

  • Para evitar o vazamento de informações listando todas as permissões definidas em um objeto, para execução SHOW GRANTS [<user>] <object> você deve ser:

    • Um administrador Databricks SQL ou o proprietário de <object>.

    • O usuário especificado em [<user>].

07 de janeiro de 2021

  • Para reduzir os gastos com pontos de extremidade do Parado, o novo SQL endpoint agora possui parada automática habilitada com um tempo default de duas horas. Depois que o tempo limite é atingido, o endpoint é interrompido. Você pode editar o período de tempo limite ou desativar a parada automática a qualquer momento.

  • Exceto para parâmetros query do tipo TEXT, as aspas não são mais adicionadas aos parâmetros query . Se você tiver usado Dropdown List, Query Based Dropdown List ou qualquer parâmetro query do tipo Date, deverá adicionar aspas para que a query funcione. Por exemplo, se sua query for SELECT {{ d }}, agora esta query deve ser SELECT '{{ d }}'.

18 de novembro de 2020

A Databricks tem o prazer de apresentar a visualização pública do Databricks SQL, um ambiente intuitivo para executar query ad-hoc e criar painéis de dados armazenados em seu data lake. O Databricks SQL permite que sua organização opere uma arquiteturacloud lakehouse que fornece desempenho data warehousing com economia de data lake. Databricks SQL:

  • Integra-se com as ferramentas de BI que você usa hoje, como Tableau e Microsoft Power BI, para query os dados mais completos e recentes em seu data lake.

  • Complementa as ferramentas de BI existentes com uma interface nativa do SQL que permite que o analista de dados e o cientista de dados query os dados do data lake diretamente no Databricks.

  • Permite que você compartilhe o entendimento query por meio de visualizações avançadas e painéis de arrastar e soltar com alertas automáticos para alterações de dados importantes.

  • Usos Crie um SQL warehouse para trazer confiabilidade, qualidade, escala, segurança e desempenho ao seu data lake, para que o senhor possa executar cargas de trabalho analíticas tradicionais usando seus dados mais recentes e completos.

  • Apresenta o privilégio USAGE para simplificar a administração de acesso a dados. Para usar um objeto em um esquema, você deve receber o privilégio USAGE nesse esquema, além de quaisquer privilégios necessários para executar a ação. O privilégio USAGE pode ser concedido a esquemas ou ao catálogo. Para workspace que já utilizam o controle de acesso da tabela, o privilégio USAGE é concedido automaticamente ao grupo de usuários na raiz CATALOG. Consulte privilégiosHive metastore e objetos protegíveis (herdados) para obter detalhes.

Consulte o O que é data warehousing no Databricks? para detalhes.

Problemas corrigidos

  • Editor SQL. O editor SQL agora manterá o texto selecionado e a posição de rolagem ao alternar entre tab query.

  • Editor SQL. Se você clicar em 'Executar' em uma query no editor SQL, navegar para outra página e retornar enquanto a query ainda estiver em execução, o editor exibirá o estado correto query . Se a query for concluída enquanto você estiver em outra página, os resultados query estarão disponíveis ao retornar à página do editor SQL.

  • Agora você pode usar o MySQL 8.0 como um metastore externo.

  • DESCRIBE DETAIL comandos em tabelas Delta não falham mais com java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.

  • A leitura de arquivos Parquet com carimbos de data/hora INT96 não falha mais.

  • Quando um usuário tem permissão de execução de CAN em uma consulta e a executa, se a consulta foi criada por outro usuário, o histórico da consulta exibe o executor da consulta como o usuário.

  • Valores nulos agora são ignorados ao renderizar um gráfico, melhorando a usabilidade dos gráficos. Por exemplo, anteriormente, as barras em um gráfico de barras pareceriam muito pequenas quando valores nulos estivessem presentes. Agora os eixos são definidos com base apenas em valores não nulos.

Problemas conhecidos

  • As leituras da fonte de dados que não sejam Delta Lake no SQL endpoint com balanceamento de carga de vários clusters podem ser inconsistentes.

  • As tabelas Delta acessadas no Databricks SQL upload seu esquema e as propriedades da tabela para o metastore configurado. Se você estiver usando um metastore externo, poderá ver as informações do Delta Lake no metastore. Delta Lake tenta manter esta informação o mais atualizada possível com base no melhor esforço. Você também pode usar o comando DESCRIBE <table> para garantir que as informações sejam atualizadas em seu metastore.

  • Databricks SQL não oferece suporte a deslocamentos de zona como 'GMT+8' como fusos horários de sessão. A solução alternativa é usar um fuso horário baseado na região https://en.wikipedia.org/wiki/List_of_tz_database_time_zones) como 'Etc/GMT+8'. Consulte DEFINIR FUSO HORÁRIO para obter mais informações sobre como definir fusos horários.

Perguntas frequentes (FAQ)

Como as cargas de trabalho do Databricks SQL são cobradas?

As cargas de trabalho Databricks SQL são cobradas de acordo com o SKU compute SQL.

Onde o SQL endpoint é executado?

Assim como os clusters do Databricks, SQL endpoint são criados e gerenciados em sua account da AWS. Classic SQL endpoint gerencia clusters otimizados para SQL automaticamente em sua account e dimensiona para atender à demanda do usuário final.

serverless O ponto de extremidade SQL (Public Preview), por outro lado, usa compute recurso em seu Databricks account. serverless O SQL warehouse simplifica a configuração e o uso do SQL endpoint e acelera o tempo de lançamento. A opção serverless está disponível somente se tiver sido ativada para o workspace. Para obter mais informações, consulte serverless compute plane.

Posso usar o endpoint SQL do ciência de dados & engenharia workspace SQL Notebook?

Não. Você pode usar o endpoint SQL de Databricks SQL consultas, ferramentas de BI e outros clientes JDBC e ODBC.

O senhor me concedeu acesso à credencial do provedor de uso de dados a cloud. Por que não consigo acessar esses dados em Databricks SQL?

No Databricks SQL, todo o acesso aos dados está sujeito ao controle de acesso a dados, e um administrador ou proprietário de dados deve primeiro conceder a você os privilégios apropriados.