Databricks Runtime 11.3 LTS (Fim de Suporte)

nota

O suporte para esta versão do Databricks Runtime foi encerrado. Para a data de fim do suporte, consulte o Histórico de fim de suporte. Para todas as versões suportadas Databricks Runtime , consulte as notas sobre versões e compatibilidadeDatabricks Runtime.

As notas a seguir sobre a versão fornecem informações sobre Databricks Runtime 11.3 LTS, desenvolvido com Apache Spark 3.3.0. A Databricks lançou esta versão em outubro de 2022.

nota

LTS significa que esta versão tem suporte a longo prazo . Consulte o ciclo de vida da versão LTS do Databricks Runtime.

Mudanças comportamentais

[Alteração significativa] A nova versão do Python requer a atualização dos clientes Python do Databricks Connect V1.

nota

Uma atualização subsequente altera a versão do Python no Databricks Runtime 11.3 LTS para 3.9.21. O 3.9.21 Esta versão não introduz quaisquer alterações comportamentais.

Para aplicar as correções de segurança necessárias, a versão do Python no Databricks Runtime 11.3 LTS foi atualizada da versão 3.9.5 para a 3.9.19. Como essas alterações podem causar erros em clientes que usam funções específicas do PySpark, todos os clientes que usam o Databricks Connect V1 para Python com o Databricks Runtime 11.3 LTS devem ser atualizados para o Python 3.9.7 ou posterior.

Novos recursos e melhorias

• O Python foi atualizado da versão 3.9.19 para a 3.9.21.
• trigger de transmissão estruturada uma vez está obsoleto
• Alterar o caminho de origem para o Auto Loader
• O conector Databricks Kinesis agora suporta a leitura de transmissões de dados Kinesis no modo EFO.
• Novas funções geoespaciais H3 e suporte Photon adicionado para todas as funções H3.
• Novo recurso para Predictive I/O
• Aumentar as partições iniciais para realizar buscas por consultas seletivas.
• Visualização das novas versões do plano AQE
• Novos modos de acompanhamento de progresso assíncrono e limpeza log .
• transmissão estruturada no Unity Catalog agora suporta display()
• Os eventos do pipeline agora são registrados em formato JSON
• Processamento com estado arbitrário em estrutura de negócios com Python
• Inferência de datas em arquivos CSV
• Suporte para clonagem de tabelas Apache Parquet e Apache Iceberg (Prévia Pública)
• Use SQL para especificar locais de armazenamento em nível de esquema e catálogo para tabelas gerenciadas do Unity Catalog

O Python foi atualizado da versão 3.9.19 para a 3.9.21.

A versão do Python no Databricks Runtime 11.3 LTS foi atualizada da versão 3.9.19 para a 3.9.21.

trigger de transmissão estruturada uma vez está obsoleto

A configuração Trigger.Once foi descontinuada. A Databricks recomenda que você use Trigger.AvailableNow. Consulte Configurar intervalos de disparo de transmissão estruturada.

Alterar o caminho de origem para o Auto Loader

Agora você pode alterar o caminho de entrada do diretório para o Auto Loader configurado com o modo de listagem de diretórios sem precisar escolher um novo diretório de ponto de verificação. Consulte Alterar o caminho de origem para o Auto Loader.

O conectorDatabricks Kinesis agora suporta a leitura de transmissões de dados Kinesis no modo EFO.

Agora você pode usar a fonte Databricks Kinesis transmissão estruturada no Databricks Runtime 11.3 LTS para executar consultas que leem do Kinesis Data transmissão no modo de fan-out aprimorado. Isso permite taxas de transferência dedicadas por shard, por consumidor e entrega de registros no modo push.

Novas funções geoespaciais H3 e suporte Photon adicionado para todas as funções H3.

Apresentando 4 novas funções H3, h3_maxchild, h3_minchild, h3_pointash3 e h3_pointash3string. Essas funções estão disponíveis em SQL, Scala e Python. Todas as expressões H3 agora são suportadas no Photon. Consulte as funções geoespaciais H3.

Novo recurso para Predictive I/O

O Photon suporta o modo de alcance para quadros em execução, usando RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. O Photon também suporta o modo de alcance para quadros crescentes, usando RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Aumentar as partições iniciais para realizar buscas por consultas seletivas.

O valor das partições iniciais a serem verificadas foi aumentado para 10 para consulta seletiva com take/tail/limit em clusters habilitados para Photon e LIMIT em Databricks SQL. Com 10 partições, você pode evitar a sobrecarga de executar vários trabalhos pequenos e uma escalada lenta. Você também pode configurar isso através de spark.sql.limit.selectiveInitialNumPartitions.

Visualização das novas versões do plano AQE

Apresentamos as versões de planos AQE, que permitem visualizar as atualizações do seu plano de tempo de execução provenientes da execução adaptativa de consultas (AQE).

Novos modos de acompanhamento de progresso assíncrono e limpeza log .

Apresentando modos de transmissão estruturada chamados acompanhamento de progresso assíncrono e purga log assíncrona. O modo de limpeza log assíncrona reduz a latência das consultas de transmissão, removendo logs usados para o acompanhamento do progresso em segundo plano.

transmissão estruturada no Unity Catalog agora suporta display()

Agora você pode usar display() quando usar transmissão estruturada para trabalhar com tabelas registradas no Unity Catalog.

Os eventos do pipeline agora são registrados em formato JSON

Databricks agora grava eventos pipeline no log in formato JSON . Embora cada evento possa ser analisado em JSON, eventos grandes podem não conter todos os campos, ou os campos podem estar truncados. Cada evento é registrado em uma única linha com o prefixo Event received:. Segue abaixo um exemplo de evento.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Processamento com estado arbitrário em estrutura de negócios com Python

Apresentamos a função applyInPandasWithState que pode ser usada para realizar processamento com estado arbitrário em PySpark. Isso é equivalente à função flatMapGroupsWithState na API Java.

Inferência de datas em arquivos CSV

Apresentamos uma inferência aprimorada de colunas do tipo data em arquivos CSV. Quando o formato da data é consistente em todos os registros de uma coluna, essas colunas podem ser inferidas como DateType. Você também pode ter uma combinação de formatos de data em diferentes colunas. O Databricks pode inferir automaticamente o formato de data para cada coluna. As colunas de data em arquivos CSV anteriores ao Databricks Runtime 11.3 LTS são deixadas como StringType.

Suporte para clonagem de tabelas Apache Parquet e Apache Iceberg (Prévia Pública)

Agora é possível usar o comando `clone` para criar e atualizar incrementalmente tabelas Delta que espelham tabelas Apache Parquet e Apache Iceberg. Você pode atualizar sua tabela Parquet de origem e aplicar as alterações incrementalmente à tabela Delta clonada usando o comando clone. Consulte Clonar incrementalmente tabelas Parquet e Apache Iceberg para Delta Lake.

Use SQL para especificar locais de armazenamento em nível de esquema e catálogo para tabelas de gerenciamento Unity Catalog

Agora você pode usar o comando SQL MANAGED LOCATION para especificar um local de armazenamento cloud para gerenciar tabelas nos níveis de catálogo e esquema. Consulte CREATE CATALOG e CREATE SCHEMA.

Mudanças de comportamento

Databricks Connect 11.3.2

A atualização 11.3.2 do cliente Databricks Connect já é compatível. Consulte Databricks Connect e Databricks Connect notas sobre a versão.

Conector Databricks Snowflake atualizado

O conector Databricks Snowflake foi atualizado para a versão mais recente do código do código aberto repositório, Snowflake fonte de dados para Apache Spark. Agora é totalmente compatível com Databricks Runtime 11.3 LTS, incluindo o pushdown de predicados e o pushdown interno do plano de consulta, mantendo todos os recursos da versão de código aberto.

O cache do Hadoop para S3A agora está desativado.

O cache do Hadoop (FileSystem Apache Hadoop Main 3.3.4 API) para S3A agora está desativado. Isso visa a compatibilidade com outros conectores de armazenamento cloud . Para cargas de trabalho que dependem do cache do sistema de arquivos, certifique-se de que os sistemas de arquivos recém-criados recebam as configurações corretas do Hadoop, incluindo os provedores de credenciais.

O esquema de coleta de estatísticas do Delta Lake agora corresponde à ordem das colunas na definição do esquema da tabela.

Essa alteração corrige um bug no protocolo Delta Lake, no qual as estatísticas não eram coletadas para as colunas devido a uma incompatibilidade na ordem das colunas do DataFrame e da tabela. Em alguns casos, você poderá encontrar uma degradação no desempenho de gravação devido à coleta de estatísticas em campos anteriormente não rastreados. Consulte Ignorando dados.

applyInPandasWithState gera um erro se a consulta contiver um shuffle após o operador.

O operador applyInPandasWithState gera um erro se a consulta tiver shuffle depois do operador. Isso acontece quando o usuário adiciona shuffle após as operações, ou o otimizador ou coletor adiciona shuffle implicitamente.

Melhorias na biblioteca

• Biblioteca Python atualizada:

  • distlib da versão 0.3.5 para a 0.3.6

• Biblioteca R atualizada:

  • vassoura de 1.0.0 para 1.0.1
  • chamada de 3.7.1 para 3.7.2
  • dplyr da versão 1.0.9 para a 1.0.10
  • dtplyr da versão 1.2.1 para a 1.2.2
  • forcats de 0.5.1 a 0.5.2
  • futuro da versão 1.27.0 para a 1.28.0
  • future.apply da versão 1.9.0 para a 1.9.1
  • gert da versão 1.7.0 para a 1.8.0
  • variáveis globais de 0.16.0 a 0.16.1
  • gtable de 0.3.0 para 0.3.1
  • haven da versão 2.5.0 para a 2.5.1
  • HMS de 1.1.1 a 1.1.2
  • httr da versão 1.4.3 para a 1.4.4
  • knitr de 1,39 a 1,40
  • modelador da versão 0.1.8 para 0.1.9
  • pilar de 1.8.0 para 1.8.1
  • progresso de 0.10.1 para 0.11.0
  • readxl da versão 1.4.0 para a 1.4.1
  • Exemplo reproduzível da versão 2.0.1 para a 2.0.2
  • rlang da versão 1.0.4 para a versão 1.0.5
  • rmarkdown da versão 2.14 para a 2.16
  • RSQLite da versão 2.2.15 para a 2.2.16
  • rstudioapi da versão 0.13 para a 0.14
  • rversions de 2.1.1 para 2.1.2
  • colheita de 1.0.2 para 1.0.3
  • escala de 1.2.0 para 1.2.1
  • Sparklyr de 1.7.7 a 1.7.8
  • stringr da versão 1.4.0 para a 1.4.1
  • sobrevivência de 3,2-13 para 3,4-0
  • tinytex de 0,40 a 0,41
  • viridisLite da versão 0.4.0 para a 0.4.1

• Biblioteca Java atualizada:

  • com.fasterxml.jackson.core.jackson-anotação da versão 2.13.3 para a versão 2.13.4
  • com.fasterxml.jackson.core.jackson-core da versão 2.13.3 para a versão 2.13.4
  • com.fasterxml.jackson.core.jackson-databind da versão 2.13.3 para a versão 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da versão 2.13.3 para a versão 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda da versão 2.13.3 para a versão 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da versão 2.13.3 para a versão 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer da versão 2.13.3 para a versão 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.3 para 2.13.4
  • org.apache.hadoop.hadoop-client-api da versão 3.3.2-databricks para 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime de 3.3.2 para 3.3.4
  • org.apache.orc.orc-core de 1.7.5 para 1.7.6
  • org.apache.orc.orc-mapreduce de 1.7.5 para 1.7.6
  • org.apache.orc.orc-shims de 1.7.5 para 1.7.6
  • org.apache.parquet.parquet-column de 1.12.0-databricks-0004 para 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common de 1.12.0-databricks-0004 para 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding de 1.12.0-databricks-0004 para 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0004 para 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0004 para 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0004 para 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet de 2,34 para 2,36
  • org.glassfish.jersey.containers.jersey-container-servlet-core de 2,34 para 2,36
  • org.glassfish.jersey.core.jersey-client de 2,34 para 2,36
  • org.glassfish.jersey.core.jersey-common de 2,34 para 2,36
  • org.glassfish.jersey.core.jersey-server de 2,34 para 2,36
  • org.glassfish.jersey.inject.jersey-hk2 de 2,34 para 2,36

Apache Spark

O Databricks Runtime 11.3 LTS inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark. Incluído no Databricks Runtime 11.2 (Fim de Suporte), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Atraso em onDisconnected para permitir que o Driver receba o código de saída do Executor
• [SPARK-39955] [WARMFIX][sc-111424][CORE] Melhorar o processo LaunchTask para evitar falhas de estágio causadas por falha no envio de mensagens LaunchTask
• [SPARK-40474] [SC-106248][cherry-pick] Corrigir o comportamento de inferência de esquema CSV para colunas de data e hora e introduzir detecção automática para campos de data.
• [SPARK-40535] [SC-111243][sql] Corrigido o bug que impedia a criação do buffer do AggregatingAccumulator caso as linhas de entrada estivessem vazias.
• [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][Python] Implemente applyInPandasWithState em PySpark
• [SPARK-40460] [SC-110832][ss] Corrigida transmissão de métricas ao selecionar _metadata
• [SPARK-40324] [SC-109943][sql] Forneça um contexto de consulta de ParseException
• [SPARK-40466] [SC-110899][ss] Melhorar a mensagem de erro quando o DSv2 estiver desativado enquanto o DSv1 não estiver disponível
• [SPARK-40456] [SC-110848][sql] O método PartitionIterator.hasNext deve ser barato para ser chamado repetidamente.
• [SPARK-40169] [SC-110772][sql] Não aplicar pushdown a filtros Parquet sem referência ao esquema de dados
• [SPARK-40467] [SC-110759][ss] Dividir FlatMapGroupsWithState em vários conjuntos de testes
• [SPARK-40468] [SC-110813][sql] Corrigir a remoção de colunas em CSV quando _corrupt_record é selecionado
• [SPARK-40291] [SC-110085][sql] Melhorar a mensagem para erro de coluna não incluída na cláusula GROUP BY
• [SPARK-40398] [SC-110762][core][SQL] Use Loop em vez de Arrays.transmissão api
• [SPARK-40433] [SC-110684][ss][Python] Adicionar toJVMRow em PythonSQLUtils para converter linha PySpark serializada em linha JVM
• [SPARK-40414] [SC-110568][sql][Python] Tipo mais genérico em PythonArrowInput e PythonArrowOutput
• [SPARK-40352] [SC-109945][sql] Adicionar aliases de função: len, datepart, dateadd, date_diff e curdate
• [SPARK-40470] [SC-110761][sql] Lidar com GetArrayStructFields e GetMapValue na função “arrays_zip”
• [SPARK-40387] [SC-110685][sql] Melhorar a implementação do Spark Decimal
• [SPARK-40429] [SC-110675][sql] Defina KeyGroupedPartitioning somente quando a coluna referenciada estiver na saída
• [SPARK-40432] [SC-110716][ss][Python] Introduzir GroupStateImpl e GroupStateTimeout no PySpark
• [SPARK-39915] [SC-110496][sql] Garanta que o particionamento de saída seja especificado pelo usuário no AQE
• [SPARK-29260] [SQL] Suporte ALTER DATABASE SET LOCATION se o HMS suportar
• [SPARK-40185] [SC-110056][sql] Remover sugestão de coluna quando a lista de candidatos estiver vazia
• [SPARK-40362] [SC-110401][sql] Corrigir canonicalização de comparação binária
• [SPARK-40411] [SC-110381][ss] Refatorar FlatMapGroupsWithStateExec para ter uma trait pai
• [SPARK-40293] [SC-110084][sql] Tornar a mensagem de erro da tabela V2 mais significativa
• [SPARK-38734] [SC-110383][sql] Remover a classe de erro INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Corrigir nomes de colunas na função “arrays_zip” quando arrays são referenciados a partir de structs aninhados
• [SPARK-40276] [SC-109674][core] Reduzir o tamanho do resultado de RDD.takeOrdered
• [SPARK-40197] [SC-109176][sql] Substituir plano de consulta com contexto para MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][sql] Migrar para a classe de erro DATATYPE_MISMATCH
• [SPARK-40149] [SC-110055][sql] Propagar colunas de metadados através do Projeto
• [SPARK-40280] [SC-110146][sql] Adicionar suporte para push down Parquet para anotar int e long
• [SPARK-40220] [SC-110143][sc-109175][SQL] Não exibir o mapa vazio de parâmetros de mensagem de erro
• [SPARK-40295] [SC-110070][sql] Permitir funções v2 com argumentos literais na distribuição/ordenação de escrita
• [SPARK-40156] [SC-109264][sql] url_decode() deve retornar uma classe de erro
• [SPARK-39195] [SQL] O OutputCommitCoordinator do Spark deve abortar o estágio quando o arquivo confirmado não for consistente com o status da tarefa
• [SPARK-40260] [SC-109424][sql] Usar classes de erro nos erros de compilação de GROUP BY uma posição
• [SPARK-40205] [SC-110144][sc-109082][SQL] Forneça um contexto de consulta de ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][sql] Melhorar a função TO_BINARY()
• [SPARK-40209] [SC-109081][sql] Não altere o valor do intervalo de Decimal em changePrecision() em caso de erros
• [SPARK-40319] [SC-109873][sql] Remover método de erro de execução de consulta duplicada para PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][sql] As funções numéricas try_add/try_divide/try_subtract/try_multiply devem lançar erro a partir de seus filhos.
• [SPARK-40183] [SC-108907][sql] Use a classe de erro NUMERIC_VALUE_OUT_OF_RANGE para estouro na conversão decimal
• [SPARK-40180] [SC-109069][sql] Formatar mensagens de erro por spark-sql
• [SPARK-40153] [SC-109165][sql] Unificar funções de resolução e funções com valor de tabela
• [SPARK-40308] [SC-109880][sql] Permitir argumentos delimitadores não dobráveis para a função str_to_map
• [SPARK-40219] [SC-110052][sc-109663][SQL] O plano lógico view resolvida deve conter o esquema para evitar pesquisas redundantes
• [SPARK-40098] [SC-109939][sc-108693][SQL] Mensagens de erro de formato no servidor Thrift
• [SPARK-39917] [SC-109038][sql] Usar classes de erro diferentes para estouro aritmético numérico/de intervalo
• [SPARK-40033] [SC-109875][sql] Suporte para poda de esquema aninhado através de element_at
• [SPARK-40194] [SC-109660][sql] A função SPLIT em regex vazia deve truncar strings vazias à direita.
• [SPARK-40228] [SC-109835][sql] Não simplifique multiLike se child não for uma expressão barata
• [SPARK-40039] [SC-109896][sc-109260][SS] Apresentando um gerenciador de arquivos de checkpoint de transmissão baseado na interface Abortable do Hadoop
• [SPARK-40285] [SC-109679][sql] Simplifique o roundTo[Numeric] para Spark Decimal
• [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison deve funcionar quando o literal de In/InSet falhar na conversão para binário
• [SPARK-40040] [SC-109662][sql] Enviar limite local para ambos os lados se a condição join estiver vazia
• [SPARK-40055] [SC-109075][sql] listCatalogs também deve retornar spark_catalog mesmo quando a implementação de spark_catalog for defaultSessionCatalog
• [SPARK-39915] [SC-109391][sql] dataset.repartition(N) pode não criar N partições Parte não-AQE
• [SPARK-40207] [SC-109401][sql] Especifique o nome da coluna quando o tipo de dados não for compatível com a fonte de dados.
• [SPARK-40245] [SC-109295][sql] Corrigir verificação de igualdade do FileScan quando colunas de partição ou filtro de dados não são lidas
• [SPARK-40113] [SC-109405][sql] Implementações da interface Reactor ParquetScanBuilder DataSourceV2
• [SPARK-40211] [SC-109226][core][SQL] Permitir a personalização do número inicial de partições no comportamento de take()
• [SPARK-40252] [SC-109379][sql] Substituir Stream.collect(Collectors.joining) por StringJoiner API
• [SPARK-40247] [SC-109272][sql] Corrigir verificação de igualdade de BitSet
• [SPARK-40067] [SQL] Use Table#name() em vez de Scan#name() para preencher o nome da tabela no nó BatchScan do SparkUI
• [SPARK-39966] [SQL] Usar filtro V2 em SupportsDelete
• [SPARK-39607] [SC-109268][sql][DSV2] Função de suporte à distribuição e encomenda V2 em escrita
• [SPARK-40224] [SC-109271][sql] Fazer com que ObjectHashAggregateExec libere memória imediatamente ao recorrer à classificação baseada em fallback.
• [SPARK-40013] [SQL] As expressões DS V2 devem ter o default toString
• [SPARK-40214] [SC-109079][Python][SQL] adicionar 'get' às funções
• [SPARK-40192] [SC-109089][sql][ML] Remover agrupamento redundante
• [SPARK-40146] [SC-108694][sql] Simplesmente a geração de código para obter o valor do mapa
• [SPARK-40109] [SQL] Nova função SQL: get()
• [SPARK-39929] [SQL] DS V2 suporta funções de strings push-down (não ANSI)
• [SPARK-39819] [SQL] O push down de agregados DS V2 pode funcionar com Top N ou Paginação (Classificação com expressões)
• [SPARK-40213] [SC-109077][sql] Suporte à conversão de valores ASCII para caracteres Latin-1
• [SPARK-39887] [SQL] A função RemoveRedundantAliases deve manter os aliases que tornam a saída dos nós de projeção única.
• [SPARK-39764] [SQL] Tornar PhysicalOperation igual a ScanOperation
• [SPARK-39964] [SQL] O pushdown DS V2 deve unificar o caminho de tradução
• [SPARK-39528] [SQL] Usar filtro V2 em SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Modo ANSI: sempre retornar nulo em caso de acesso inválido à coluna do mapa
• [SPARK-39912] [SPARK-39828][sql] Refinar CatalogImpl
• [SPARK-39833] [SC-108736][sql] Desativar o índice de coluna Parquet no DSv1 para corrigir um problema de correção no caso de sobreposição de colunas de partição e dados
• [SPARK-39880] [SQL] O comando V2 SHOW FUNCTIONS deve imprimir o nome qualificado da função, como v1
• [SPARK-39767] [SQL] Remover UnresolvedDBObjectName e adicionar UnresolvedIdentifier
• [SPARK-40163] [SC-108740][sql] recurso: SparkSession.config(Map)
• [SPARK-40136] [SQL] Corrigir o fragmento de contextos de consulta SQL
• [SPARK-40107] [SC-108689][sql] Extrair a conversão empty2null do FileFormatWriter
• [SPARK-40121] [Python][sql] Inicializar projeção usada para UDF Python
• [SPARK-40128] [SQL] Fazer com que o VectorizedColumnReader reconheça DELTA_LENGTH_BYTE_ARRAY como uma codificação de coluna independente
• [SPARK-40132] [ML] Restaurar rawPredictionCol para MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] Aprimorar EliminateSorts para suportar a remoção de classificações via LocalLimit
• [SPARK-39629] [SQL] Suporte v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Adicionar sobrecarga array_sort(column, comparator) às operações do DataFrame
• [SPARK-40117] [Python][sql] Converter condição para Java em DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Melhorar o reparticionamento em ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Adicionar nome de catálogo de sessão para tabela e função de banco de dados v1
• [SPARK-39889] [SQL] Usar classes de erro diferentes para valores numéricos/intervalares divididos por 0
• [SPARK-39741] [SQL] Suporte para codificação/decodificação de URL como função integrada e organização das funções relacionadas a URLs
• [SPARK-40102] [SQL] Usar SparkException em vez de IllegalStateException no SparkPlan
• [SPARK-40014] [SQL] Suporte para conversão de decimais em intervalos ANSI
• [SPARK-39776] [SQL][seguir] Atualizar UT do PlanStabilitySuite no modo ANSI
• [SPARK-39963] [SQL] Simplificar SimplifyCasts.isWiderCast

Atualizações de manutenção

Consulte as atualizações de manutenção do Databricks Runtime 11.3.

Ambiente do sistema

• Sistema Operacional : Ubuntu 20.04.5 LTS

  • Observação : Esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres Databricks Runtime são executados em máquinas virtuais do provedor cloud , que podem usar uma versão diferente do Ubuntu ou uma distribuição Linux.

• Java : Zulu 8.56.0.21-CA-linux64

• Scala : 2.12.14

• Python : 3.9.21

• R : 4.1.3

• Delta Lake : 2.1.0

Biblioteca Python instalada

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
argônio2-cffi	20.1.0	gerador-assíncrono	1.10	atributos	21.2.0
chamada de retorno	0.2.0	backports.entry-points-selecionáveis	1.1.1	preto	22.3.0
água sanitária	4.0.0	boto3	1.21.18	botocore	1.24.18
certificar	08/10/2021	cffi	1.14.6	chardet	4.0.0
normalizador de conjunto de caracteres	2.0.4	clique	8.0.3	criptografia	3.4.8
ciclista	0.10.0	Cython	0.29.24	dbus-Python	1.2.16
debugpy	1.4.1	decorador	5.1.0	defusedxml	0.7.1
biblioteca dist	0.3.6	pontos de entrada	0,3	visão geral das facetas	1.0.0
bloqueio de arquivo	3.8.0	idna	3.2	ipykernel	6.12.1
ipython	7.32.0	ipython-genutils	0.2.0	ipywidgets	7.7.0
jedi	0.18.0	Jinja2	2.11.3	jmespath	0.10.0
joblib	1.0.1	esquema JSON	3.2.0	cliente jupyter	6.1.12
jupyter-core	4.8.1	jupyterlab-pygments	0.1.2	widgets do JupyterLab	1.0.0
kiwisolver	1.3.1	MarkupSafe	2.0.1	Matplotlib	3.4.3
matplotlib-inline	0.1.2	desafinação	0.8.4	mypy-extensões	0.4.3
nbclient	0.5.3	nbconvert	6.1.0	nbformato	5.1.3
ninho-asyncio	1.5.1	notebook	6.4.5	numpy	1.20.3
embalagem	21.0	Pandas	1.3.4	pandocfilters	1.4.3
parso	0.8.2	especificação de caminho	0.9.0	Patsy	0.5.2
pexpect	4.8.0	pickleshare	0.7.5	Travesseiro	8.4.0
pip	21.2.4	diretórios de plataforma	2.5.2	Plotly	5.9.0
cliente prometheus	0.11.0	kit de ferramentas de prompt	3.0.20	protobuf	4.21.5
psutil	5.8.0	psycopg2	2.9.3	ptyprocess	0.7.0
pyarrow	7.0.0	pycparser	2.20	Pigmentos	2.10.0
PyGObject	3.36.0	pyodbc	4.0.31	pyparsing	3.0.4
pirrizante	0.18.0	Python-dateutil	2.8.2	pytz	2021.3
pyzmq	22.2.1	solicitações	2.26.0	solicitações-socket unix	0.2.0
s3transfer	0.5.2	scikit-learn	0.24.2	scipy	1.7.1
nascido no mar	0.11.2	Send2Trash	1.8.0	ferramentas de configuração	58.0.4
seis	1.16.0	ssh-import-id	5.10	modelos estatísticos	0.12.2
tenacidade	8.0.1	terminado	0.9.4	caminho de teste	0.5.0
threadpoolctl	2.2.0	tokenize-rt	4.2.1	tomli	2.0.1
tornado	6.1	traços	5.1.0	extensões de digitação	3.10.0.2
atualizações não assistidas	0,1	urllib3	1.26.7	ambiente virtual	20.8.0
largura do wc	0.2.5	codificações web	0.5.1	Python wheel	0.37.0
widgetsnbextension	3.6.0

Biblioteca R instalada

A biblioteca R foi instalada a partir do Snapshot Microsoft CRAN de 08/09/2022. O instantâneo não está mais disponível.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
askpass	1.1	afirmar que	0.2.1	backports	1.4.1
base	4.1.3	base64enc	0,1-3	pedaço	4.0.4
bit64	4.0.5	bolha	1.2.3	bota	1.3-28
cerveja	1.0-7	brio	1.1.3	vassoura	1.0.1
bslib	0.4.0	cachem	1.0.6	chamador	3.7.2
acento circunflexo	6.0-93	guarda-celular	1.1.0	cronologia	2.3-57
Aula	7.3-20	CLIPE	3.3.0	cortador	0.8.0
Cluster	2.1.3	ferramentas de código	0,2-18	espaço de cores	2.0-3
marca comum	1.8.0	compilador	4.1.3	configuração	0.3.1
cpp11	0.4.2	giz de cera	1.5.1	Credenciais	1.3.2
cachos	4.3.2	tabela de dados	1.14.2	conjunto de dados	4.1.3
DBI	1.1.3	dbplyr	2.2.1	descrição	1.4.1
ferramentas de desenvolvedor	2.4.4	diffobj	0.3.5	digerir	0.6.29
iluminação descendente	0.4.2	dplyr	1.0.10	dtplyr	1.2.2
e1071	1.7-11	elipse	0.3.2	avaliar	0,16
fã	1.0.3	farver	2.1.1	mapa rápido	1.1.0
fonte incrível	0.3.0	para gatos	0.5.2	para cada	1.5.2
Externo	0,8-82	forja	0.2.0	fs	1.5.2
futuro	1.28.0	futuro.aplicar	1.9.1	gargarejo	1.2.0
genéricos	0.1.3	gert	1.8.0	ggplot2	3.3.6
gh	1.3.0	gitcreds	0.1.1	glmnet	4.1-4
globais	0.16.1	cola	1.6.2	google drive	2.0.0
googlesheets4	1.0.1	Gower	1.0.0	gráficos	4.1.3
grDevices	4.1.3	grade	4.1.3	gradeExtra	2.3
gsubfn	0,7	gtable	0.3.1	capacete	1.2.0
refúgio	2.5.1	mais alto	0,9	HMS	1.1.2
htmltools	0.5.3	htmlwidgets	1.5.4	httpuv	1.6.5
httr	1.4.4	IDs	1.0.1	ini	0.3.1
ipred	0,9-13	isoband	0.2.5	iteradores	1.0.14
jquerylib	0.1.4	jsonlite	1.8.0	KernSmooth	2.23-20
tricoteira	1,40	rótulo do rótulo	0.4.2	mais tarde	1.3.0
treliça	0,20-45	lava	1.6.10	vida útil	1.0.1
ouça	0.8.0	lubrificar	1.8.0	magrittr	2.0.3
Markdown	1.1	MASSA	7.3-56	Matriz	1.4-1
memória	2.0.1	métodos	4.1.3	mgcv	1,8-40
mímica	0,12	miniUI	0.1.1.1	Métricas do Modelo	1.2.2.2
modelador	0.1.9	Munsell	0.5.0	nlme	3.1-157
nnet	7.3-17	numDerivado	2016.8-1.1	openssl	2.0.2
paralelo	4.1.3	em paralelo	1.32.1	pilar	1.8.1
pkgbuild	1.3.1	pkgconfig	2.0.3	pacote	2.0.6
pacote	1.3.0	plogr	0.2.0	alicate	1.8.7
louvar	1.0.0	unidades bonitas	1.1.1	pROC	1.18.0
processox	3.7.0	prodlim	13/11/2019	profvis	0.3.7
progresso	1.2.2	progressista	0.11.0	promessas	1.2.0.1
protótipo	1.0.0	proxy	0,4-27	ps	1.7.1
ronronar	0.3.4	r2d3	0.2.6	R6	2.5.1
trapo	1.2.2	floresta aleatória	4.7-1.1	rappdirs	0.3.3
rcmdcheck	1.4.0	RColorBrewer	1.1-3	Rcpp	1.0.9
RcppEigen	0.3.3.9.2	leitor	2.1.2	readxl	1.4.1
receitas	1.0.1	revanche	1.0.1	revanche2	2.1.2
controles remotos	2.4.2	reprex	2.0.2	remodelar2	1.4.4
rlang	1.0.5	rmarkdown	2.16	RODBC	1.3-19
roxygen2	7.2.1	rpart	4.1.16	rprojroot	2.0.3
Reserve	1.8-11	RSQLite	2.2.16	rstudioapi	0,14
rversions	2.1.2	colheita	1.0.3	atrevimento	0.4.2
escala	1.2.1	seletor	0,4-2	informações da sessão	1.2.2
forma	1.4.6	brilhante	1.7.2	ferramentas de origem	0.1.7
Sparklyr	1.7.8	SparkR	3.3.0	espacial	7.3-11
splines	4.1.3	sqldf	0,4-11	QUADRADO	2021.1
estatísticas	4.1.3	estatísticas4	4.1.3	stringi	1.7.8
stringr	1.4.1	sobrevivência	3.4-0	sistema	3.4
fontes do sistema	1.0.4	tcltk	4.1.3	teste que	3.1.4
formatação de texto	0.3.6	tibble	3.1.8	mais organizado	1.2.0
tidyselect	1.1.2	tidyverse	1.3.2	data e hora	4021.104
tinytex	0,41	Ferramentas	4.1.3	tzdb	0.3.0
verificador de url	1.0.1	usethis	2.1.6	utf8	1.2.2
utilitários	4.1.3	uuid	1.1-0	vctrs	0.4.1
viridisLite	0.4.1	vrum	1.5.7	Waldo	0.4.0
bigode	0,4	com	2.5.0	xfun	0,32
xml2	1.3.3	xopen	1.0.0	tabela cruzada	1,8-4
yaml	2.3.5	zíper	2.2.0

Bibliotecas Java e Scala instaladas (Scala versão cluster 2.12)

ID do grupo	ID do artefato	Versão
formiga	formiga	2.7.7
com.amazonaws	Amazon- cliente Kinesis	1.12.0
com.amazonaws	aws-java-sdk-autoscale	1.12.189
com.amazonaws	aws-java-sdk-cloudformation	1.12.189
com.amazonaws	aws-java-sdk-cloudfront	1.12.189
com.amazonaws	aws-java-sdk-cloudhsm	1.12.189
com.amazonaws	aws-java-sdk-cloudsearch	1.12.189
com.amazonaws	aws-java-sdk-cloudtrail	1.12.189
com.amazonaws	aws-java-sdk-cloudwatch	1.12.189
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.189
com.amazonaws	aws-java-sdk-codedeploy	1.12.189
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.189
com.amazonaws	aws-java-sdk-cognitosync	1.12.189
com.amazonaws	aws-java-sdk-config	1.12.189
com.amazonaws	aws-java-sdk-core	1.12.189
com.amazonaws	aws-java-sdk-datapipeline	1.12.189
com.amazonaws	aws-java-sdk-directconnect	1.12.189
com.amazonaws	diretório aws-java-sdk	1.12.189
com.amazonaws	aws-java-sdk-dynamodb	1.12.189
com.amazonaws	aws-java-sdk-ec2	1.12.189
com.amazonaws	aws-java-sdk-ecs	1.12.189
com.amazonaws	aws-java-sdk-efs	1.12.189
com.amazonaws	aws-java-sdk-elasticache	1.12.189
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.189
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.189
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.189
com.amazonaws	aws-java-sdk-emr	1.12.189
com.amazonaws	aws-java-sdk-glacier	1.12.189
com.amazonaws	aws-java-sdk-glue	1.12.189
com.amazonaws	aws-java-sdk-iam	1.12.189
com.amazonaws	aws-java-sdk-importar/exportar	1.12.189
com.amazonaws	aws-java-sdk-kinesis	1.12.189
com.amazonaws	aws-java-sdk-kms	1.12.189
com.amazonaws	aws-java-sdk-lambda	1.12.189
com.amazonaws	aws-java-sdk-logs	1.12.189
com.amazonaws	aws-java-sdk-machinelearning	1.12.189
com.amazonaws	aws-java-sdk-opsworks	1.12.189
com.amazonaws	aws-java-sdk-rds	1.12.189
com.amazonaws	aws-java-sdk-redshift	1.12.189
com.amazonaws	aws-java-sdk-route53	1.12.189
com.amazonaws	aws-java-sdk-s3	1.12.189
com.amazonaws	aws-java-sdk-ses	1.12.189
com.amazonaws	aws-java-sdk-simpledb	1.12.189
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.189
com.amazonaws	aws-java-sdk-sns	1.12.189
com.amazonaws	aws-java-sdk-sqs	1.12.189
com.amazonaws	aws-java-sdk-ssm	1.12.189
com.amazonaws	aws-java-sdk-storagegateway	1.12.189
com.amazonaws	aws-java-sdk-sts	1.12.189
com.amazonaws	suporte aws-java-sdk	1.12.189
com.amazonaws	aws-java-sdk-swf-biblioteca	1.11.22
com.amazonaws	aws-java-sdk-workspace	1.12.189
com.amazonaws	jmespath-java	1.12.189
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analítica	transmissão	2.9.6
com.databricks	Reserve	1,8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	plugin_compilador_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	sombreado por crio	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	colega	1.3.4
com.fasterxml.jackson.core	anotação de Jackson	2.13.4
com.fasterxml.jackson.core	núcleo de Jackson	2.13.4
com.fasterxml.jackson.core	jackson-datab	2.13.4
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.13.4
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.13.4
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.13.4
com.fasterxml.jackson.module	jackson-módulo-paranomer	2.13.4
com.fasterxml.jackson.module	jackson-módulo-scala_2.12	2.13.4
com.github.ben-manes.caffeine	cafeína	2.3.4
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	essencial	1.1.2
com.github.fommil.netlib	referência nativa-java	1.1
com.github.fommil.netlib	native_ref-java-nativos	1.1
com.github.fommil.netlib	sistema nativo-java	1.1
com.github.fommil.netlib	native_system-java-nativos	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.luben	zstd-jni	1.5.2-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.6
com.google.crypto.tink	tinir	1.6.1
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	goiaba	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	2.0.204
com.helger	perfilador	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	ossocp	0.8.0.LANÇAMENTO
com.lihaoyi	código-fonte_2.12	0.1.9
com.microsoft.azure	azure-data lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-JDBC	9.2.1.jre8
com.ning	compress-lzf	1.1
com.sun.mail	javax.mail	1.5.2
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lentes_2.12	0.4.12
com.Twitter	chill-java	0.10.0
com.Twitter	chill_2.12	0.10.0
com.Twitter	util-app_2.12	7.1.0
com.Twitter	util-core_2.12	7.1.0
com.Twitter	função-utilitária_2.12	7.1.0
com.Twitter	util-jvm_2.12	7.1.0
com.Twitter	util-lint_2.12	7.1.0
com.Twitter	util-registry_2.12	7.1.0
com.Twitter	util-stats_2.12	7.1.0
com.typesafe	configuração	1.2.1
com.typesafe.Scala-log	Scala-logging_2.12	3.7.2
com.uber	h3	3.7.0
com.univocity	analisadores de univocidade	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-CLI	commons-CLI	1.5.0
codec comum	codec comum	1,15
coleções comuns	coleções comuns	3.2.2
commons-dbcp	commons-dbcp	1.4
upload de arquivo comum	upload de arquivo comum	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.11.0
commons-lang	commons-lang	2.6
registro comum	registro comum	1.1.3
poolcomum	poolcomum	1.5.4
dev.ludovic.netlib	arpack	2.2.1
dev.ludovic.netlib	blas	2.2.1
dev.ludovic.netlib	lapack	2.2.1
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	compressor de ar	0,21
io.delta	delta-compartilhamento-spark_2.12	0.5.1
io.dropwizard.métricas	métricas-núcleo	4.1.1
io.dropwizard.métricas	métricas-grafite	4.1.1
io.dropwizard.métricas	métricas-verificações de integridade	4.1.1
io.dropwizard.métricas	métricas-jetty9	4.1.1
io.dropwizard.métricas	métricas-jmx	4.1.1
io.dropwizard.métricas	falando-JSON	4.1.1
io.dropwizard.métricas	mercantil-JVM	4.1.1
io.dropwizard.métricas	servlets de métricas	4.1.1
io.netty	netty-all	4.1.74.Final
io.netty	netty-buffer	4.1.74.Final
io.netty	netty-codec	4.1.74.Final
io.netty	netty-comum	4.1.74.Final
io.netty	manipulador de rede	4.1.74.Final
io.netty	netty-resolver	4.1.74.Final
io.netty	classes-tcnativas netty	2.0.48.Final
io.netty	transporte netty	4.1.74.Final
io.netty	netty-transport-classes-epoll	4.1.74.Final
io.netty	netty-transport-classes-kqueue	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-aarch_64	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-x86_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-aarch_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-x86_64	4.1.74.Final
io.netty	netty-transport-nativo-unix-comum	4.1.74.Final
io.prometheus	cliente simples	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	coletor	0.12.0
jacarta.anotação	jakarta.anotação-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validação	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	ativação	1.1.1
javax.anotação	javax.anotação-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	API jdo	3.0.1
javax.transação	jta	1.1
javax.transação	API de transação	1.1
javax.xml.bind	API JAXB	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.13
net.java.dev.jna	jna	5.8.0
rede.videira de navalha	salmoura	1.2
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.floco de neve	floco de neve-ingest-sdk	0.9.6
net.floco de neve	floco de neve-JDBC	3.13.14
net.sourceforge.f2j	arpack_combinado_todos	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4,8
org.antlr	stringtemplate	3.2.1
org.apache.ant	formiga	1.9.2
org.apache.ant	formiga-jsch	1.9.2
org.apache.ant	lançador de formigas	1.9.2
org.apache.arrow	formato de seta	7.0.0
org.apache.arrow	núcleo de memória de seta	7.0.0
org.apache.arrow	rede de memória de flechas	7.0.0
org.apache.arrow	vetor de seta	7.0.0
org.apache.avro	AVRO	1.11.0
org.apache.avro	avro-ipc	1.11.0
org.apache.avro	avro-mapred	1.11.0
org.apache.commons	coleções-comuns4	4.4
org.apache.commons	commons-compress	1.21
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	texto comum	1.9
org.apache.curator	curador-cliente	2.13.0
org.apache.curator	estrutura de curadoria	2.13.0
org.apache.curator	curador-receitas	2.13.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-api	3.3.4-databricks
org.apache.hadoop	hadoop-client-runtime	3.3.4
org.apache.hive	linha de abelhas da colmeia	2.3.9
org.apache.hive	hive-CLI	2.3.9
org.apache.hive	hive-JDBC	2.3.9
org.apache.hive	cliente hive-llap	2.3.9
org.apache.hive	colmeia-llap-comum	2.3.9
org.apache.hive	colmeia-serde	2.3.9
org.apache.hive	calços de colmeia	2.3.9
org.apache.hive	API de armazenamento do Hive	2.7.2
org.apache.hive.shims	calços-colmeia-0,23	2.3.9
org.apache.hive.shims	calços-de-colmeia-comuns	2.3.9
org.apache.hive.shims	programador de calços de colmeia	2.3.9
org.apache.httpcomponents	httpclient	4.5.13
org.apache.httpcomponents	httpcore	4.4.14
org.apache.ivy	hera	2.5.0
org.apache.logging.log4j	log4j-1.2-api	2.18.0
org.apache.logging.log4j	API log4j	2.18.0
org.apache.logging.log4j	log4j-core	2.18.0
org.apache.logging.log4j	log4j-slf4j-impl	2.18.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	núcleo orc	1.7.6
org.apache.orc	orc-mapreduce	1.7.6
org.apache.orc	calços de orc	1.7.6
org.apache.parquet	coluna de parquet	1.12.0-databricks-0007
org.apache.parquet	parquet-comum	1.12.0-databricks-0007
org.apache.parquet	codificação parquet	1.12.0-databricks-0007
org.apache.parquet	estruturas em formato de parquet	1.12.0-databricks-0007
org.apache.parquet	parquet-hadoop	1.12.0-databricks-0007
org.apache.parquet	parquet-jackson	1.12.0-databricks-0007
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4.20
org.apache.yetus	anotação de público	0.5.0
org.apache.zookeeper	tratador de animais	3.6.2
org.apache.zookeeper	tratador de animais-juta	3.6.2
org.checkerframework	verificador-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	compilador comum	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	núcleo de dados	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.Eclipse.jetty	cliente do cais	9.4.46.v20220331
org.Eclipse.jetty	continuação do cais	9.4.46.v20220331
org.Eclipse.jetty	jetty-http	9.4.46.v20220331
org.Eclipse.jetty	jetty-io	9.4.46.v20220331
org.Eclipse.jetty	cais-jndi	9.4.46.v20220331
org.Eclipse.jetty	cais-mais	9.4.46.v20220331
org.Eclipse.jetty	proxy jetty	9.4.46.v20220331
org.Eclipse.jetty	segurança do cais	9.4.46.v20220331
org.Eclipse.jetty	servidor jetty	9.4.46.v20220331
org.Eclipse.jetty	servlet de cais	9.4.46.v20220331
org.Eclipse.jetty	servlets de cais	9.4.46.v20220331
org.Eclipse.jetty	jetty-util	9.4.46.v20220331
org.Eclipse.jetty	jetty-util-ajax	9.4.46.v20220331
org.Eclipse.jetty	aplicativo web jetty	9.4.46.v20220331
org.Eclipse.jetty	jetty-xml	9.4.46.v20220331
org.Eclipse.jetty.websocket	API websocket	9.4.46.v20220331
org.Eclipse.jetty.websocket	cliente websocket	9.4.46.v20220331
org.Eclipse.jetty.websocket	websocket-comum	9.4.46.v20220331
org.Eclipse.jetty.websocket	servidor websocket	9.4.46.v20220331
org.Eclipse.jetty.websocket	servlet websocket	9.4.46.v20220331
org.fusesource.leveldbjni	níveldjni-todos	1.8
org.glassfish.hk2	API hk2	2.6.1
org.glassfish.hk2	hk2-locador	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-recurso-locador	1.0.3
org.glassfish.hk2.external	aopalliance-reempacotado	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2,36
org.glassfish.jersey.containers	jersey-container-servlet-core	2,36
org.glassfish.jersey.core	cliente de Jersey	2,36
org.glassfish.jersey.core	camisa-comum	2,36
org.glassfish.jersey.core	servidor jersey	2,36
org.glassfish.jersey.inject	camisa-hk2	2,36
org.hibernate.validator	hibernate-validador	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	registro jboss	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	anotação	17.0.0
org.joda	joda-converter	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.JDBC	cliente mariadb-java	2.7.4
org.mlflow	mlflow-spark	1.27.0
org.objenesis	objenesia	2.5.1
org.postgresql	PostgreSQL	42.3.3
org.roaringbitmap	RoaringBitmap	0.9.25
org.roaringbitmap	calços	0.9.25
org.rocksdb	rocksdjni	6.24.2
org.rosuda.REngine	Motor RE	2.1.0
org.Scala-lang	Scala-compilador_2.12	2.12.14
org.Scala-lang	Scala-biblioteca_2.12	2.12.14
org.Scala-lang	Scala-reflect_2.12	2.12.14
org.Scala-lang.modules	Scala-collection-compat_2.12	2.4.3
org.Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
org.Scala-lang.modules	Scala-xml_2.12	1.2.0
org.Scala-sbt	interface de teste	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	escalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.2
org.scalanlp	brisa_2.12	1.2
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-sobre-slf4j	1.7.36
org.slf4j	jul-para-slf4j	1.7.36
org.slf4j	API slf4j	1.7.36
org.spark-project.spark	não utilizado	1.0.0
org.threeten	três dez-extra	1.5.0
org.tukaani	xz	1.8
org.typelevel	álgebra_2.12	2.0.1
org.typelevel	gatos-kernel_2.12	2.1.1
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	plataforma-spire_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-JDBC	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	yaml de cobra	1,24
ouro	ouro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.Amazon.ion	ion-java	1.0.2
stax	API stax	1.0.1