Databricks Runtime 14,1 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 14.1, alimentado por Apache Spark 3.5.0.

A Databricks lançou essa versão em outubro de 2023.

nota

Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.

dica

Para ver notas sobre a versão das versões do site Databricks Runtime que chegaram ao fim do suporte (EoS), consulte Fim do suporte Databricks Runtime notas sobre a versão. As versões do EoS Databricks Runtime foram retiradas e podem não ser atualizadas.

Novos recursos e melhorias

• array_insert () é baseado em 1 para índices negativos
• Delta Pontos de controle v2 ativados por default com líquido clustering
• Drop Delta table recurso in Public Preview
• Delta Sharing: Os destinatários podem realizar consultas de lotes em tabelas compartilhadas com vetores de exclusão (visualização pública)
• Delta Sharing: Os destinatários podem realizar várias consultas em tabelas compartilhadas com mapeamento de colunas (visualização pública)
• transmissão de Unity Catalog view in Public Preview
• Conector do Apache Pulsar na visualização pública
• Driver Snowflake atualizado
• Variáveis de sessão SQL
• Invocação de parâmetro nomeado para SQL e Python UDF.
• Os argumentos de tabela para funções suportam particionamento e ordenação.
• Funções SQL incorporadas novas e aprimoradas
• Tratamento aprimorado de subconsultas correlacionadas

array_insert () é baseado em 1 para índices negativos

A função array_insert é baseada em 1 para índices positivos e negativos. Agora ele insere um novo elemento no final das matrizes de entrada para o índice -1. Para restaurar o comportamento anterior, defina spark.sql.legacy.negativeIndexInArrayInsert como true.

Delta Pontos de controle v2 ativados por com líquido default clustering

As tabelas Delta recém-criadas com o líquido clustering usam pontos de verificação v2 por default. Consulte Compatibilidade para tabelas com clustering líquido.

Drop Delta table recurso in Public Preview

Agora o senhor pode eliminar alguns recursos de tabela para as tabelas do site Delta. O suporte atual inclui a eliminação de deletionVectors e v2Checkpoint. Consulte Drop Delta table recurso.

Delta Sharing: Os destinatários podem realizar consultas de lotes em tabelas compartilhadas com vetores de exclusão (visualização pública)

Delta Sharing Os destinatários agora podem realizar consultas de lotes em tabelas compartilhadas que usam vetores de exclusão. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas ativado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitados.

Delta Sharing: Os destinatários podem realizar várias consultas em tabelas compartilhadas com mapeamento de colunas (visualização pública)

Delta Sharing Os destinatários agora podem realizar consultas de lotes em tabelas compartilhadas que usam mapeamento de colunas. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas ativado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitados.

transmissão de Unity Catalog view in Public Preview

Agora, o senhor pode usar a transmissão estruturada para realizar leituras de transmissão a partir da visualização registrada em Unity Catalog. Databricks suporta apenas leituras de transmissão de visualizações definidas em tabelas Delta. Veja Read a Unity Catalog view como uma transmissão.

Conector do Apache Pulsar na visualização pública

Agora o senhor pode usar a transmissão estruturada para transmitir dados do Apache Pulsar em Databricks. Veja a transmissão do site Apache Pulsar.

Driver Snowflake atualizado

O driver JDBC da Snowflake agora usa a versão 3.13.33.

Variáveis de sessão SQL

Esta versão introduz a capacidade de declarar variáveis temporárias em uma sessão que podem ser definidas e, em seguida, consultadas a partir de consultas. Consulte Variáveis.

Invocação de parâmetro nomeado para SQL e Python UDF.

Agora o senhor pode usar a invocação de parâmetro nomeado no SQL e no Python UDF.

Os argumentos de tabela para funções suportam particionamento e ordenação.

Agora você pode usar as cláusulas PARTITION BY e ORDER BY para controlar como os argumentos da tabela são passados para uma função durante a invocação da função.

Funções SQL incorporadas novas e aprimoradas

As seguintes funções integradas foram adicionadas:

• from_xml: analisa um XML STRING em STRUCT.
• schema_of_xml: deriva um esquema de um XML STRING.
• session_user: Retorna o usuário de login.
• try_reflect: Retorna NULL em vez de uma exceção se um método Java falhar.

As seguintes funções integradas foram aprimoradas:

• modo: suporte para um parâmetro opcional que força um resultado determinístico.
• to_char: Novo suporte para DATE, TIMESTAMP e BINARY.
• to_varchar: Novo suporte para DATE, TIMESTAMP e BINARY.

Tratamento aprimorado de subconsultas correlacionadas

A capacidade de processar a correlação em subconsultas foi ampliada:

• Gerencie o limite e a ordem em subconsultas escalares (laterais) correlacionadas.
• Suporta funções de janela em subconsultas escalares correlacionadas.
• Suporte a referências correlacionadas em join predicados para subconsultas escalares e laterais

Mudança de comportamento

Verificação rigorosa de tipo no leitor do Photon Parquet

O Photon falha ao tentar ler um valor decimal de uma coluna Parquet que não é do tipo decimal. Photon também falha ao ler uma matriz de bytes de comprimento fixo em Parquet como uma string.

Atualizações da biblioteca

• Atualizado Python biblioteca:

  • filelock de 3.12.2 a 3.12.3
  • s3transfer de 0.6.1 para 0.6.2

• Atualizado Java biblioteca:

  • com.uber.h3 de 3.7.0 a 3.7.3
  • io.airlift.compressor de ar de 0,24 a 0,25
  • io.delta.delta-compartilhamento-spark_2.12 de 0.7.1 para 0.7.5
  • io.netty.netty-all de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-buffer de 4.1.93.Final a 4.1.96.Final
  • codec io.netty.netty de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-codec-http de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-codec-http2 de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-codec-socks de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-common de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-handler de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-handler-proxy de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-resolver de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport-classes-epoll de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport-native-epoll de 4.1.93.final-linux-x86_64 a 4.1.96.final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.93.final-OSX-x86_64 a 4.1.96.final-OSX-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.93.Final a 4.1.96.Final
  • net.snowflake.snowflake-JDBC de 3.13.29 para 3.13.33
  • org.apache.orc.orc-core de 1.9.0-shaded-protobuf para 1.9.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.9.0-shaded-protobuf para 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims de 1.9.0 a 1.9.1

Apache Spark

O Databricks Runtime 14.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-45088] [DBRRM-557] Revert "[SC-142785][Python][CONNECT] Make getitem work with duplicated column"
• [SPARK-43453] [DBRRM-557] Reverta “[SC-143135] [ps] Ignore o names de MultiIndex quando axis=1 for concat”
• [SPARK-45225] [SC-143207] [sql] XML: suporte a URL do arquivo XSD
• [SPARK-45156] [SC-142782] [sql] Envolva inputName com acentos invertidos na classe de erro NON_FOLDABLE_INPUT
• [SPARK-44910] [SC-143082] [sql] encoders.Bean não suporta superclasses com argumentos de tipo genérico
• [SPARK-43453] [SC-143135] [ps] Ignore o names de MultiIndex quando axis=1 for concat
• [SPARK-44463] [SS][connect] Melhora o tratamento de erros para o Connect steaming Python worker
• [SPARK-44960] [SC-141023] [ui] Desbloqueie e inclua um resumo de erros em todas as páginas da interface
• [SPARK-44788] [SC-142980][connect][Python][sql] Adicionar from_xml e schema_of_xml a PySpark, spark connect e função sql
• [SPARK-44614] [SC-138460][Python][CONNECT][3.5] Adicionar pacote ausente no setup.py
• [SPARK-45151] [SC-142861][core][UI] Suporte a despejo de thread no nível da tarefa
• [SPARK-45056] [SC-142779][Python][SS][connect] Testes de encerramento para streamingQueryListener e foreachBatch
• [SPARK-45084] [SC-142828] [ss] StateOperatorProgress para usar um número de partição aleatório efetivo preciso
• [SPARK-44872] [SC-142405] [conectar] Teste de servidor infra e ReattachableExecuteSuite
• [SPARK-45197] [SC-142984] [core] Faça com que StandaloneRestServer adicione JavaModuleOptions aos drivers
• [SPARK-44404] [SC-139601] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][sql] Suporte a SPJ onde a chave join é menor que a chave de clustering
• [SPARK-45088] [SC-142785][Python][CONNECT] Fazer getitem funcionar com colunas duplicadas
• [SPARK-45128] [SC-142851] [sql] Suporte CalendarIntervalType na seta
• [SPARK-45130] [SC-142976][connect][ML][Python] Evitar Spark conectar ML modelo para alterar a entrada Pandas dataframe
• [SPARK-45034] [SC-142959] [sql] Suporta função de modo determinístico
• [SPARK-45173] [SC-142931] [ui] Remova alguns arquivos de mapeamento de origem desnecessários na interface do usuário
• [SPARK-45162] [SC-142781] [sql] Mapas de suporte e parâmetros de matriz construídos via call_function
• [SPARK-45143] [SC-142840][Python][CONNECT] Tornar o PySpark compatível com o PyArrow 13.0.0
• [SPARK-45174] [SC-142837] [core] Suporte spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][connect][Python] O cliente Python deve chamar release_all
• [SPARK-36191] [SC-142777] [sql] Manipule o limite e a ordem em subconsultas escalares (laterais) correlacionadas
• [SPARK-45159] [SC-142829][Python] Tratar argumentos nomeados somente quando necessário
• [SPARK-45133] [SC-142512][connect] Fazer com que as consultas do Spark Connect sejam FINALIZADAS quando a última tarefa de resultado for concluída
• [SPARK-44801] [SC-140802] [sql] [UI] Capture analisando consultas com falha no Listener e na UI
• [SPARK-45139] [SC-142527][sql] Adicionar DatabricksDialect para lidar com a conversão do tipo SQL
• [SPARK-45157] [SC-142546] [sql] Evite verificações repetidas de if em [On|Off|HeapColumnVector
• [SPARK-45077] Reverter “[SC-142069] [ui] Atualize o dagre-d3.js de 04.3 para 0.6.4”
• [SPARK-45145] [SC-142521] [exemplo] Adicionar exemplo de JavaSparkSQLCLI
• [SPARK-43295] Reverter "[SC-142254][ps] Suporte a colunas do tipo strings para DataFrameGroupBy.sum"
• [SPARK-44915] [SC-142383] [core] Valide a soma de verificação dos dados embaralhados do PVC remontado antes da recuperação
• [SPARK-45147] [SC-142524] [core] Remova o uso de System.setSecurityManager
• [SPARK-45104] [SC-142206] [ui] Atualize graphlib-dot.min.js para 1.0.2
• [SPARK-44238] [SC-141606][core][SQL] Introduzir um novo método readFrom com entrada de array de bytes para BloomFilter
• [SPARK-45060] [SC-141742] [sql] Corrige um erro interno de to_char()no formato NULL
• [SPARK-43252] [SC-142381] [sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2016 por um erro interno
• [SPARK-45069] [SC-142279][sql] A variável SQL deve sempre ser resolvida após a referência externa
• [SPARK-44911] [SC-142388] [sql] Criar tabela de colmeia com coluna inválida deve retornar classe de erro
• [SPARK-42754] [SC-125567][sql][UI] Corrigir problema de compatibilidade com versões anteriores na execução de SQL aninhado
• [SPARK-45121] [SC-142375][connect][PS] Suporte Series.empty para o Spark Connect.
• [SPARK-44805] [SC-142203] [sql] GetBytes/GetShorts/GetInts/etc . deve funcionar em um vetor de coluna que tenha um dicionário
• [SPARK-45027] [SC-142248][Python] Ocultar funções/variáveis internas em pyspark.sql.functions do preenchimento automático
• [SPARK-45073] [SC-141791] [ps] [CONNECT] Substitua LastNotNull por Last(ignoreNulls=True)
• [SPARK-44901] [SC-141676][sql] Backport manual: Adicionar API no método Python UDTF 'analyze' para retornar expressões de particionamento/ordenação
• [SPARK-45076] [SC-141795][ps] Mudar para a função repeat integrada
• [SPARK-44162] [SC-141605][core] Suporte a G1GC nas métricas do Spark
• [SPARK-45053] [SC-141733][Python][MINOR] melhoria do registro em Python incompatibilidade de versão
• [SPARK-44866] [SC-142221][sql] Adicionar SnowflakeDialect para tratar corretamente o tipo booleano
• [SPARK-45064] [SC-141775][Python][CONNECT] Adicionar o parâmetro scale ausente no ceil/ceiling
• [SPARK-45059] [SC-141757][connect][Python] Adicionar funções try_reflect a Scala e Python
• [SPARK-43251] [SC-142280] [sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2015 por um erro interno
• [SPARK-45052] [SC-141736][sql][Python][connect] Tornar o nome da coluna de saída dos aliases de função consistente com SQL
• [SPARK-44239] [SC-141502][sql] Liberar memória alocada por vetores grandes quando os vetores são redefinidos
• [SPARK-43295] [SC-142254][ps] Suporte a colunas do tipo strings para DataFrameGroupBy.sum
• [SPARK-45080] [SC-142062][ss] Explicitamente chamar o suporte para columnar na transmissão DSv2 fonte de dados
• [SPARK-45036] [SC-141768] [sql] SPJ: simplifique a lógica para lidar com a distribuição parcialmente agrupada
• [SPARK-45077] [SC-142069] [ui] Atualize o dagre-d3.js de 0.4.3 para 0.6.4
• [SPARK-45091] [SC-142020][Python][CONNECT][sql] Function floor/round/bround accept Column type scale
• [SPARK-45090] [SC-142019][Python][CONNECT] DataFrame.{cube, rollup} support column ordinals
• [SPARK-44743] [SC-141625] [sql] Adicionar a função try_reflect
• [SPARK-45086] [SC-142052] [ui] Exibir hexadecimal para o código hash de bloqueio de thread
• [SPARK-44952] [SC-141644][sql][Python] Suporte a argumentos nomeados no agregado Pandas UDFs
• [SPARK-44987] [SC-141552] [sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730] [conectar] Corrigir avisos de compilação relacionados a Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629][connect] Adicionar testes adicionais para cliente Python e execução anexável
• [SPARK-45072] [SC-141807] [conectar] Fixar escopos externos para classes de amonite
• [SPARK-45033] [SC-141759] [sql] Suporta mapas por parametrização sql()
• [SPARK-45066] [SC-141772][sql][Python][connect] Make function repeat accept column-type n
• [SPARK-44860] [SC-141103] [sql] Adicionar a função SESSION_USER
• [SPARK-45074] [SC-141796][Python][CONNECT] DataFrame.{sort, sortWithinPartitions} support column ordinals
• [SPARK-45047] [SC-141774][Python][CONNECT] DataFrame.groupBy support ordinals
• [SPARK-44863] [SC-140798][ui] Adicionar um botão para download thread dump como um arquivo txt em Spark UI
• [SPARK-45026] [SC-141604] [connect] spark.sql deve suportar tipos de dados não compatíveis com a seta
• [SPARK-44999] [SC-141145] [core] Refatore ExternalSorter para reduzir as verificações em shouldPartition ao chamar getPartition
• [SPARK-42304] [SC-141501] [sql] Renomeie _LEGACY_ERROR_TEMP_2189 para GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][sql] Corrigir IllegalStateException ao agrupar dois conjuntos de dados derivados da mesma fonte
• [SPARK-45018] [SC-141516][Python][CONNECT] Adicionar CalendarIntervalType ao cliente Python
• [SPARK-45024] [SC-141513][Python][CONNECT] Filtrar algumas configurações na criação da sessão
• [SPARK-45017] [SC-141508][Python] Adicionar CalendarIntervalType ao PySpark
• [SPARK-44720] [SC-139375][connect] Fazer com que o conjunto de dados use o Encoder em vez do AgnosticEncoder
• [SPARK-44982] [SC-141027][connect] Marcar as configurações do servidor Spark Connect como estáticas
• [SPARK-44839] [SC-140900] [ss] [CONNECT] Melhor registro de erros quando o usuário tenta serializar a sessão do Spark
• [SPARK-44865] [SC-140905] [ss] Faça com que o StreamingRelationV2 suporte a coluna de metadados
• [SPARK-45001] [SC-141141][Python][CONNECT] Implementar DataFrame.foreachPartition
• [SPARK-44497] [SC-141017][webui] Mostrar id da partição de tarefa na tabela de tarefa
• [SPARK-45006] [SC-141143] [ui] Use o mesmo formato de data de outros elementos de data da interface do usuário para o eixo x dos cronogramas
• [SPARK-45000] [SC-141135][Python][CONNECT] Implement DataFrame.foreach
• [SPARK-44967] [SC-141137][sql][CONNECT] A unidade deve ser considerada primeiro antes de usar Boolean para TreeNodeTag
• [SPARK-44993] [SC-141088] [core] Adicione ShuffleChecksumUtils.compareChecksums reutilizando ShuffleChecksumTestHelp.compareChecksums
• [SPARK-44807] [SC-140176][connect] Adicionar dataset.metadataColumn ao cliente Scala
• [SPARK-44965] [SC-141098][Python] Ocultar funções/variáveis internas do pyspark.sql.functions
• [SPARK-44983] [SC-141030][sql] Converter binário em cadeias de caracteres por to_char para os formatos: hex, base64, utf-8
• [SPARK-44980] [DBRRM-462][sc-141024][Python][connect] Corrigir namedtuples herdados para que funcionem em createDataFrame
• [SPARK-44985] [SC-141033][core] Use toString em vez de stacktrace para tarefa reaper threadDump
• [SPARK-44984] [SC-141028][Python][CONNECT] Remove _get_alias from DataFrame
• [SPARK-44975] [SC-141013] [sql] A substituição inútil da Aritmética Binária foi resolvida
• [SPARK-44969] [SC-140957] [sql] Reutilize ArrayInsert em ArrayAppend
• [SPARK-44549] [SC-140714] [sql] Funções de janela de suporte em subconsultas escalares correlacionadas
• [SPARK-44938] [SC-140811][sql] Alterar o valor default de spark.sql.maxSinglePartitionBytes para 128m
• [SPARK-44918] [SC-140816][sql][Python] Suporte a argumentos nomeados em UDFs escalares Python/Pandas
• [SPARK-44966] [SC-140907] [core] [CONNECT] Altere o var nunca alterado para val
• [SPARK-41471] [SC-140804][sql] Reduzir Spark shuffle quando apenas um lado de join é KeyGroupedPartitioning
• [SPARK-44214] [SC-140528][core] Suporte Spark Driver Live log UI
• [SPARK-44861] [SC-140716] [conectar] jsonignore sparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519] [conectar] Adicionar contagem de linhas produzidas ao SparkListenerConnect A operação foi concluída
• [SPARK-42017] [SC-140765][Python][CONNECT] df['col_name'] deve validar o nome da coluna
• [SPARK-40178] [SC-140433][sql][COONECT] Suporte a dicas de coalescência com facilidade para PySpark e R
• [SPARK-44840] [SC-140593] [sql] Faça array_insert() baseado em 1 para índices negativos
• [SPARK-44939] [SC-140778][r] Suporte a Java 21 no SparkR SystemRequirements
• [SPARK-44936] [SC-140770][core] Simplifique o log quando o Spark HybridStore atingir o limite de memória
• [SPARK-44908] [SC-140712] [ml] [CONNECT] Corrige a funcionalidade do parâmetro FoldCol do validador cruzado
• [SPARK-44816] [SC-140717][connect] Melhorar a mensagem de erro quando a classe UDF não for encontrada
• [SPARK-44909] [SC-140710][ml] Ignorar a inicialização do distribuidor de lanternas log servidor de transmissão quando ele não estiver disponível
• [SPARK-44920] [SC-140707] [core] Use await () em vez de awaitUninterruptibly () em TransportClientFactory.createClient ()
• [SPARK-44905] [SC-140703] [sql] Stateful LastRegex causa NullPointerException na avaliação de regexp_replace
• [SPARK-43987] [SC-139594][shuffle] Separar o processamento de finalizeShuffleMerge para o pool de threads dedicados
• [SPARK-42768] [SC-140549][sql] Habilitar plano em cache para aplicar o AQE por default
• [SPARK-44741] [SC-139447] [core] Suporta MetricFilter baseado em regex em StatsdSink
• [SPARK-44751] [SC-140532] [sql] Implementação da interface de formato de arquivo XML
• [SPARK-44868] [SC-140438][sql] Converter datetime em strings por to_char/to_varchar
• [SPARK-44748] [SC-140504] [sql] Execução de consulta para a cláusula PARTITION BY nos argumentos UDTF TABLE
• [SPARK-44873] [SC-140427] Suporte a alter view com colunas aninhadas no cliente Hive
• [SPARK-44876] [SC-140431][Python] Corrigir Python UDF otimizado por seta em Spark Connect
• [SPARK-44520] [SC-137845] [sql] Substitua o termo UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY por UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY e disclosure root AE
• [SPARK-42664] [SC-139769] [conectar] Suporta a função bloomFilter para DataFrameStatFunctions
• [SPARK-43567] [SC-139227] [ps] Suporte use_na_sentinel para factorize
• [SPARK-44859] [SC-140254][ss] Corrigir nome de propriedade incorreto no documento de transmissão estruturada
• [SPARK-44822] [SC-140182][Python][SQL] Tornar Python UDTFs por default não determinístico
• [SPARK-44731] [SC-139524][Python][CONNECT] Fazer com que o TimestampNTZ funcione com literais em Python Spark Connect
• [SPARK-44836] [SC-140180][Python] Refatorar o Arrow Python UDTF
• [SPARK-44714] [SC-139238] Facilite a restrição da resolução de LCA em relação a consultas com
• [SPARK-44749] [SC-139664][sql][Python] Suporte a argumentos nomeados em Python UDTF
• [SPARK-44737] [SC-139512][sql][UI] Não deve exibir erros de formato JSON na página SQL para não SparkThrowables na guia SQL
• [SPARK-44665] [SC-139307][Python] Adicionar suporte para Pandas DataFrame assertDataFrameEqual
• [SPARK-44736] [SC-139622][connect] Adicionar dataset.explode ao cliente Spark Connect Scala
• [SPARK-44732] [SC-139422][sql] suporte à fonte de dados XML integrada
• [SPARK-44694] [SC-139213][Python][CONNECT] Refatore as sessões ativas e exponha-as como um API
• [SPARK-44652] [SC-138881] Gerar erro quando somente um df é Nenhum
• [SPARK-44562] [SC-138824][sql] Adicionar OptimizeOneRowRelationSubquery em lotes de Subquery
• [SPARK-44717] [SC-139319][Python][PS] Respeitar o TimestampNTZ na reamostragem
• [SPARK-42849] [SC-139365] [SQL] Variáveis de sessão
• [SPARK-44236] [SC-139239] [sql] Desative WholestageCodeGen ao definir spark.sql.codegen.factoryMode como NO_CODEGEN
• [SPARK-44695] [SC-139316][Python] Melhorar a mensagem de erro para DataFrame.toDF
• [SPARK-44680] [SC-139234] [sql] Melhore o erro dos parâmetros em DEFAULT
• [SPARK-43402] [SC-138321] [sql] FileSourceScanExec suporta filtro de dados push down com subconsulta escalar
• [SPARK-44641] [SC-139216] [sql] Resultado incorreto em determinados cenários quando o SPJ não é acionado
• [SPARK-44689] [SC-139219] [connect] Torne o tratamento de exceções da função SparkConnectPlanner#unpackScalarScalaUDF mais universal
• [SPARK-41636] [SC-139061] [sql] Certifique-se de que selectFilters retorne predicados em ordem determinística
• [SPARK-44132] [SC-139197][sql] Materialize Stream of join column names to avoid codegen failure
• [SPARK-42330] [SC-138838] [sql] Atribua o nome RULE_ID_NOT_FOUND à classe de erro _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][ss] O nível de registro não é passado corretamente para o provedor RocksDB armazenamento do estado
• [SPARK-44658] [SC-138868] [core] ShuffleStatus.getMapStatus deve retornar None em vez de Some(null)
• [SPARK-44603] [SC-138353] Adicionar PySpark.testing ao setup.py
• [SPARK-44252] [SC-137505] [ss] Defina uma nova classe de erro e aplique no caso em que o estado de carregamento do DFS falhe
• [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] Lança erro quando o UDF não é desserializável.
• [SPARK-44624] [DBRRM-396] [sc-138900] [CONNECT] Tente novamente o ExecutePlan caso a solicitação inicial não tenha chegado ao servidor
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Remover dependência do Connect Client Catalyst
• [SPARK-44059] [SC-138833][sql] Adicionar mensagens de erro melhores para argumentos nomeados de SQL
• [SPARK-44620] [SC-138831] [sql] [PS] [connect] Faça com que ResolvePivot retenha o Plan_ID_TAG
• [SPARK-43838] [SC-137413] [sql] Corrigir subconsulta em uma única tabela com a cláusula having não pode ser otimizada
• [SPARK-44555] [SC-138820][sql] Use checkError() para verificar a exceção no comando Suite & atribua alguns nomes de classes de erro
• [SPARK-44280] [SC-138821][sql] Adicionar convertJavaTimestampToTimestamp na API JDBCDialect
• [SPARK-44602] [SC-138337] [sql] [CONNECT] [ps] Faça com que WidenSetOperationTypes retenha o Plan_ID_TAG
• [SPARK-42941] [SC-138389][ss][CONNECT] Python StreamingQueryListener
• [SPARK-43838] Reverter “[SC-137413] [sql] Corrige a subconsulta em uma única guia...
• [SPARK-44538] [SC-138178][connect][SQL] Reinstate Row.jsonValue and friends
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Execução reutilizável no Spark Connect
• [SPARK-43838] [SC-137413] [sql] Corrigir subconsulta em uma única tabela com a cláusula having não pode ser otimizada
• [SPARK-44587] [SC-138315] [sql] [CONNECT] Aumente o limite de recursão do protobuf marshaller
• [SPARK-44605] [SC-138338][core] Refinar a API interna do ShuffleWriteProcessor
• [SPARK-44394] [SC-138291][connect][WEBUI] Adicionar uma página Spark UI para o Spark Connect
• [SPARK-44585] [SC-138286][MLlib] Corrigir condição de aviso em MLlib RankingMetrics ndcgAk
• [SPARK-44198] [SC-138137][core] Suporte à propagação do nível log para o executor
• [SPARK-44454] [SC-138071][sql][HIVE] HiveShim getTablesByType suporta fallback
• [SPARK-44425] [SC-138135] [conectar] Valide se o SessionID fornecido pelo usuário é um UUID
• [SPARK-43611] [SC-138051] [sql] [PS] [connect] Faça com que ExtractWindowExpressions retenha o PLAN_ID_TAG
• [SPARK-44560] [SC-138117][Python][CONNECT] Aprimore os testes e a documentação do Arrow Python UDF
• [SPARK-44482] [SC-138067] [conectar] O servidor de conexão deve poder especificar o endereço de ligação
• [SPARK-44528] [SC-138047] [connect] Suporta o uso adequado de hasattr () para o dataframe Connect
• [SPARK-44525] [SC-138043] [sql] Melhore a mensagem de erro quando o método Invoke não é encontrado
• [SPARK-44355] [SC-137878][sql] Mover WithCTE para consultas de comando

Suporte ao driver ODBC/JDBC da Databricks

A Databricks é compatível com drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e da atualização do site (download ODBC, download JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 14.1.

Ambiente do sistema

• Sistema operacional : Ubuntu 22.04.3 LTS
• Java : Zulu 8.72.0.17-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R : 4.3.1
• Delta Lake : 3.0.0

Instalado Python biblioteca

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
anyio	3.5.0	argônio-2-cffi	21,3,0	ligações argônio-2-cffi	21.2.0
asttokens	2.0.5	atrai	22.1.0	chamada de volta	0.2.0
linda sopa 4	4.11.1	preto	22.6.0	cândida	4.1.0
pisca-pisca	1.4	boto3	1,24,28	botocore	1,27,96
certifi	2022.12.7	caffi	1.15.1	chardet	4.0.0
normalizador de conjuntos de caracteres	2.0.4	clique	8.0.4	comunicações	0.1.2
contornar	1.0.5	criptografia	39,0,1	ciclador	0.11.0
Cython	0,29,32	databricks-sdk	0.1.6	dbus-Python	1.2.18
depurar	1.6.7	decorador	5.1.1	xml desfundido	0.7.1
distlib	0.3.7	docstring-to-markdown	0,11	pontos de entrada	0,4
execução	0,8.3	visão geral das facetas	1.1.1	esquema fastjson	2.18.0
bloqueio de arquivo	3.12.3	ferramentas de fonte	4,25.0	Biblioteca de tempo de execução do GCC	1.10.0
googleapis-common-protos	1,60,0	grócio	1.48,2	status de grpcio	1.48,1
httplib2	0,20.2	Índia	3.4	importlib-metadados	4.6.4
ipykernel	6,25,0	ipython	8.14.0	ipython-genutils	0.2.0
ipywidgets	7.7.2	jedi	0,18.1	jeepney	0.7.1
Jinja 2	3.1.2	jmespath	0.10.0	joblib	1.2.0
esquema json	4.17.3	cliente jupyter	7.3.4	servidor jupyter	1.23,4
jupyter_core	5.2.0	pigmentos jupyterlab	0.1.2	widgets jupyterlab	1.0.0
chaveiro	23,5,0	solucionador de kiwi	1.4.4	launchpadlib	1,10,16
lazr.restfulclient	0,14.4	lazr.uri	1.0.6	lxml	4.9.1
MarkupSafe	2.1.1	Matplotlib	3.7.0	matplotlib-inline	0.1.6
mccabe	0.7.0	confundir	0,8.4	mais ferramentas de iteração	8.10.0
extensões mypy	0.4.3	nbclassic	0.5.2	cliente nb	0,5.13
nbconvert	6.5.4	formato nb	5.7.0	nest-assíncio	1.5.6
nodeenv	1.8.0	notebook	6.5.2	Caderno de anotações	0.2.2
entorpecido	1,23,5	oauthlib	3.2.0	fazendo às malas	22,0
Pandas	1.5.3	filtros pandóicos	1.5.0	parso	0,8.3
especificação do caminho	0.10.3	bode expiatório	0.5.3	esperar	4.8.0
picles	0.7.5	Travesseiro	9.4.0	pip	22.3.1
platformdirs	2.5.2	Plotly	5.9.0	plugado	1.0.0
cliente prometheus	0,14.1	kit de ferramentas de aviso	3,0,36	protobuf	4,24.0
pistila	5.9.0	psycopg2	2.9.3	processo pty	0.7.0
avaliação pura	0.2.2	flecha	8.0.0	pycparser	2,21
pidântico	1.10.6	flocos	3.0.1	Pigmentos	2.11.2
Objeto PYG	3,42,1	PyJWT	2.3.0	pyodbc	4,0,32
análise de pipa	3.0.9	direito autoral	1,1,294	persistente	0,18.0
Python-dateutil	2.8.2	Python-lsp-jsonrpc	1.0.0	Python-lsp-server	1.7.1
pytoolconfig	1.2.5	pytz	2022,7	pizma	23.2,0
pedidos	2.28,1	corda	1.7.0	transferência s3	0.6.2
scikit-learn	1.1.1	marítimo	0.12.2	Armazenamento secreto	3.3.1
Enviar 2 lixeiras	1.8.0	ferramentas de configuração	65,6,3	seis	1,16.0
cheirar	1.2.0	peneira	2.3.2. Postagem 1	ID de importação ssh	5,11
dados de pilha	0.2.0	modelos de estatísticas	0,13.5	tenacidade	8.1.0
terminado	0,17.1	threadpool ctl	2.2.0	minúsculo css2	1.2.1
tokenizar-rt	4.2.1	tomli	2.0.1	tornado	6.1
almôndegas	5.7.1	extensões_de digitação	4.4.0	junhão	5.4.0
atualizações autônomas	0,1	urllib3	1,26,14	ambiente virtual	20,16.7
wadlib	1.3.6	largura do wc	0.2.5	codificações da web	0.5.1
cliente websocket	0,58,0	qual é o patch	1.0.2	Python wheel	0,38,4
extensão widgetsnb	3.6.1	yapf	0,31,0	zíper	1.0.0
SciPy	1.10.1

Instalada a R biblioteca

As bibliotecas R são instaladas a partir do pacote Posit Manager CRAN Snapshot em 2023-02-10.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
flecha	12.0.1	askpass	1.1	afirme que	0.2.1
portas traseiras	1.4.1	base	4.3.1	base64enc	0,1-3
pouco	4.0.5	bit64	4.0.5	bolha	1.2.4
inicialização	1,3-28	fermentar	1,0-8	brio	1.1.3
vassoura	1.0.5	babião	0.5.0	cachem	1,0.8
chamador	3.7.3	cursor	6,0-94	guarda de celas	1.1.0
crono	2,3-61	Aula	7,3-22	CLIPE	3.6.1
clipe	0,8.0	relógio	0.7.0	Cluster	2.1.4
ferramentas de código	0,2-19	espaço de cores	2,1-0	marca comum	1.9.0
compilador	4.3.1	configuração	0.3.1	em conflito	1.2.0
cpp11	0.4.4	giz de cera	1.5.2	Credenciais	1.3.2
cacho	5.0.1	data.tabela	1,14.8	conjunto de dados	4.3.1
DBI	1.1.3	dbplyr	2.3.3	desc	1.4.2
ferramentas de desenvolvimento	2.4.5	diagrama	1.6.5	diff	0.3.5
digerir	0,6.33	iluminado	0.4.3	dplyr	1.1.2
dtplyr	1.3.1	e1071	1,7-13	reticências	0.3.2
avalie	0,21	fansi	1.0.4	colorista	2.1.1
mapa rápido	1.1.1	fontawesome	0.5.1	para gatos	1.0.0
para cada um	1.5.2	estrangeira	0,8-82	forjar	0.2.0
fs	1.6.2	futuro	1,33,0	futuro.aplique	1.11.0
gargarejar	1.5.1	genéricas	0.1.3	obter	1.9.2
ggplot2	3.4.2	gh	1.4.0	gitcreds	0.1.2
glmnet	4,1-7	globais	0,16.2	cola	1.6.2
google drive	2.1.1	planilhas do Google 4	1.1.1	goleiro	1.0.1
gráficos	4.3.1	Dispositivos GR	4.3.1	grade	4.3.1
Grid Extra	2.3	gsubfn	0,7	mesa	0.3.3
capacete	1.3.0	refúgio	2.5.3	mais alto	0,10
HMS	1.1.3	ferramentas html	0.5.5	widgets html	1.6.2
http.uv	1.6.11	httr	1.4.6	httr2	0.2.3
IDs	1.0.1	mini	0.3.1	ipred	0,9-14
isóbanda	0.2.7	iteradores	1,0.14	jquerylib	0.1.4
jsonlite	1.8.7	Kern Smooth	2,23-21	tricotar	1,43
rótulo	0.4.2	posteriormente	1.3.1	treliça	0,21-8
lava	1.7.2.1	ciclo de vida	1.0.3	ouvindo	0.9.0
lubrificar	1.9.2	magritter	2.0.3	Markdown	1.7
MASSA	7,3-60	Matriz	1,5-4,1	memoise	2.0.1
métodos	4.3.1	mgcv	1,8-42	mímica	0,12
Mini UI	0.1.1.1	Métricas do modelo	1.2.2.2	modelar	0.1.11
munsell	0.5.0	nome	3,1-162	net	7,3-19
Número Deriv	2016,8-1,1	openssl	2.0.6	paralelo	4.3.1
paralelamente	1,36,0	pilar	1.9.0	pkgbuild	1.4.2
pkgconfig	2.0.3	pkgdown	2.0.7	carregamento de pacotes	1.3.2.1
plogr	0.2.0	plyr	1.8.8	elogio	1.0.0
unidades bonitas	1.1.1	ProC	1,18.4	processa	3.8.2
prodlim	2023,03,31	profvis	0.3.8	progresso	1.2.2
progressista	0,13,0	promessas	1.2.0.1	proto	1.0.0
proxy	0,4-27	ps	1.7.5	ronronar	1.0.1
r2d3	0.2.6	R6	2.5.1	trapo	1.2.5
Floresta aleatória	4,7-1,1	corredeiras	0.3.3	rcmdcheck	1.4.0
Cervejaria RColor	1,1-3	Rcpp	1.0.11	RCP Pegen	0.3.3.9.3
leitor	2.1.4	readxl	1.4.3	receitas	1.0.6
revanche	1.0.1	revanche 2	2.1.2	controles remotos	2.4.2
reprex	2.0.2	remodelar 2	1.4.4	rlang	1.1.1
rmarkdown	2,23	RODBC	1,3-20	roxigênio2	7.2.3
rpartem	4.1.19	rprojroot	2.0.3	Reservar	1,8-11
RSQLite	2.3.1	API do estúdio	0,15.0	reversões	2.1.2
colete	1.0.3	atrevimento	0.4.6	escala	1.2.1
seletor	0,4-2	informações da sessão	1.2.2	forma	1.4.6
brilhante	1.7.4.1	ferramentas de origem	0,1,7-1	Sparklyr	1.8.1
SparkR	3.5.0	espacial	7,3-15	splines	4.3.1
sqldf	0,4-11	QUADRADO	2021,1	estatísticas	4.3.1
estatísticas4	4.3.1	stringi	1.7.12	longarina	1.5.0
sobrevivência	3,5-5	diz	3.4.2	fontes do sistema	1.0.4
tcltk	4.3.1	teste isso	3.1.10	modelagem de texto	0.3.6
petiscar	3.2.1	arrumado	1.3.0	seleção arrumada	1.2.0
tidyverso	2.0.0	mudança de horário	0.2.0	Hora/Data	4022,108
tinytex	0,45	Ferramentas	4.3.1	tzdb	0.4.0
verificador de URL	1.0.1	use isso	2.2.2	utf 8	1.2.3
utilidades	4.3.1	uuid	1,1-0	vctrs	0.6.3
Viridis Lite	0.4.2	vadouro	1.6.3	waldo	0.5.1
bigode	0.4.1	murchar	2.5.0	diversão	0,39
xml2	1.3.5	xopen	1.0.0	x estável	1,8-4
yaml	2.3.7	compactar	2.3.0

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)

ID do grupo	ID do artefato	Versão
chifre	chifre	2.7.7
com.amazonaws	Amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscale	1,12.390
com.amazonaws	formação de nuvem aws-java-sdk	1,12.390
com.amazonaws	aws-java-sdk-cloudfront	1,12.390
com.amazonaws	aws-java-sdk-cloudhsm	1,12.390
com.amazonaws	aws-java-sdk-cloudsearch	1,12.390
com.amazonaws	aws-java-sdk-cloudtrail	1,12.390
com.amazonaws	aws-java-sdk-cloudwatch	1,12.390
com.amazonaws	métricas aws-java-sdk-cloudwatch	1,12.390
com.amazonaws	aws-java-sdk-codedeploy	1,12.390
com.amazonaws	identidade cognitiva aws-java-sdk	1,12.390
com.amazonaws	aws-java-sdk-cognitosync	1,12.390
com.amazonaws	aws-java-sdk-config	1,12.390
com.amazonaws	aws-java-sdk-core	1,12.390
com.amazonaws	pipeline de dados aws-java-sdk	1,12.390
com.amazonaws	aws-java-sdk-conexão direta	1,12.390
com.amazonaws	diretório aws-java-sdk	1,12.390
com.amazonaws	aws-java-sdk-dynamodb	1,12.390
com.amazonaws	aws-java-sdk-ec2	1,12.390
com.amazonaws	aws-java-sdk-ecs	1,12.390
com.amazonaws	aws-java-sdk-efs	1,12.390
com.amazonaws	aws-java-sdk-elasticache	1,12.390
com.amazonaws	aws-java-sdk-elasticbeanstalk	1,12.390
com.amazonaws	balanceamento de carga elástico aws-java-sdk	1,12.390
com.amazonaws	transcodificador elástico aws-java-sdk-	1,12.390
com.amazonaws	aws-java-sdk-emr	1,12.390
com.amazonaws	aws-java-sdk-glacier	1,12.390
com.amazonaws	aws-java-sdk-glue	1,12.390
com.amazonaws	aws-java-sdk-iam	1,12.390
com.amazonaws	aws-java-sdk-importação/exportação	1,12.390
com.amazonaws	aws-java-sdk-kinesis	1,12.390
com.amazonaws	aws-java-sdk-kms	1,12.390
com.amazonaws	aws-java-sdk-lambda	1,12.390
com.amazonaws	aws-java-sdk-logs	1,12.390
com.amazonaws	aws-java-sdk - aprendizado de máquina	1,12.390
com.amazonaws	aws-java-sdk-opsworks	1,12.390
com.amazonaws	aws-java-sdk-rds	1,12.390
com.amazonaws	aws-java-sdk-redshift	1,12.390
com.amazonaws	aws-java-sdk-route53	1,12.390
com.amazonaws	aws-java-sdk-s3	1,12.390
com.amazonaws	aws-java-sdk-ses	1,12.390
com.amazonaws	aws-java-sdk-simpledb	1,12.390
com.amazonaws	aws-java-sdk - fluxo de trabalho simples	1,12.390
com.amazonaws	aws-java-sdk-sns	1,12.390
com.amazonaws	aws-java-sdk-sqs	1,12.390
com.amazonaws	aws-java-sdk-ssm	1,12.390
com.amazonaws	gateway de armazenamento aws-java-sdk	1,12.390
com.amazonaws	aws-java-sdk-sts	1,12.390
com.amazonaws	suporte aws-java-sdk	1,12.390
com.amazonaws	aws-java-sdk-swf-biblioteca	1.11.22
com.amazonaws	aws-java-sdk-workspace	1,12.390
com.amazonaws	jmespath-java	1,12.390
com.clearspring.analítica	transmissão	2.9.6
com.databricks	Reservar	1,8-3
com.databricks	databricks-sdk-java	0.7.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	plugin_2.12 do compilador	0,4,15-10
com.databricks.scalapb	scalapb-runtime_2.12	0,4,15-10
com.esotérico software	crio-sombreado	4.0.2
com.esotérico software	minlog	1.3.0
com.fasterxml	colega de classe	1.3.4
com.fasterxml.jackson.core	jackson-anotação	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	vinculação de dados jackson	2.15.2
formato de dados com.fasterxml.jackson.	formato de dados jackson-cbor	2.15.2
com.fasterxml.jackson.tipo de dados	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.tipo de dados	jackson-datatype-jsr310	2.15.1
com.fasterxml.jackson.module	parâmetro do módulo jackson	2.15.2
com.fasterxml.jackson.module	jackson-module-Scala.12	2.15.2
com.github.ben-manes.cafeína	cafeína	2.9.3
com.github.fommil	descarregador	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1 - nativos
com.github.fommil.netlib	sistema_nativo-java	1.1
com.github.fommil.netlib	sistema_nativo-java	1.1 - nativos
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1 - nativos
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1 - nativos
com.github.luben	zstd-jni	1,5,5-4
com.github.wendykierp	JTransforma	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	eu acho	1.9.0
com.google.propenso a erros	anotações propensas a erros	2.10.0
com.google.flatbuffers	tampões planos-java	1.12.0
com.google.goiaba	goiaba	15,0
com.google.protobuf	protobuf-java	2.6.1
com.helger	perfilador	1.1.1
com.jcraft	jsch	0,1,55
com.jolbox	bonecp	VERSÃO 0.8.0.
com.lihaoyi	código-fonte_2.12	0.1.9
com.microsoft.azure	azure-data lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-JDBC	11.2.2. jre8
comendo	comprimir-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.trunning	JSON	1,8
com.thoughtworks.paranamer	paranâmero	2.8
com.trueaccord.lenses	lentes_2.12	0.4.12
com.Twitter	chill-java	0.10.0
com.Twitter	chill_2.12	0.10.0
com.Twitter	util-app_2.12	7.1.0
com.Twitter	util-core_2.12	7.1.0
com.Twitter	função-útil_2.12	7.1.0
com.Twitter	util-jvm_2.12	7.1.0
com.Twitter	util-lint_2.12	7.1.0
com.Twitter	util-registry_2.12	7.1.0
com.Twitter	util-stats_2.12	7.1.0
com.typesafe	configuração	1.2.1
com.typesafe.Scala-logging	Scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocidade	analisadores de univocidade	2.9.1
com.zaxxer	HikaricP	4.0.3
comum-CLI	comum-CLI	1.5.0
codec comum	codec comum	1,16.0
coleções comuns	coleções comuns	3.2.2
commons-dbcp	commons-dbcp	1.4
upload de arquivo commons	upload de arquivo commons	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
linguagem comum	linguagem comum	2.6
registro de bens comuns	registro de bens comuns	1.1.3
comum-pool	comum-pool	1.5.4
dev.ludovic.netlib	mochila	3.0.3
dev.ludovic.netlib	blás	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io. airlift	compressor de ar	0,25
io.delta	delta-compartilhamento-spark_2.12	0.7.5
io.dropwizard.métricas	anotação de métricas	4.2.19
io.dropwizard.métricas	núcleo de métricas	4.2.19
io.dropwizard.métricas	métricas-grafite	4.2.19
io.dropwizard.métricas	métricas-healthchecks	4.2.19
io.dropwizard.métricas	métricas-jetty9	4.2.19
io.dropwizard.métricas	métricas-jmx	4.2.19
io.dropwizard.métricas	métricas-JSON	4.2.19
io.dropwizard.métricas	métricas-JVM	4.2.19
io.dropwizard.métricas	métricas-servlets	4.2.19
io.netty	tudo	4.1.96. Final
io.netty	netty-buffer	4.1.96. Final
io.netty	codec netty	4.1.96. Final
io.netty	netty-codec-http	4.1.96. Final
io.netty	netty-codec-http2	4.1.96. Final
io.netty	netty-codec-socks	4.1.96. Final
io.netty	netty-common	4.1.96. Final
io.netty	manipulador de limpeza	4.1.96. Final
io.netty	proxy netty-handler	4.1.96. Final
io.netty	resolvedor de rede	4.1.96. Final
io.netty	netty-tcnative-boringssl-static	2.0.61. final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-Linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-OSX-AARCH_64
io.netty	netty-tcnative-boringssl-static	2.0.61. Final-OSX-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	classes netty-tcnative	2.0.61. Final
io.netty	transporte de urtigas	4.1.96. Final
io.netty	netty-transport-classes-epoll	4.1.96. Final
io.netty	netty-transport-classes-kqueue	4.1.96. Final
io.netty	netty-transport-native-epoll	4.1.96. Final
io.netty	netty-transport-native-epoll	4.1.96. Final-Linux-AARCH_64
io.netty	netty-transport-native-epoll	4.1.96. Final-Linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.96. Final-OSX-AARCH_64
io.netty	netty-transport-native-kqueue	4.1.96. Final-OSX-x86_64
io.netty	netty-transport-native-unix-common	4.1.96. Final
io. prometheus	cliente simples	0.7.0
io. prometheus	simpleclient_common	0.7.0
io. prometheus	simpleclient_dropwizard	0.7.0
io. prometheus	gateway client_push simples	0.7.0
io. prometheus	client_servlet simples	0.7.0
io.prometheus.jmx	coletor	0.12.0
jakarta.anotação	jakarta.anotação-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validação	jakarta.validação-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.ativação	ativação	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	API de transação	1.1
javax.xml.bind	jaxb-api	2.2.11
javolução	javolução	5.5.1
junte-se	junte-se	2.14.6
hora do dia	hora do dia	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	salmoura	1.3
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	supercsv	2.2.0
net.snowflake	SDK de ingestão de flocos de neve	0.9.6
net.snowflake	floco de neve-JDBC	3,13,33
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	chá remoto - oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	modelo de string	3.2.1
org.apache.ant	formiga	1.9.16
org.apache.ant	formiga	1.9.16
org.apache.ant	lançador de formigas	1.9.16
org.apache.arrow	formato de seta	12.0.1
org.apache.arrow	núcleo de memória de seta	12.0.1
org.apache.arrow	rede de memória de seta	12.0.1
org.apache.arrow	vetor de seta	12.0.1
org.apache.avro	AVRO	1.11.2
org.apache.avro	avro-ipc	1.11.2
org.apache.avro	mapeado automaticamente	1.11.2
org.apache.commons	commons-collections4	4.4
org.apache.commons	compressa comum	1,23,0
org.apache.commons	criptomoeda comum	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	texto comum	1.10.0
org.apache.curator	curador-cliente	2.13.0
org.apache.curator	estrutura de curador	2.13.0
org.apache.curator	receitas de curadores	2.13.0
org.apache.datasketches	esboços de dados-java	3.1.0
org.apache.datasketches	memória de esboços de dados	2.0.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	tempo de execução do cliente hadoop	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	colmeia-CLI	2.3.9
org.apache.hive	hive-JDBC	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-lap-common	2.3.9
org.apache.hive	colmeia	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	API de armazenamento em nuvem	2.8.1
org.apache.hive.shims	calços de colmeia - 0,23	2.3.9
org.apache.hive.shims	calços de colmeia comuns	2.3.9
org.apache.hive.shims	hive-shims-programador	2.3.9
org.apache.httpcomponents	cliente http	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	hera	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.20.0
org.apache.logging.log4j	log4j-api	2.20.0
org.apache.logging.log4j	log4j-core	2.20.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.20.0
org.apache.mesos	mesos	Protobuf 1.11.0 sombreado
org.apache.orc	núcleo orc	Protobuf sombreado 1.9.1
org.apache.orc	orc-mapreduce	Protobuf sombreado 1.9.1
org.apache.orc	calços de orc	1.9.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	núcleo do esquema xml	2.3.0
org.apache.xbean	xbean-asm9-shaded	4,23
org.apache.yetus	audiência-anotação	0,13,0
org.apache.zookeeper	tratador	3.6.3
org.apache.zookeeper	tratador de zoológico - juta	3.6.3
org.checkerframework	xadrez igual	3,31,0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	compilador common	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	núcleo de dados-api-jdo	4.2.4
org.datanucleus	núcleo de dados	4.1.17
org.datanucleus	núcleo de dados-rdbms	4.1.19
org.datanucleus	javax.jdo	3,2,0-m3
org.Eclipse.jetty	jetty-client	9.4.52.v20230823
org.Eclipse.jetty	continuação do cais	9.4.52.v20230823
org.Eclipse.jetty	jetty-http	9.4.52.v20230823
org.Eclipse.jetty	jetty-io	9.4.52.v20230823
org.Eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.Eclipse.jetty	jetty-plus	9.4.52.v20230823
org.Eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.Eclipse.jetty	segurança do cais	9.4.52.v20230823
org.Eclipse.jetty	servidor jetty-server	9.4.52.v20230823
org.Eclipse.jetty	jutty-servlet	9.4.52.v20230823
org.Eclipse.jetty	píer de servlets	9.4.52.v20230823
org.Eclipse.jetty	jetty-util	9.4.52.v20230823
org.Eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.Eclipse.jetty	aplicativo web jetty-	9.4.52.v20230823
org.Eclipse.jetty	jetty-xml	9.4.52.v20230823
org.Eclipse.jetty.websocket	API de websoquete	9.4.52.v20230823
org.Eclipse.jetty.websocket	cliente websocket	9.4.52.v20230823
org.Eclipse.jetty.websocket	websocket-comum	9.4.52.v20230823
org.Eclipse.jetty.websocket	servidor websocket	9.4.52.v20230823
org.Eclipse.jetty.websocket	servlet websocket	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-tudo	1,8
org.glassfish.hk2	API hk2	2.6.1
org.glassfish.hk2	localizador hk2	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-recurso-locator	1.0.3
org.glassfish.hk2.external	aopalliance - reembalado	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	servlet de contêiner de camisa	2,40
org.glassfish.jersey.containers	jersey-container-servlet-core	2,40
org.glassfish.jersey.core	cliente de camisa	2,40
org.glassfish.jersey.core	camiseta comum	2,40
org.glassfish.jersey.core	servidor de camisa	2,40
org.glassfish.jersey.inject	camiseta-hk2	2,40
org.hibernate.validator	validador de hibernação	6.1.7. Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3,29,2 HA
org.jboss.logging	registro de jboss-logging	3.3.2. Final
org.jdbi	jdbi	2.63,1
org.jetbrains	anotação	17.0.0
org.joda	conversor de joda	1.7
org.jodd	núcleo nodular	3.5.2
org.json4s	json4s-ast_2.12	3,7,0-M11
org.json4s	json4s-core_2.12	3,7,0-M11
org.json4s	json4s-jackson_2.12	3,7,0-M11
org.json4s	json4s-scalap_2.12	3,7,0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.JDBC	cliente mariadb-java	2.7.9
org.mlflow	faísca de fluxo	2.2.0
org.objenesis	objênese	2.5.1
org.postgresql	PostgreSQL	42,6,0
org.roaringbitmap	Mapa de bits estrondoso	0,9,45
org.roaringbitmap	calços	0,9,45
org.rocksdb	rocksdbjni	8.3.2
org.rosuda.rEngine	Motor	2.1.0
org.Scala-lang	Scala-compiler_2.12	2.12.15
org.Scala-lang	Scala-biblioteca.12	2.12.15
org.Scala-lang	Scala-reflect_2.12	2.12.15
org.Scala-lang.modules	Scala-collection-compat_2.12	2.9.0
org.Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
org.Scala-lang.modules	Scala-xml_2.12	1.2.0
org.Scala-sbt	interface de teste	1,0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	compatível com scalatest	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	diagramas de teste de escala_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatestfreespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest - deve corresponders_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-a-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.threeten	treze e mais	1.7.1
org.tukaani	xz	1,9
org.typelevel	álgebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0,17.0
org.typelevel	spire-platform_2.12	0,17.0
org.typelevel	spire-util_2.12	0,17.0
org.typelevel	spire_2.12	0,17.0
org.wildfly.openssl	wildfly-openssl	1.1.3. Final
org.xerial	sqlite-JDBC	3,42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2,0
oro	oro	2.0.8
pt.edu.icm	Matrizes JLarge	1.5
software.Amazon.cryptools	Amazon Correcto Crypto Provider	1.6.1-linux-x86_64
software.Amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1