Pular para o conteúdo principal

Databricks Runtime 15,2 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre versões e compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 15.2, alimentado por Apache Spark 3.5.0.

A Databricks lançou essa versão em maio de 2024.

dica

Para ver as notas sobre a versão das versões do site Databricks Runtime que chegaram ao fim do suporte (EoS), consulte Fim do suporte Databricks Runtime notas sobre a versão. As versões do EoS Databricks Runtime foram retiradas e podem não ser atualizadas.

Mudanças comportamentais​

vacuum Limpa os arquivos de metadados do site COPY INTO​

Executar vacuum em uma tabela escrita com COPY INTO agora limpa os metadados não referenciados associados ao acompanhamento de arquivos ingeridos. Não há impacto na semântica operacional do COPY INTO.

a lakehouse Federation está geralmente disponível (GA)​

No site Databricks Runtime 15.2 e posteriores, os conectores da Lakehouse Federation nos seguintes tipos de banco de dados estão geralmente disponíveis (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Esta versão também apresenta as seguintes melhorias:

BY POSITION para mapeamento de colunas usando COPY INTO com arquivos CSV sem cabeçalho​

Em Databricks Runtime 15.2 e posteriores, o senhor pode usar as palavras BY POSITION key (ou a sintaxe alternativa ( col_name [ , <col_name> ... ] )) com COPY INTO para arquivos CSV sem cabeçalho para simplificar o mapeamento da coluna de origem para a coluna da tabela de destino. Consulte Parâmetros.

Reduzir o consumo de memória quando a tarefa Spark falhar com um erro Resubmitted​

Em Databricks Runtime 15.2 e posteriores, o valor de retorno do método Spark TaskInfo.accumulables() fica vazio quando a tarefa falha com um erro Resubmitted. Anteriormente, o método retornava os valores de uma tentativa anterior de tarefa bem-sucedida. Essa mudança de comportamento afeta os seguintes consumidores:

  • Spark tarefa que usa a classe EventLoggingListener.
  • Ouvintes personalizados do Spark.

Para restaurar o comportamento anterior, defina spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled como false.

A visualização de versões adaptáveis do plano de execução de consultas está desativada​

Para reduzir o consumo de memória, as versões do plano de execução de consulta adaptável (AQE) agora são desativadas pelo site default no site Spark UI. Para ativar a visualização das versões do plano AQE no site Spark UI, defina spark.databricks.sql.aqe.showPlanChangesInUI.enabled como true.

O limite de consultas retidas foi reduzido para diminuir o uso da memória do site Spark UI​

Em Databricks Runtime 15.2 e posteriores, para reduzir a memória consumida pelo Spark UI em Databricks compute, o limite do número de consultas visíveis na UI foi reduzido de 1000 para 100. Para alterar o limite, defina um novo valor usando a configuração spark.sql.ui.retainedExecutions Spark.

DESCRIBE HISTORY agora mostra colunas de clustering para tabelas que usam clustering líquido​

Quando o senhor executa uma consulta DESCRIBE HISTORY, a coluna operationParameters mostra um campo clusterBy por default para as operações CREATE OR REPLACE e OPTIMIZE. Para uma tabela Delta que usa clustering líquido, o campo clusterBy é preenchido com as colunas de clustering da tabela. Se a tabela não usar o clustering líquido, o campo estará vazio.

Novos recursos e melhorias​

O suporte para chaves primárias e estrangeiras é GA​

O suporte para chaves primárias e estrangeiras em Databricks Runtime está disponível de modo geral. A versão GA inclui as seguintes alterações nos privilégios necessários para usar chaves primárias e estrangeiras:

  • Para definir um key estrangeiro, o senhor deve ter o privilégio SELECT na tabela com o key primário ao qual o key estrangeiro se refere. O senhor não precisa ser proprietário da tabela com o endereço primário key, o que era necessário anteriormente.
  • A eliminação de uma chave primária key usando a cláusula CASCADE não requer privilégios nas tabelas que definem a chave estrangeira que faz referência à chave primária key. Anteriormente, você precisava possuir as tabelas de referência.
  • A eliminação de uma tabela que inclui restrições agora exige os mesmos privilégios que a eliminação de tabelas que não incluem restrições.

Para saber como usar chaves primárias e estrangeiras com tabelas ou visualizações, consulte a cláusula CONSTRAINT, a cláusula ADD CONSTRAINT e a cláusula DROP CONSTRAINT.

Liquid clustering é GA​

O suporte para o líquido clustering agora está disponível de forma geral usando o Databricks Runtime 15.2 e o acima. Consulte Usar clustering líquido para tabelas.

A ampliação de texto está na pré-visualização pública​

Agora o senhor pode ativar a ampliação de tipos em tabelas apoiadas pelo Delta Lake. Tabelas com ampliação de tipo ativada permitem alterar o tipo de colunas para um tipo de dados mais amplo sem reescrever os arquivos de dados subjacentes. Consulte Ampliação de tipos.

A cláusula evolução do esquema foi adicionada ao site SQL merge syntax​

Agora o senhor pode adicionar a cláusula WITH SCHEMA EVOLUTION a uma declaração SQL merge para permitir a evolução do esquema para as operações. Consulte a sintaxe da evolução do esquema para merge.

PySpark fontes de dados personalizadas estão disponíveis em Public Preview​

Um DataSource PySpark pode ser criado usando o DataSource Python (PySpark) API, que permite a leitura de fontes de dados personalizadas e a gravação em coletores de dados personalizados em Apache Spark usando Python. Consulte PySpark fonte de dados personalizada

As funções definidas pelo usuário (UDFs) agora estão disponíveis para instâncias do Graviton habilitadas para o Unity Catalog​

Agora o senhor pode usar UDFs em instâncias do Graviton habilitadas para o Unity Catalog para salvar e reutilizar a lógica personalizada em Python e SQL. Consulte Funções definidas pelo usuário (UDFs) no Unity Catalog.

applyInPandas e mapInPandas agora disponíveis em Unity Catalog compute com modo de acesso compartilhado​

Como parte de uma versão de manutenção Databricks Runtime 14.3 LTS, os tipos applyInPandas e mapInPandas UDF agora são compatíveis com o modo de acesso compartilhado compute executando Databricks Runtime 14.3 e acima.

Use dbutils.widgets.getAll () para obter todos os widgets em um Notebook​

Use dbutils.widgets.getAll() para obter todos os valores de widget em um Notebook. Isso é especialmente útil ao passar vários valores de widgets para uma consulta Spark SQL.

vacuum suporte de estoque​

Agora o senhor pode especificar um inventário de arquivos a serem considerados ao executar o comando VACUUM em uma tabela Delta. Consulte os documentos do OSS Delta.

Suporte para funções de compressão Zstandard​

Agora você pode usar as funções zst_compress, zstd_decompress e try_zstd_decompress para compactar e descompactar BINARY dados.

Correções de bugs​

Os planos de consulta na interface do usuário do SQL agora são exibidos corretamente PhotonWriteStage​

Quando exibido na UI SQL, o comando write nos planos de consulta mostrava incorretamente PhotonWriteStage como um operador. Com esta versão, a interface do usuário é atualizada para mostrar PhotonWriteStage como um palco. Essa é apenas uma alteração na interface do usuário e não afeta a forma como as consultas são executadas.

O Ray foi atualizado para corrigir problemas com a inicialização do Ray clustering​

Este lançamento inclui uma versão corrigida do Ray que corrige uma alteração que impede que o clustering do Ray seja iniciado com o Databricks Runtime for Machine Learning. Essa alteração garante que a funcionalidade do Ray seja idêntica às versões do Databricks Runtime anteriores à 15.2.

Classe de erro corrigida para as funções DataFrame.sort() e DataFrame.sortWithinPartitions()​

Esta versão inclui uma atualização das funções PySpark DataFrame.sort() e DataFrame.sortWithinPartitions() para garantir que a classe de erro ZERO_INDEX seja lançada quando 0 for passado como argumento de índice. Anteriormente, a classe de erro INDEX_NOT_POSITIVE era lançada.

ipywidgets foi rebaixado de 8.0.4 para 7.7.2​

Para corrigir erros introduzidos por uma atualização do ipywidgets para a versão 8.0.4 no Databricks Runtime 15.0, o ipywidgets foi rebaixado para a versão 7.7.2 no Databricks Runtime 15.2. Essa é a mesma versão incluída nas versões anteriores do Databricks Runtime.

Atualizações da biblioteca​

  • Atualizado Python biblioteca:

    • GitPython a partir de 3.1.42 até 3.1.43
    • google-api-core de 2.17.1 a 2.18.0
    • google-auth de 2.28.1 a 2.29.0
    • Google Cloud Storage De 2.15.0 para 2.16.0
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • ipywidgets de 8.0.4 a 7.7.2
    • mlflow-skinny de 2.11.1 a 2.11.3
    • s3transfer de 0.10.0 para 0.10.1
    • sqlparse de 0.4.4 a 0.5.0
    • typing_extensions de 4.7.1 a 4.10.0

  • Biblioteca R atualizada:

  • Atualizado Java biblioteca:

    • com.amazonaws.aws-java-sdk-autoscale de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-config de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-core de 1.12.390 a 1.12.610
    • pipeline de dados com.amazonaws.aws-java-sdk- de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.390 a 1.12.610
    • diretório com.amazonaws.aws-java-sdk de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ecs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-efs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-emr de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-glacier de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-glue de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-iam de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-importexport de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-kms de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-lambda de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-logs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-rds de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-redshift de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-route53 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-s3 de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ses de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-fluxo de trabalho simples de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sns de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sqs de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-ssm de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-storage gateway de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-sts de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-support de 1.12.390 a 1.12.610
    • com.amazonaws.aws-java-sdk-workspace de 1.12.390 a 1.12.610
    • com.amazonaws.jmespath-java de 1.12.390 a 1.12.610

Apache Spark​

O Databricks Runtime 15.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-47941] [SC-163568] [SS] [Conectar] Propagar erros de inicialização do ForeachBatch worker aos usuários para PySpark
  • [SPARK-47412] [SC-163455] [sql] Adicionar suporte de agrupamento para LPad/RPad.
  • [SPARK-47907] [SC-163408] [sql] Coloque bang sob uma configuração
  • [SPARK-46820] [SC-157093][Python] Corrigir a regressão da mensagem de erro ao restaurar new_msg
  • [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLlib/recurso managers: structured logging migration
  • [SPARK-47890] [SC-163324][connect][Python] Adicionar funções variantes a Scala e Python.
  • [SPARK-47894] [SC-163086] [core] [WEBUI] Adicionar página Environment à interface principal
  • [SPARK-47805] [SC-163459] [ss] Implementando TTL para MapState
  • [SPARK-47900] [SC-163326] Corrige a verificação do agrupamento implícito (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][sql]Tornar as expressões compute Current Time* dobráveis
  • [SPARK-47845] [SC-163315][sql][Python][connect] Suporte ao tipo de coluna na função de divisão para Scala e Python
  • [SPARK-47754] [SC-162144] [sql] Postgres: suporte à leitura de matrizes multidimensionais
  • [SPARK-47416] [SC-163001] [sql] Adicionar novas funções ao CollationBenchmark #90339
  • [SPARK-47839] [SC-163075] [sql] Corrige bug agregado em RewriteWithExpression
  • [SPARK-47821] [SC-162967] [sql] Implemente a expressão is_variant_null
  • [SPARK-47883] [SC-163184] [sql] Torne CollectTailExec.doExecute preguiçoso com RowQueue
  • [SPARK-47390] [SC-163306] [sql] O PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][core] Adicionar um DEBUG log ao DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183] [sql] [3,5] Corrigir a regressão de desempenho do ExpressionSet em Scala 2.12
  • [SPARK-47565] [SC-161786][Python] PySpark worker pool crash resilience
  • [SPARK-47885] [SC-162989][Python][CONNECT] Tornar PySpark.recurso compatível com PySpark-connect
  • [SPARK-47887] [SC-163122] [conectar] Remova a importação não utilizada spark/connect/common.proto de spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][Python][CONNECT] Make PySpark.worker compatível com PySpark-connect
  • [SPARK-47691] [SC-161760] [sql] Postgres: Suporte a matriz multidimensional no lado da gravação
  • [SPARK-47617] [SC-162513] [sql] Adicionar infraestrutura de teste TPC-DS para agrupamentos
  • [SPARK-47356] [SC-162858] [sql] Adicionar suporte para ConcatWS & Elt (todos os agrupamentos)
  • [SPARK-47543] [SC-161234][connect][Python] Inferindo dict como MapType de Pandas DataFrame para permitir a criação de DataFrame
  • [SPARK-47863] [SC-162974] [sql] A correção começa com & termina com a implementação com reconhecimento de agrupamento para ICU
  • [SPARK-47867] [SC-162966][sql] Variante de suporte na varredura JSON.
  • [SPARK-47366] [SC-162475][sql][Python] Adicionar VariantVal para PySpark
  • [SPARK-47803] [SC-162726] [sql] Suporta conversão para variante.
  • [SPARK-47769] [SC-162841] [sql] Adicione a expressão schema_of_variant_agg.
  • [SPARK-47420] [SC-162842] [sql] Corrigir saída de teste
  • [SPARK-47430] [SC-161178] [sql] Suporte GROUP BY para MapType
  • [SPARK-47357] [SC-162751] [sql] Adicionar suporte para Upper, Lower, InitCap (todos os agrupamentos)
  • [SPARK-47788] [SC-162729][ss] Garantir o mesmo particionamento de hash para operações com estado de transmissão
  • [SPARK-47776] [SC-162291][ss] Não permitir que o agrupamento de desigualdade binária seja usado no esquema key do operador com estado
  • [SPARK-47673] [SC-162824] [ss] Implementando TTL para ListState
  • [SPARK-47818] [SC-162845][connect] Introduzir o cache de planos no SparkConnectPlanner para melhorar o desempenho das solicitações do Analyze
  • [SPARK-47694] [SC-162783] [conectar] Tornar o tamanho máximo da mensagem configurável no lado do cliente
  • [SPARK-47274] Reverter "[SC-162479][Python][SQL] Fornecer mais informações úteis...
  • [SPARK-47616] [SC-161193][sql] Adicionar documento do usuário para mapear tipos de dados Spark SQL do MySQL
  • [SPARK-47862] [SC-162837][Python][CONNECT]Corrigir a geração de arquivos proto
  • [SPARK-47849] [SC-162724][Python][CONNECT] Altere o script de liberação para liberar PySpark-connect
  • [SPARK-47410] [SC-162518] [sql] Refatore UTF8String e CollationFactory
  • [SPARK-47807] [SC-162505][Python][ML] Tornar PySpark.ml compatível com PySpark-connect
  • [SPARK-47707] [SC-161768][sql] Tratamento especial do tipo JSON para o MySQL Connector/J 5.x
  • [SPARK-47765] Reverter "[SC-162636][sql] Adicionar SET COLLATION a pars...
  • [SPARK-47081] [SC-162151] [conectar] [FOLLOW] Melhorando a usabilidade do Progress Handler
  • [SPARK-47289] [SC-161877][sql] Permitir que as extensões log informações estendidas no plano de explicação
  • [SPARK-47274] [SC-162479][Python][SQL] Fornecer um contexto mais útil para os erros PySpark DataFrame API
  • [SPARK-47765] [SC-162636][sql] Adicionar SET COLLATION às regras do analisador
  • [SPARK-47828] [SC-162722][connect][Python] DataFrameWriterV2.overwrite fails with invalid plan
  • [SPARK-47812] [SC-162696][connect] Suporte à serialização de SparkSession para ForEachBatch worker
  • [SPARK-47253] [SC-162698] [core] Permitir que o LiveEventBus pare sem esgotar completamente a fila de eventos
  • [SPARK-47827] [SC-162625][Python] Avisos ausentes para recurso obsoleto
  • [SPARK-47733] [SC-162628][ss] Adicionar métricas personalizadas para a parte do operador transformWithState do progresso da consulta
  • [SPARK-47784] [SC-162623][ss] mesclar TTLMode e TimeoutMode em um único TimeMode.
  • [SPARK-47775] [SC-162319] [sql] Ofereça suporte aos tipos escalares restantes na especificação da variante.
  • [SPARK-47736] [SC-162503] [sql] Adicionar suporte para AbstractArrayType
  • [SPARK-47081] [SC-161758] [connect] Progresso da execução da consulta de suporte
  • [SPARK-47682] [SC-162138] [sql] Suporta transmissão a partir da variante.
  • [SPARK-47802] [SC-162478] [sql] Reverter () do significado struct ( ) de volta ao significado *
  • [SPARK-47680] [SC-162318] [sql] Adicione a expressão variant_explode.
  • [SPARK-47809] [SC-162511] [sql] checkExceptionInExpression deve verificar o erro em cada modo codegen
  • [SPARK-41811] [SC-162470][Python][CONNECT] Implementar SQLStringFormatter com WithRelations
  • [SPARK-47693] [SC-162326] [sql] Adicionar otimização para comparação em minúsculas de UTF8String usada no agrupamento UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][sql] Collated strings in complex types supporting operations reverse, array_join, concat, map
  • [SPARK-46812] [SC-161535][connect][Python] Fazer com que o mapInPandas / mapInArrow suporte o ResourceProfile
  • [SPARK-47727] [SC-161982][Python] Tornar o SparkConf em nível de raiz para SparkSession e SparkContext
  • [SPARK-47406] [SC-159376] [sql] Manipule TIMESTAMP e DATETIME no MySQLDialect
  • [SPARK-47081] Reverter “[SC-161758] [conectar] Suporte à execução de consultas...
  • [SPARK-47681] [SC-162043] [sql] Adicione a expressão schema_of_variant.
  • [SPARK-47783] [SC-162222] Adicione alguns SQLStates ausentes e limpe o YY000 para usar...
  • [SPARK-47634] [SC-161558][sql] Adicionar suporte legado para desativar o mapa key normalization
  • [SPARK-47746] [SC-162022] Implemente a codificação de intervalo baseada em ordinais no RocksDBStateEncoder
  • [SPARK-47285] [SC-158340] [sql] AdaptiveSparkPlanExec deve sempre usar o context.session
  • [SPARK-47643] [SC-161534][ss][Python] Adicionar teste PySpark para a fonte de transmissão Python
  • [SPARK-47582] [SC-161943][sql] Migrar o Catalyst logInfo com variáveis para a estrutura de registro estruturado
  • [SPARK-47558] [SC-162007] [ss] Suporte TTL estadual para ValueState
  • [SPARK-47358] [SC-160912] [sql] [COLLATION] Melhore o suporte à repetição de expressões para retornar o tipo de dados correto
  • [SPARK-47504] [SC-162044] [sql] Resolver AbstractDataType SimpleStrings para StringTypeCollated
  • [SPARK-47719] Reverter “[SC-161909] [sql] Altere spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010] [sql] Implemente o suporte push down do filtro de agrupamento por fonte de arquivo
  • [SPARK-47081] [SC-161758] [connect] Progresso da execução da consulta de suporte
  • [SPARK-47744] [SC-161999] Adicionar suporte para bytes com valor negativo no codificador de intervalo
  • [SPARK-47713] [SC-162009][sql][CONNECT] Corrigir uma falha no autojoin
  • [SPARK-47310] [SC-161930][ss] Adicionar micro-benchmark para merge operações para vários valores na parte de valor do armazenamento do estado
  • [SPARK-47700] [SC-161774] [sql] Corrija a formatação de mensagens de erro com o TreeNode
  • [SPARK-47752] [SC-161993][ps][CONNECT] Tornar PySpark.pandas compatível com PySpark-connect
  • [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implementar a API logWarning/logInfo na estrutura de registro estruturado
  • [SPARK-47107] [SC-161201][ss][Python] Implementar leitor de partição para Python transmissão fonte de dados
  • [SPARK-47553] [SC-161772][ss] Adicionar suporte Java para APIs do operador transformWithState
  • [SPARK-47719] [SC-161909] [sql] Alterar spark.sql.legacy.TimeParserPolicy default para CORRECTED
  • [SPARK-47655] [SC-161761] [ss] Integre o temporizador com o tratamento inicial do estado para state-v2
  • [SPARK-47665] [SC-161550] [sql] Use SMALLINT para gravar ShortType no MYSQL
  • [SPARK-47210] [SC-161777] [sql] Adição de conversão implícita sem suporte indeterminado
  • [SPARK-47653] [SC-161767][ss] Adicionar suporte para tipos numéricos negativos e codificador de varredura de intervalo key
  • [SPARK-46743] [SC-160777] [sql] Contar erro após dobramento constante
  • [SPARK-47525] [SC-154568] [sql] Suporta junção de correlação de subconsultas em atributos do mapa
  • [SPARK-46366] [SC-151277] [sql] Use a expressão WITH em BETWEEN para evitar expressões duplicadas
  • [SPARK-47563] [SC-161183] [sql] Adicionar normalização de mapa na criação
  • [SPARK-42040] [SC-161171][sql] SPJ: Introduzir uma nova API para a partição de entrada V2 para relatar as estatísticas da partição
  • [SPARK-47679] [SC-161549][sql] Use HiveConf.getConfVars ou nomes de conf. do Hive diretamente
  • [SPARK-47685] [SC-161566] [sql] Restaure o suporte para o tipo Stream Dataset#groupBy
  • [SPARK-47646] [SC-161352] [sql] Faça try_to_number retornar NULL para entrada malformada
  • [SPARK-47366] [SC-161324][Python] Adicionar aliases PySpark e dataframe parse_json
  • [SPARK-47491] [SC-161176] [core] Adicione slf4j-api jar ao caminho da classe primeiro antes dos outros do diretório jars
  • [SPARK-47270] [SC-158741][sql] dataset.isEmpty projeta CommandResults localmente
  • [SPARK-47364] [SC-158927] [core] Faça PluginEndpoint avisar quando os plug-ins responderem a uma mensagem unidirecional
  • [SPARK-47280] [SC-158350] [sql] Remova a limitação de fuso horário para ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542] [sql] Adicione a expressão variant_get.
  • [SPARK-47559] [SC-161255] [sql] Suporte Codegen para variante parse_json
  • [SPARK-47572] [SC-161351] [sql] O Enforce Window PartitionSpec pode ser solicitado.
  • [SPARK-47546] [SC-161241][sql] Melhorar a validação ao ler a variante do Parquet
  • [SPARK-47543] [SC-161234][connect][Python] Inferindo dict como MapType de Pandas DataFrame para permitir a criação de DataFrame
  • [SPARK-47485] [SC-161194][sql][Python][connect] Criar coluna com collations em dataframe API
  • [SPARK-47641] [SC-161376][sql] Melhorar o desempenho para UnaryMinus e Abs
  • [SPARK-47631] [SC-161325] [sql] Remova o método SQLConf.parquetOutputCommitterClass não utilizado
  • [SPARK-47674] [SC-161504][core] Enable spark.metrics.appStatusSource.enabled by default
  • [SPARK-47273] [SC-161162][ss][Python] implementa a interface de gravação de transmissão de dados Python.
  • [SPARK-47637] [SC-161408] [sql] Use ErrorCapturingIdentifier em mais lugares
  • [SPARK-47497] Revert "Revert "[SC-160724][sql] Make to_csv support the output of array/struct/map/binary as pretty strings""
  • [SPARK-47492] [SC-161316] [sql] Ampliar regras de espaço em branco no lexer
  • [SPARK-47664] [SC-161475][Python][CONNECT] Validar o nome da coluna com o esquema em cache
  • [SPARK-47638] [SC-161339] [ps] [CONNECT] Ignorar validação do nome da coluna no PS
  • [SPARK-47363] [SC-161247][ss] Estado inicial sem implementação de leitor de estado para a API de estado v2.
  • [SPARK-47447] [SC-160448][sql] Permitir a leitura do Parquet TimestampLTZ como TimestampNTZ
  • [SPARK-47497] Revert "[SC-160724][sql] Make to_csv support the output of array/struct/map/binary as pretty strings"
  • [SPARK-47434] [SC-160122] [webui] Corrige o link statistics em StreamingQueryPage
  • [SPARK-46761] [SC-159045][sql] O site strings citado em um caminho JSON deve suportar caracteres ?
  • [SPARK-46915] [SC-155729] [sql] Simplifique UnaryMinus Abs e alinhe a classe de erro
  • [SPARK-47431] [SC-160919][sql] Adicionar nível de sessão default Collation
  • [SPARK-47620] [SC-161242][Python][CONNECT] Adicionar uma função auxiliar para classificar colunas
  • [SPARK-47570] [SC-161165] [ss] Integre as alterações do codificador de varredura de alcance com a implementação do cronômetro
  • [SPARK-47497] [SC-160724][sql] Fazer com que to_csv suporte a saída de array/struct/map/binary como pretty strings
  • [SPARK-47562] [SC-161166] [conectar] Fator de manipulação literal a partir de plan.py
  • [SPARK-47509] [SC-160902] [sql] Bloquear expressões de subconsulta em funções lambda e de ordem superior
  • [SPARK-47539] [SC-160750] [sql] Faça com que o valor de retorno do método castToString seja Any => UTF8String
  • [SPARK-47372] [SC-160905][ss] Adicionar suporte para codificador de estado baseado em varredura de alcance key para uso com o provedor de armazenamento do estado
  • [SPARK-47517] [SC-160642][core][SQL] Preferir Utils.bytesToString para exibição do tamanho
  • [SPARK-47243] [SC-158059][ss] Corrija o nome do pacote de StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][Python][CONNECT] Suporte a Python fonte de dados com Spark Connect
  • [SPARK-47521] [SC-160666] [core] Use Utils.tryWithResource durante a leitura aleatória de dados do armazenamento externo
  • [SPARK-47474] [SC-160522] [core] Reverta o SPARK-47461 e adicione alguns comentários
  • [SPARK-47560] [SC-160914][Python][CONNECT] Evitar RPC para validar o nome da coluna com o esquema em cache
  • [SPARK-47451] [SC-160749] [sql] Suporte to_json (variante).
  • [SPARK-47528] [SC-160727] [sql] Adicionar suporte UserDefinedType ao DataTypeUtils.canWrite
  • [SPARK-44708] Revert "[SC-160734][Python] Migrate test_reset_index assert_eq to use assertDataFrameEqual"
  • [SPARK-47506] [SC-160740] [sql] Adicione suporte a todos os formatos de fonte de arquivo para tipos de dados agrupados
  • [SPARK-47256] [SC-160784] [sql] Atribuir nomes às classes de erro _LEGACY_ERROR_TEMP_102 [4-7]
  • [SPARK-47495] [SC-160720][core] Corrigir o jar de recurso primário adicionado ao spark.jars duas vezes no modo de clustering k8s
  • [SPARK-47398] [SC-160572] [sql] Extraia uma característica para InMemoryTablesScanExec para permitir a extensão da funcionalidade
  • [SPARK-47479] [SC-160623][sql] Otimizar não pode gravar dados em relações com erro de vários caminhos log
  • [SPARK-47483] [SC-160629][sql] Adicionar suporte para agregação e join operações em arrays de collated strings
  • [SPARK-47458] [SC-160237][core] Corrigir o problema com o cálculo da tarefa concorrente máxima para o estágio de barreira
  • [SPARK-47534] [SC-160737] [sql] Mova o.a.s.variant para o.a.s.types.variant
  • [SPARK-47396] [SC-159312] [sql] Adicione um mapeamento geral para TIME WITHOUT TIME ZONE ao TimestampNtzType
  • [SPARK-44708] [SC-160734][Python] Migrar test_reset_index assert_eq para usar assertDataFrameEqual
  • [SPARK-47309] [SC-157733][sc-160398][SQL] XML: Adicionar testes de inferência de esquema para tags de valor
  • [SPARK-47007] [SC-160630] [sql] Adicione a expressão MapSort
  • [SPARK-47523] [SC-160645] [sql] Substitua o obsoleto JsonParser#getCurrentName por JsonParser#currentName
  • [SPARK-47440] [SC-160635] [sql] Corrige o envio de sintaxe não suportada para o MSSQLServer
  • [SPARK-47512] [SC-160617][ss] Tipo de tag operações usada com RocksDB armazenamento do estado instance lock acquisition/release
  • [SPARK-47346] [SC-159425][Python] Tornar o modo daemon configurável ao criar o trabalhador do planejador Python
  • [SPARK-47446] [SC-160163] [core] Faça BlockManager avisar antes removeBlockInternal
  • [SPARK-46526] [SC-156099] [sql] Suporta LIMIT em subconsultas correlacionadas em que os predicados fazem referência apenas à tabela externa
  • [SPARK-47461] [SC-160297] [core] Remova a função privada totalRunningTasksPerResourceProfile de ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][sql] Suporte a strings agrupadas em operações de matriz
  • [SPARK-47500] [SC-160627][Python][CONNECT] Tratamento do nome da coluna do fator fora do plan.py
  • [SPARK-47383] [SC-160144] [core] Suporta a configuração spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Reverter "[SQL] Support TimestampNTZ for DB2 TIMESTAMP WITH TIME ZONE"
  • [SPARK-47486] [SC-160491] [conectar] Remova o método ArrowDeserializers.getString privado não utilizado
  • [SPARK-47233] [SC-154486][connect][SS][2/2] Cliente & Lógica do servidor para o ouvinte de consulta de transmissão do lado do cliente
  • [SPARK-47487] [SC-160534] [sql] Simplifique o código em uma coerção de tipo
  • [SPARK-47443] [SC-160459] [sql] Suporte agregado de janelas para agrupamentos
  • [SPARK-47296] [SC-160457] [sql] [AGRUPAMENTO] Falha em funções não suportadas para agrupamentos não binários
  • [SPARK-47380] [SC-160164][connect] Certifique-se, no lado do servidor, de que a SparkSession é a mesma
  • [SPARK-47327] [SC-160069][sql] Mover o teste de simultaneidade da chave de classificação para o CollationFactorySuite
  • [SPARK-47494] [SC-160495][doc] Adicionar documento de migração para a mudança de comportamento da inferência de timestamp do Parquet desde o Spark 3.3
  • [SPARK-47449] [SC-160372] [ss] Testes de refatoração e divisão de lista/temporizador
  • [SPARK-46473] [SC-155663] [sql] Reutilize o método getPartitionedFile
  • [SPARK-47423] [SC-160068][sql] Collations - Definir suporte de operações para strings com collations
  • [SPARK-47439] [SC-160115][Python] Documento Python fonte de dados API em API página de referência
  • [SPARK-47457] [SC-160234][sql] Corrigir IsolatedClientLoader.supportsHadoopShadedClient para lidar com o Hadoop 3.4+
  • [SPARK-47366] [SC-159348] [sql] Implemente parse_json.
  • [SPARK-46331] [SC-152982] [sql] Removendo CodeGenFallback do subconjunto de expressões DateTime e expressão version ()
  • [SPARK-47395] [SC-159404] Adicionar collate e collation a outras APIs
  • [SPARK-47437] [SC-160117][Python][CONNECT] Corrija a classe de erro para DataFrame.sort*
  • [SPARK-47174] [SC-154483][connect][SS][1/2] SparkConnectListenerBusListener do lado do servidor para o ouvinte de consulta de transmissão do lado do cliente
  • [SPARK-47324] [SC-158720][sql] Adicionar conversão de carimbo de data/hora ausente para tipos aninhados JDBC
  • [SPARK-46962] [SC-158834][ss][Python] Adicionar interface para Python transmissão fonte de dados API e implementar Python worker para execução Python transmissão fonte de dados
  • [SPARK-45827] [SC-158498] [sql] Mover verificações de tipo de dados para CreatableRelationProvider
  • [SPARK-47342] [SC-158874] [sql] Suporte TimestampNTZ para DB2 TIMESTAMP COM FUSO HORÁRIO
  • [SPARK-47399] [SC-159378] [sql] Desativar colunas geradas em expressões com agrupamentos
  • [SPARK-47146] [SC-158247][core] Possível vazamento de thread ao fazer a classificação merge join
  • [SPARK-46913] [SC-159149] [ss] Adicione suporte para temporizadores baseados em tempo de processamento/evento com o operador transformWithState
  • [SPARK-47375] [SC-159063] [sql] Adicionar diretrizes para mapeamento de timestamp em JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282] [sql] Suporte TIMESTAMP COM FUSO HORÁRIO para H2Dialect
  • [SPARK-45827] Reverter “[SC-158498] [sql] Mova as verificações de tipo de dados para...
  • [SPARK-47208] [SC-159279] [core] Permitir a substituição da memória de sobrecarga básica
  • [SPARK-42627] [SC-158021][spark-26494][SQL] Suporte ao Oracle TIMESTAMP COM FUSO HORÁRIO LOCAL
  • [SPARK-47055] [SC-156916][Python] Atualizar o MyPy 1.8.0
  • [SPARK-46906] [SC-157205][ss] Adicionar uma verificação de mudança de operador com estado para transmissão
  • [SPARK-47391] [SC-159283] [sql] Remova a solução alternativa do caso de teste para o JDK 8
  • [SPARK-47272] [SC-158960][ss] Adicionar implementação do MapState para a API de estado v2.
  • [SPARK-47375] [SC-159278][doc][FollowUp] Corrigir um erro na opção preferTimestampNTZ do JDBC doc
  • [SPARK-42328] [SC-157363] [sql] Remova _LEGACY_ERROR_TEMP_1175 das classes de erro
  • [SPARK-47375] [SC-159261][doc][FollowUp] Corrigir a descrição da opção preferTimestampNTZ no documento JDBC
  • [SPARK-47344] [SC-159146] Estenda o erro INVALID_IDENTIFIER além de capturar '-' em um identificador sem aspas e corrija “IS! NULL” et al.
  • [SPARK-47340] [SC-159039] [sql] Altere “agrupar” no nome do tipo StringType para minúsculas
  • [SPARK-47087] [SC-157077][sql] Levantar a exceção do Spark com uma classe de erro na verificação do valor de configuração
  • [SPARK-47327] [SC-158824] [sql] Corrija o problema de segurança de threads no ICU Collator
  • [SPARK-47082] [SC-157058] [sql] Corrige condição de erro fora dos limites
  • [SPARK-47331] [SC-158719][ss] Serialização usando classes de caso/primitivos/POJO com base no codificador SQL para a API de estado arbitrário v2.
  • [SPARK-47250] [SC-158840][ss] Adicionar validações adicionais e alterações NERF para o provedor de estado RocksDB e uso de famílias de colunas
  • [SPARK-47328] [SC-158745] [sql] Renomeie o agrupamento UCS_BASIC para UTF8_BINARY
  • [SPARK-47207] [SC-157845] [core] Suporte spark.driver.timeout e DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][doc] Adicionar documento de migração: Inferência de tipo TimestampNTZ em arquivos Parquet
  • [SPARK-47309] [SC-158827] [sql] [XML] Adicionar testes de unidade de inferência de esquema
  • [SPARK-47295] [SC-158850] [sql] Foi adicionado o ICU StringSearch para as funções startsWith e endsWith
  • [SPARK-47343] [SC-158851][sql] Corrigir NPE quando o valor da variável sqlString é uma cadeia de caracteres nula na execução imediata
  • [SPARK-46293] [SC-150117][connect][Python] Usar dependência transitiva protobuf
  • [SPARK-46795] [SC-154143] [sql] Substitua UnsupportedOperationException por SparkUnsupportedOperationException em sql/core
  • [SPARK-46087] [SC-149023][Python] Sincronizar dependências de PySpark em documentos e requisitos de desenvolvimento
  • [SPARK-47169] [SC-158848] [sql] Desativar o agrupamento em colunas agrupadas
  • [SPARK-42332] [SC-153996] [sql] Alterando o requisito para um SparkException em ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498] [sql] Mover verificações de tipo de dados para CreatableRelationProvider
  • [SPARK-47341] [SC-158825][connect] Substituir comando por relações em alguns testes no SparkConnectClientSuite
  • [SPARK-43255] [SC-158026] [sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2020 por um erro interno
  • [SPARK-47248] [SC-158494][sql][COLLATION] Suporte aprimorado à função de cadeias de caracteres: contains
  • [SPARK-47334] [SC-158716] [sql] Faça com que withColumnRenamed reutilize a implementação do withColumnsRenamed
  • [SPARK-46442] [SC-153168] [sql] O DS V2 suporta push down PERCENTILE_CONT e PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][sql] Adicionado Scala.MatchError manipulação dentro de QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][sql] Adicionar tipo de variante de singleton para Java
  • [SPARK-47337] [SC-158743][sql][Docker] Atualize a versão do DB2 Docker Image para 11.5.8.0
  • [SPARK-47302] [SC-158609] [sql] Coletar palavra-chave como identificador
  • [SPARK-46817] [SC-154196][core] Corrija o uso do spark-daemon.sh adicionando o comando decommission
  • [SPARK-46739] [SC-153553] [sql] Adicionar a classe de erro UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253] [sql] Adicione o sinalizador de configuração COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][sql][AVRO] Usar mapreduce.output.fileoutputformat.compress em vez do obsoleto mapred.output.compress no trabalho de gravação Avro
  • [SPARK-45245] [SC-146961][Python][CONNECT] PythonWorkerFactory: Tempo limite se worker não se conectar novamente.
  • [SPARK-46835] [SC-158355][sql][Colocações] suporte de junção para colocações não binárias
  • [SPARK-47131] [SC-158154][sql][COLLATION] suporte à função de cadeias de caracteres: contains, startswith, endswith
  • [SPARK-46077] [SC-157839] [sql] Considere o tipo gerado pelo TimestampNtzConverter em jdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][sql][Python] Suprimir exceções de Python quando PySpark não estiver no caminho Python
  • [SPARK-47319] [SC-158599] [sql] Melhore o cálculo de entradas ausentes
  • [SPARK-47316] [SC-158606] [sql] Corrigir timestampNTZ na matriz Postgres
  • [SPARK-47268] [SC-158158] [sql] [Agrupamentos] Suporte para repartição com agrupamentos
  • [SPARK-47191] [SC-157831][sql] Evite a pesquisa de relação desnecessária ao liberar a tabela/view
  • [SPARK-47168] [SC-158257][sql] Desativar o pushdown do filtro Parquet ao trabalhar com o default não agrupado strings
  • [SPARK-47236] [SC-158015] [core] Corrija deleteRecursivelyUsingJavaIO para ignorar a entrada de arquivo não existente
  • [SPARK-47238] [SC-158466][sql] Reduzir o uso de memória do executor tornando o código gerado no WSCG uma variável de transmissão
  • [SPARK-47249] [SC-158133] [connect] Corrige bug em que todas as execuções de conexão são consideradas abandonadas, independentemente de seu status real
  • [SPARK-47202] [SC-157828][Python] Corrigir erro de digitação ao quebrar datetimes com tzinfo
  • [SPARK-46834] [SC-158139] [sql] [Agrupamentos] Suporte para agregados
  • [SPARK-47277] [SC-158351] [3,5] PySpark A função util assertDataFrameEqual não deve suportar a transmissão DF
  • [SPARK-47155] [SC-158473][Python] Corrigir problema de classe de erro
  • [SPARK-47245] [SC-158163] [sql] Melhore o código de erro para INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425] [core] Adicione uma mensagem de aviso em Dependency quando um número muito grande de blocos aleatórios precisar ser criado.
  • [SPARK-47277] [SC-158329] PySpark A função util assertDataFrameEqual não deve suportar a transmissão DF
  • [SPARK-47293] [SC-158356] [core] Crie batchSchema com SparkSchema em vez de anexar um por um
  • [SPARK-46732] [SC-153517] [connect] Faça o thread de subconsulta/transmissão funcionar com o gerenciamento de artefatos do Connect
  • [SPARK-44746] [SC-158332][Python] Adicionar mais documentação Python UDTF para funções que aceitam tabelas de entrada
  • [SPARK-47120] [SC-157517][sql] O filtro de dados push down de comparação nula da subconsulta produz NPE no filtro Parquet
  • [SPARK-47251] [SC-158291][Python] Bloquear tipos inválidos do argumento args para o comando sql
  • [SPARK-47251] Reverter "[SC-158121][Python] Bloquear tipos inválidos do argumento args para sql comando".
  • [SPARK-47015] [SC-157900] [sql] Desativar o particionamento em colunas agrupadas
  • [SPARK-46846] [SC-154308] [core] Faça com que WorkerResourceInfo estenda Serializable explicitamente
  • [SPARK-46641] [SC-156314][ss] Adicionar limite maxBytesPerTrigger
  • [SPARK-47244] [SC-158122] [connect] SparkConnectPlanner torna as funções internas privadas
  • [SPARK-47266] [SC-158146] [conectar] Faça com que ProtoUtils.abbreviate retorne o mesmo tipo da entrada
  • [SPARK-46961] [SC-158183] [ss] Usando ProcessorContext para armazenar e recuperar o identificador
  • [SPARK-46862] [SC-154548][sql] Desativar a poda de coluna CSV no modo multilinha
  • [SPARK-46950] [SC-155803][core][SQL] Alinhar not available codec classe de erro
  • [SPARK-46368] [SC-153236][core] Suporte readyz na API de envio REST
  • [SPARK-46806] [SC-154108][Python] Melhorar a mensagem de erro para spark.table quando o tipo de argumento estiver errado
  • [SPARK-47211] [SC-158008][connect][Python] Corrigir o agrupamento ignorado das strings do PySpark Connect
  • [SPARK-46552] [SC-151366] [sql] Substitua UnsupportedOperationException por SparkUnsupportedOperationException em catalyst
  • [SPARK-47147] [SC-157842][Python][SQL] Corrigir o erro de conversão de strings agrupadas do PySpark
  • [SPARK-47144] [SC-157826][connect][SQL][Python] Corrija o erro de agrupamento do Spark Connect adicionando o campo collateId protobuf
  • [SPARK-46575] [SC-153200] [sql] [HIVE] Faça hiveThriftServer 2. StartWithContext Desenvolva uma API recuperável e corrija a fragilidade do ThriftServer com SparkContext no HttpSuite
  • [SPARK-46696] [SC-153832] [core] No ResourceProfileManager, as chamadas de função devem ocorrer após as declarações de variáveis
  • [SPARK-47214] [SC-157862][Python] Criar UDTF API para o método 'analyze' para diferenciar argumentos NULL constantes e outros tipos de argumentos
  • [SPARK-46766] [SC-153909][sql][AVRO] Suporte ao Buffer pool do ZSTD para a fonte de dados AVRO
  • [SPARK-47192] [SC-157819] Converta alguns erros _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][ss] Adicionar suporte para ListState na API de estado arbitrário v2.
  • [SPARK-46881] [SC-154612] [core] Suporte spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107] [core] Suporte spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][sql] Corrigir o bug que usa o codec de compactação Parquet incorreto lz4raw
  • [SPARK-46791] [SC-154018][sql] Suporte a Java Set em JavaTypeInference
  • [SPARK-46332] [SC-150224] [sql] Migrar CatalogNotFoundException para a classe de erro CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][sql] Fazer com que o valor padrão do tipo mais amplo e literal estreito da v2 se comporte da mesma forma que a v1
  • [SPARK-46664] [SC-153181][core] Melhorar Master para se recuperar rapidamente em caso de zero worker e aplicativos
  • [SPARK-46759] [SC-153839][sql][AVRO] Codec xz e zstandard suportam nível de compressão para arquivos avro

Suporte ao driver ODBC/JDBC da Databricks​

A Databricks oferece suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e da atualização do site (download ODBC, download JDBC).

Consulte as atualizações de manutenção do Databricks Runtime 15.2.

Ambiente do sistema​

  • Sistema operacional : Ubuntu 22.04.4 LTS
  • Java : Zulu 8.74.0.17-CA-linux64
  • Scala : 2.12.15
  • Python : 3.11.0
  • R : 4.3.2
  • Delta Lake : 3.2.0

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

asttokens

2.0.5

atunparse

1.6.3

núcleo do azure

1.30,1

azure-storage-blob

12.19.1

azure-storage-file-datalake

12,14.0

chamada de volta

0.2.0

preto

23,3,0

pisca-pisca

1.4

boto3

1,34,39

botocore

1,34,39

ferramentas de cache

5.3.3

certifi

2023,7,22

caffi

1.15.1

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.4

salmoura

2.2.1

comunicações

0.1.2

contornar

1.0.5

criptografia

41,0.3

ciclador

0.11.0

Cython

0,29,32

databricks-sdk

0,20,0

dbus-Python

1.2.18

depurar

1.6.7

decorador

5.1.1

distlib

0.3.8

pontos de entrada

0,4

execução

0,8.3

visão geral das facetas

1.1.1

bloqueio de arquivo

3.13.1

ferramentas de fonte

4,25.0

gitdb

4.0.11

GitPython

3.1.43

google-api-core

2.18.0

autenticação do Google

2.29.0

google-cloud-core

2.4.1

Google Cloud Storage

2.16.0

google-crc32c

1.5.0

mídia retomável do Google

2.7.0

googleapis-common-protos

1,63,0

grócio

1,60,0

status de grpcio

1,60,0

httplib2

0,20.2

Índia

3.4

importlib-metadados

6.0.0

núcleo ipyflow

0,0.198

ipykernel

6.25.1

ipython

8.15.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

isodato

0.6.1

jedi

0,18.1

jeepney

0.7.1

jmespath

0.10.0

joblib

1.2.0

jupyter_client

7.4.9

jupyter_core

5.3.0

chaveiro

23,5,0

solucionador de kiwi

1.4.4

launchpadlib

1,10,16

lazr.restfulclient

0,14.4

lazr.uri

1.0.6

Matplotlib

3.7.2

matplotlib-inline

0.1.6

malflow-skinny

2.11.3

mais ferramentas de iteração

8.10.0

extensões mypy

0.4.3

nest-assíncio

1.5.6

entorpecido

1,23,5

oauthlib

3.2.0

fazendo às malas

23,2

Pandas

1.5.3

parso

0,8.3

especificação do caminho

0.10.3

bode expiatório

0.5.3

esperar

4.8.0

picles

0.7.5

Travesseiro

9.4.0

pip

23.2.1

platformdirs

3.10.0

Plotly

5.9.0

kit de ferramentas de aviso

3,0,36

proto-plus

1,23,0

protobuf

4.24.1

pistila

5.9.0

psycopg2

2.9.3

processo pty

0.7.0

avaliação pura

0.2.2

flecha

14,0.1

pyasn1

0.4.8

módulos pyasn1

0.2.8

piccolo

0,0,52

pycparser

2,21

pidântico

1.10.6

Pigmentos

2.15.1

Objeto PYG

3,42,1

PyJWT

2.3.0

pyodbc

4,0,38

análise de pipa

3.0.9

Python-dateutil

2.8.2

Python-lsp-jsonrpc

1.1.1

pytz

2022,7

PyYAML

6,0

pizma

23.2,0

pedidos

2,31,0

rsa

4,9

transferência s3

0.10.1

scikit-learn

1.3.0

pegajoso

1.11.1

marítimo

0.12.2

Armazenamento secreto

3.3.1

ferramentas de configuração

68,0,0

seis

1,16.0

tapa

5.0.1

sqlparse

0.5.0

ID de importação ssh

5,11

dados de pilha

0.2.0

modelos de estatísticas

0.14.0

tenacidade

8.2.2

threadpool ctl

2.2.0

tokenizar-rt

4.2.1

tornado

6.3.2

almôndegas

5.7.1

extensões_de digitação

4.10.0

tzdata

2022,1

junhão

5.4.0

atualizações autônomas

0,1

urllib3

1,26,16

ambiente virtual

20.24.2

wadlib

1.3.6

largura do wc

0.2.5

Python wheel

0,38,4

zíper

3.11.0

Instalada a R biblioteca​

As bibliotecas R são instaladas a partir do pacote Posit Manager CRAN Snapshot.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

flecha

14.0.0.2

askpass

1.2.0

afirme que

0.2.1

portas traseiras

1.4.1

base

4.3.2

base64enc

0,1-3

Grande D

0.2.0

pouco

4.0.5

bit64

4.0.5

bitops

1,0-7

bolha

1.2.4

inicialização

1,3-28

fermentar

1,0-10

brio

1.1.4

vassoura

1.0.5

babião

0.6.1

cachem

1,0.8

chamador

3.7.3

cursor

6,0-94

guarda de celas

1.1.0

crono

2,3-61

Aula

7,3-22

CLIPE

3.6.2

clipe

0,8.0

relógio

0.7.0

Cluster

2.1.4

ferramentas de código

0,2-19

espaço de cores

2,1-0

marca comum

1.9.1

compilador

4.3.2

configuração

0.3.2

em conflito

1.2.0

cpp11

0.4.7

giz de cera

1.5.2

Credenciais

2.0.1

cacho

5.2.0

data.tabela

1,15.0

conjunto de dados

4.3.2

DBI

1.2.1

dbplyr

2.4.0

desc

1.4.3

ferramentas de desenvolvimento

2.4.5

diagrama

1.6.5

diff

0.3.5

digerir

0,6,34

iluminado

0.4.3

dplyr

1.1.4

dtplyr

1.3.1

e1071

1,7-14

reticências

0.3.2

avalie

0,23

fansi

1.0.6

colorista

2.1.1

mapa rápido

1.1.1

fontawesome

0.5.2

para gatos

1.0.0

para cada um

1.5.2

estrangeira

0,8-85

forjar

0.2.0

fs

1.6.3

futuro

1.33.1

futuro.aplique

1.11.1

gargarejar

1.5.2

genéricas

0.1.3

obter

2.0.1

ggplot2

3.4.4

gh

1.4.0

git2r

0,33,0

gitcreds

0.1.2

glmnet

4,1-8

globais

0,16.2

cola

1.7.0

google drive

2.1.1

planilhas do Google 4

1.1.1

goleiro

1.0.1

gráficos

4.3.2

Dispositivos GR

4.3.2

grade

4.3.2

Grid Extra

2.3

gsubfn

0,7

gt

0.10.1

mesa

0.3.4

capacete

1.3.1

refúgio

2.5.4

mais alto

0,10

HMS

1.1.3

ferramentas html

0.5.7

widgets html

1.6.4

http.uv

1.6.14

httr

1.4.7

httr2

1.0.0

IDs

1.0.1

mini

0.3.1

ipred

0,9-14

isóbanda

0.2.7

iteradores

1,0.14

jquerylib

0.1.4

jsonlite

1.8.8

suco suculento

0.1.0

Kern Smooth

2,23-21

tricotar

1,45

rótulo

0.4.3

posteriormente

1.3.2

treliça

0,21-8

lava

1.7.3

ciclo de vida

1.0.4

ouvindo

0.9.1

lubrificar

1.9.3

magritter

2.0.3

Markdown

1,12

MASSA

7,3-60

Matriz

1,5-4,1

memoise

2.0.1

métodos

4.3.2

mgcv

1,8-42

mímica

0,12

Mini UI

0.1.1.1

MLflow

2.10.0

Métricas do modelo

1.2.2.2

modelar

0.1.11

munsell

0.5.0

nome

3,1-163

net

7,3-19

Número Deriv

2016,8-1,1

openssl

2.1.1

paralelo

4.3.2

paralelamente

1,36,0

pilar

1.9.0

pkgbuild

1.4.3

pkgconfig

2.0.3

pkgdown

2.0.7

carregamento de pacotes

1.3.4

plogr

0.2.0

plyr

1.8.9

elogio

1.0.0

unidades bonitas

1.2.0

ProC

1,18.5

processa

3.8.3

prodlim

2023,08,28

profvis

0.3.8

progresso

1.2.3

progressista

0.14.0

promessas

1.2.1

proto

1.0.0

proxy

0,4-27

ps

1.7.6

ronronar

1.0.2

R6

2.5.1

trapo

1.2.7

Floresta aleatória

4,7-1,1

corredeiras

0.3.3

rcmdcheck

1.4.0

Cervejaria RColor

1,1-3

Rcpp

1.0.12

RCP Pegen

0.3.3.9.4

reagível

0.4.4

Reator R

0.5.0

leitor

2.1.5

readxl

1.4.3

receitas

1.0.9

revanche

2.0.0

revanche 2

2.1.2

controles remotos

2.4.2.1

reprex

2.1.0

remodelar 2

1.4.4

rlang

1.1.3

rmarkdown

2,25

RODBC

1,3-23

roxigênio2

7.3.1

rpartem

4.1.21

rprojroot

2.0.4

Reservar

1,8-13

RSQLite

2.3.5

API do estúdio

0,15.0

reversões

2.1.2

colete

1.0.3

atrevimento

0.4.8

escala

1.3.0

seletor

0,4-2

informações da sessão

1.2.2

forma

1.4.6

brilhante

1.8.0

ferramentas de origem

0,1,7-1

Sparklyr

1.8.4

espacial

7,3-15

splines

4.3.2

sqldf

0,4-11

QUADRADO

2021,1

estatísticas

4.3.2

estatísticas4

4.3.2

stringi

1.8.3

longarina

1.5.1

sobrevivência

3,5-5

arrogância

3.33.1

diz

3.4.2

fontes do sistema

1.0.5

tcltk

4.3.2

teste isso

3.2.1

modelagem de texto

0.3.7

petiscar

3.2.1

arrumado

1.3.1

seleção arrumada

1.2.0

tidyverso

2.0.0

mudança de horário

0.3.0

Hora/Data

4032,109

tinytex

0,49

Ferramentas

4.3.2

tzdb

0.4.0

verificador de URL

1.0.1

use isso

2.2.2

utf 8

1.2.4

utilidades

4.3.2

uuid

1,2-0

V8

4.4.1

vctrs

0.6.5

Viridis Lite

0.4.2

vadouro

1.6.5

waldo

0.5.2

bigode

0.4.1

murchar

3.0.0

diversão

0,41

xml2

1.3.6

xopen

1.0.0

x estável

1,8-4

yaml

2.3.8

fanático

0.1.0

compactar

2.3.1

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,12.610

com.amazonaws

formação de nuvem aws-java-sdk

1,12.610

com.amazonaws

aws-java-sdk-cloudfront

1,12.610

com.amazonaws

aws-java-sdk-cloudhsm

1,12.610

com.amazonaws

aws-java-sdk-cloudsearch

1,12.610

com.amazonaws

aws-java-sdk-cloudtrail

1,12.610

com.amazonaws

aws-java-sdk-cloudwatch

1,12.610

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,12.610

com.amazonaws

aws-java-sdk-codedeploy

1,12.610

com.amazonaws

identidade cognitiva aws-java-sdk

1,12.610

com.amazonaws

aws-java-sdk-cognitosync

1,12.610

com.amazonaws

aws-java-sdk-config

1,12.610

com.amazonaws

aws-java-sdk-core

1,12.610

com.amazonaws

pipeline de dados aws-java-sdk

1,12.610

com.amazonaws

aws-java-sdk-conexão direta

1,12.610

com.amazonaws

diretório aws-java-sdk

1,12.610

com.amazonaws

aws-java-sdk-dynamodb

1,12.610

com.amazonaws

aws-java-sdk-ec2

1,12.610

com.amazonaws

aws-java-sdk-ecs

1,12.610

com.amazonaws

aws-java-sdk-efs

1,12.610

com.amazonaws

aws-java-sdk-elasticache

1,12.610

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,12.610

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,12.610

com.amazonaws

transcodificador elástico aws-java-sdk-

1,12.610

com.amazonaws

aws-java-sdk-emr

1,12.610

com.amazonaws

aws-java-sdk-glacier

1,12.610

com.amazonaws

aws-java-sdk-glue

1,12.610

com.amazonaws

aws-java-sdk-iam

1,12.610

com.amazonaws

aws-java-sdk-importação/exportação

1,12.610

com.amazonaws

aws-java-sdk-kinesis

1,12.610

com.amazonaws

aws-java-sdk-kms

1,12.610

com.amazonaws

aws-java-sdk-lambda

1,12.610

com.amazonaws

aws-java-sdk-logs

1,12.610

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,12.610

com.amazonaws

aws-java-sdk-opsworks

1,12.610

com.amazonaws

aws-java-sdk-rds

1,12.610

com.amazonaws

aws-java-sdk-redshift

1,12.610

com.amazonaws

aws-java-sdk-route53

1,12.610

com.amazonaws

aws-java-sdk-s3

1,12.610

com.amazonaws

aws-java-sdk-ses

1,12.610

com.amazonaws

aws-java-sdk-simpledb

1,12.610

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,12.610

com.amazonaws

aws-java-sdk-sns

1,12.610

com.amazonaws

aws-java-sdk-sqs

1,12.610

com.amazonaws

aws-java-sdk-ssm

1,12.610

com.amazonaws

gateway de armazenamento aws-java-sdk

1,12.610

com.amazonaws

aws-java-sdk-sts

1,12.610

com.amazonaws

suporte aws-java-sdk

1,12.610

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,12.610

com.amazonaws

jmespath-java

1,12.610

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

databricks-sdk-java

0,17.1

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.15.2

com.fasterxml.jackson.core

jackson-core

2.15.2

com.fasterxml.jackson.core

vinculação de dados jackson

2.15.2

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.15.2

formato de dados com.fasterxml.jackson.

formato de dados jackson-yaml

2.15.2

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.15.2

com.fasterxml.jackson.tipo de dados

jackson-datatype-jsr310

2.16.0

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.15.2

com.fasterxml.jackson.module

jackson-module-Scala.12

2.15.2

com.github.ben-manes.cafeína

cafeína

2.9.3

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java

1.1 - nativos

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1 - nativos

com.github.fommil.netlib

netlib-native_ref-linux-x86_64

1.1 - nativos

com.github.fommil.netlib

netlib-native_system-linux-x86_64

1.1 - nativos

com.github.luben

zstd-jni

1,5,5-4

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.10.1

com.google.crypto.tink

eu acho

1.9.0

com.google.propenso a erros

anotações propensas a erros

2.10.0

com.google.flatbuffers

tampões planos-java

23,5,26

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

com.helger

perfilador

1.1.1

com.ibm.icu

icu4j

72,1

com.jcraft

jsch

0,1,55

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-JDBC

11.2.2. jre8

comendo

comprimir-lzf

1.1.2

com.sun.mail

javax.mail

1.5.2

com.sun.xml.bind

jaxb-core

2.2.11

com.sun.xml.bind

jaxb-impl

2.2.11

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0.10.0

com.Twitter

chill_2.12

0.10.0

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.4.3

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.uber

h3

3.7.3

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

4.0.3

comum-CLI

comum-CLI

1.5.0

codec comum

codec comum

1,16.0

coleções comuns

coleções comuns

3.2.2

commons-dbcp

commons-dbcp

1.4

upload de arquivo commons

upload de arquivo commons

1.5

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.13.0

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

comum-pool

comum-pool

1.5.4

dev.ludovic.netlib

mochila

3.0.3

dev.ludovic.netlib

blás

3.0.3

dev.ludovic.netlib

lapack

3.0.3

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,25

io.delta

delta-compartilhamento-client_2.12

1.0.5

io.dropwizard.métricas

anotação de métricas

4.2.19

io.dropwizard.métricas

núcleo de métricas

4.2.19

io.dropwizard.métricas

métricas-grafite

4.2.19

io.dropwizard.métricas

métricas-healthchecks

4.2.19

io.dropwizard.métricas

métricas-jetty9

4.2.19

io.dropwizard.métricas

métricas-jmx

4.2.19

io.dropwizard.métricas

métricas-JSON

4.2.19

io.dropwizard.métricas

métricas-JVM

4.2.19

io.dropwizard.métricas

métricas-servlets

4.2.19

io.netty

tudo

4.1.96. Final

io.netty

netty-buffer

4.1.96. Final

io.netty

codec netty

4.1.96. Final

io.netty

netty-codec-http

4.1.96. Final

io.netty

netty-codec-http2

4.1.96. Final

io.netty

netty-codec-socks

4.1.96. Final

io.netty

netty-common

4.1.96. Final

io.netty

manipulador de limpeza

4.1.96. Final

io.netty

proxy netty-handler

4.1.96. Final

io.netty

resolvedor de rede

4.1.96. Final

io.netty

netty-tcnative-boringssl-static

2.0.61. final-linux-aarch_64

io.netty

netty-tcnative-boringssl-static

2.0.61. Final-Linux-x86_64

io.netty

netty-tcnative-boringssl-static

2.0.61. Final-OSX-AARCH_64

io.netty

netty-tcnative-boringssl-static

2.0.61. Final-OSX-x86_64

io.netty

netty-tcnative-boringssl-static

2.0.61.Final-windows-x86_64

io.netty

classes netty-tcnative

2.0.61. Final

io.netty

transporte de urtigas

4.1.96. Final

io.netty

netty-transport-classes-epoll

4.1.96. Final

io.netty

netty-transport-classes-kqueue

4.1.96. Final

io.netty

netty-transport-native-epoll

4.1.96. Final

io.netty

netty-transport-native-epoll

4.1.96. Final-Linux-AARCH_64

io.netty

netty-transport-native-epoll

4.1.96. Final-Linux-x86_64

io.netty

netty-transport-native-kqueue

4.1.96. Final-OSX-AARCH_64

io.netty

netty-transport-native-kqueue

4.1.96. Final-OSX-x86_64

io.netty

netty-transport-native-unix-common

4.1.96. Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.11

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.12.1

net.java.dev.jna

jna

5.8.0

net.razorvine

salmoura

1.3

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.9.3

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.10.11

org.apache.ant

formiga

1.10.11

org.apache.ant

lançador de formigas

1.10.11

org.apache.arrow

formato de seta

15.0.0

org.apache.arrow

núcleo de memória de seta

15.0.0

org.apache.arrow

rede de memória de seta

15.0.0

org.apache.arrow

vetor de seta

15.0.0

org.apache.avro

AVRO

1.11.3

org.apache.avro

avro-ipc

1.11.3

org.apache.avro

mapeado automaticamente

1.11.3

org.apache.commons

commons-collections4

4.4

org.apache.commons

compressa comum

1,23,0

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

texto comum

1.10.0

org.apache.curator

curador-cliente

2.13.0

org.apache.curator

estrutura de curador

2.13.0

org.apache.curator

receitas de curadores

2.13.0

org.apache.datasketches

esboços de dados-java

3.1.0

org.apache.datasketches

memória de esboços de dados

2.0.0

org.apache.derby

derby

10.14.2.0

org.apache.hadoop

tempo de execução do cliente hadoop

3.3.6

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

colmeia-CLI

2.3.9

org.apache.hive

hive-JDBC

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-lap-common

2.3.9

org.apache.hive

colmeia

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

API de armazenamento em nuvem

2.8.1

org.apache.hive.shims

calços de colmeia - 0,23

2.3.9

org.apache.hive.shims

calços de colmeia comuns

2.3.9

org.apache.hive.shims

hive-shims-programador

2.3.9

org.apache.httpcomponents

cliente http

4.5.14

org.apache.httpcomponents

httpcore

4.4.16

org.apache.ivy

hera

2.5.1

org.apache.logging.log4j

log4j-1.2-api

2.22.1

org.apache.logging.log4j

log4j-api

2.22.1

org.apache.logging.log4j

log4j-core

2.22.1

org.apache.logging.log4j

log4j-disposição-padrão-JSON

2.22.1

org.apache.logging.log4j

log4j-slf4j2-impl

2.22.1

org.apache.orc

núcleo orc

Protobuf 1.9.2 sombreado

org.apache.orc

orc-mapreduce

Protobuf 1.9.2 sombreado

org.apache.orc

calços de orc

1.9.2

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.ws.xmlschema

núcleo do esquema xml

2.3.0

org.apache.xbean

xbean-asm9-shaded

4,23

org.apache.yetus

audiência-anotação

0,13,0

org.apache.zookeeper

tratador

3.6.3

org.apache.zookeeper

tratador de zoológico - juta

3.6.3

org.checkerframework

xadrez igual

3,31,0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.collections

Eclipse-coleções

11.1.0

org.Eclipse.collections

Eclipse-collections-api

11.1.0

org.Eclipse.jetty

jetty-client

9.4.52.v20230823

org.Eclipse.jetty

continuação do cais

9.4.52.v20230823

org.Eclipse.jetty

jetty-http

9.4.52.v20230823

org.Eclipse.jetty

jetty-io

9.4.52.v20230823

org.Eclipse.jetty

jetty-jndi

9.4.52.v20230823

org.Eclipse.jetty

jetty-plus

9.4.52.v20230823

org.Eclipse.jetty

jetty-proxy

9.4.52.v20230823

org.Eclipse.jetty

segurança do cais

9.4.52.v20230823

org.Eclipse.jetty

servidor jetty-server

9.4.52.v20230823

org.Eclipse.jetty

jutty-servlet

9.4.52.v20230823

org.Eclipse.jetty

píer de servlets

9.4.52.v20230823

org.Eclipse.jetty

jetty-util

9.4.52.v20230823

org.Eclipse.jetty

jetty-util-ajax

9.4.52.v20230823

org.Eclipse.jetty

aplicativo web jetty-

9.4.52.v20230823

org.Eclipse.jetty

jetty-xml

9.4.52.v20230823

org.Eclipse.jetty.websocket

API de websoquete

9.4.52.v20230823

org.Eclipse.jetty.websocket

cliente websocket

9.4.52.v20230823

org.Eclipse.jetty.websocket

websocket-comum

9.4.52.v20230823

org.Eclipse.jetty.websocket

servidor websocket

9.4.52.v20230823

org.Eclipse.jetty.websocket

servlet websocket

9.4.52.v20230823

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,40

org.glassfish.jersey.containers

jersey-container-servlet-core

2,40

org.glassfish.jersey.core

cliente de camisa

2,40

org.glassfish.jersey.core

camiseta comum

2,40

org.glassfish.jersey.core

servidor de camisa

2,40

org.glassfish.jersey.inject

camiseta-hk2

2,40

org.hibernate.validator

validador de hibernação

6.1.7. Final

org.ini4j

ini4j

0.5.4

org.javassist

javassist

3,29,2 HA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.jetbrains

anotação

17.0.0

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0-M11

org.json4s

json4s-core_2.12

3,7,0-M11

org.json4s

json4s-jackson_2.12

3,7,0-M11

org.json4s

json4s-scalap_2.12

3,7,0-M11

org.lz4

lz4-java

1.8.0

org.mlflow

mlflow-spark_2.12

2.9.1

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,6.1

org.roaringbitmap

Mapa de bits estrondoso

0.9.45 - blocos de dados

org.roaringbitmap

calços

0.9.45 - blocos de dados

org.rocksdb

rocksdbjni

8.3.2

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.15

org.Scala-lang

Scala-biblioteca.12

2.12.15

org.Scala-lang

Scala-reflect_2.12

2.12.15

org.Scala-lang.modules

Scala-collection-compat_2.12

2.11.0

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.2.15

org.scalanlp

breeze-macros_2.12

2.1.0

org.scalanlp

breeze_2.12

2.1.0

org.scalatest

compatível com scalatest

3.2.15

org.scalatest

scalatest-core_2.12

3.2.15

org.scalatest

diagramas de teste de escala_2.12

3.2.15

org.scalatest

scalatest-featurespec_2.12

3.2.15

org.scalatest

scalatest-flatspec_2.12

3.2.15

org.scalatest

scalatestfreespec_2.12

3.2.15

org.scalatest

scalatest-funspec_2.12

3.2.15

org.scalatest

scalatest-funsuite_2.12

3.2.15

org.scalatest

scalatest-matchers-core_2.12

3.2.15

org.scalatest

scalatest-mustmatchers_2.12

3.2.15

org.scalatest

scalatest-propspec_2.12

3.2.15

org.scalatest

scalatest-refspec_2.12

3.2.15

org.scalatest

scalatest - deve corresponders_2.12

3.2.15

org.scalatest

scalatest-wordspec_2.12

3.2.15

org.scalatest

scalatest_2.12

3.2.15

org.slf4j

jcl-over-slf4j

2.0.7

org.slf4j

jul-a-slf4j

2.0.7

org.slf4j

slf4j-api

2.0.7

org.slf4j

slf4j-simple

1,7,25

org.threeten

treze e mais

1.7.1

org.tukaani

xz

1,9

org.typelevel

álgebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

spire-macros_2.12

0,17.0

org.typelevel

spire-platform_2.12

0,17.0

org.typelevel

spire-util_2.12

0,17.0

org.typelevel

spire_2.12

0,17.0

org.wildfly.openssl

wildfly-openssl

1.1.3. Final

org.xerial

sqlite-JDBC

3,42.0.0

org.xerial.snappy

snappy-java

1.1.10.3

org.yaml

snakeyaml

2,0

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.cryptools

Amazon Correcto Crypto Provider

1.6.1-linux-x86_64

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

Última atualização em