Pular para o conteúdo principal
Última atualização em

Databricks Runtime 17.0 (Fim de suporte)

nota

O suporte para esta versão do Databricks Runtime foi encerrado. Para a data de fim do suporte, consulte o Histórico de fim de suporte. Para todas as versões suportadas Databricks Runtime , consulte as notas sobre versões e compatibilidadeDatabricks Runtime.

As notas a seguir sobre a versão fornecem informações sobre Databricks Runtime 17.0, desenvolvido com Apache Spark 4.0.0.

A Databricks lançou esta versão em junho de 2025.

nota

Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud nesta versão.

Novos recursos e melhorias​

O SparkML agora é compatível com clusters padrão.​

O modo de acesso padrão (anteriormente modo de acesso compartilhado) agora oferece suporte Spark ML no PySpark (PySpark). e MLflow para Spark (mlflow.spark). Para ajuste de hiperparâmetros, a Databricks recomenda o uso do Optuna e do Joblib Spark em clusters padrão.

As seguintes limitações se aplicam ao executar o SparkML em clusters padrão:

  • O tamanho máximo do modelo é de 1 GB.
  • O tamanho máximo do cache do modelo por sessão é de 10 GB.
  • O treinamento do modelo de árvore é interrompido prematuramente se o tamanho do modelo estiver prestes a exceder 1 GB.
  • Os seguintes modelos SparkML não são suportados:
    • Modelo LDA distribuído
    • Modelo de crescimento FPG

Suporte a procedimentos SQL​

Agora é possível encapsular scripts SQL em um procedimento armazenado como um ativo reutilizável no Unity Catalog. Você pode criar um procedimento usando o comando CREATE PROCEDURE e, em seguida, chamá-lo usando o comando CALL .

Defina uma ordenação default para funções SQL​

O uso da nova cláusula DEFAULT COLLATION no comando CREATE FUNCTION define a ordenação default usada para os parâmetros STRING , o tipo de retorno e os literais STRING no corpo da função.

Expressões de tabela comuns recursivas (Pré-visualização pública)​

Databricks agora suporta a navegação hierárquica em expressões de tabela comuns recursivas (rCTEs). Use uma CTE autorreferencial com UNION ALL para seguir a relação recursiva.

ANSI SQL ativado por default​

O dialeto SQL default agora é o ANSI SQL. O ANSI SQL é um padrão bem estabelecido e ajudará a proteger os usuários de resultados inesperados ou incorretos. Leia o guia de ativação ANSIDatabricks para obter mais informações.

PySpark e Spark Connect agora suportam a API DataFrames df.mergeInto​

PySpark e Spark Connect agora suportam a API df.mergeInto , que anteriormente estava disponível apenas para Scala.

Suporte ALL CATALOGS em SHOW ESQUEMAS​

A sintaxe SHOW SCHEMAS foi atualizada para aceitar a seguinte sintaxe:

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

Quando ALL CATALOGS é especificado em uma consulta SHOW , a execução itera por todos os catálogos ativos que suportam namespaces usando o gerenciador de catálogo (DsV2). Para cada catálogo, inclui os namespaces de nível superior.

Os atributos de saída e o esquema do comando foram modificados para adicionar uma coluna catalog indicando o catálogo do namespace correspondente. A nova coluna é adicionada ao final dos atributos de saída, conforme mostrado abaixo:

Saída anterior

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

Novo produto

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

clustering líquido agora compacta vetores de deleção de forma mais eficiente.​

As tabelas Delta com clustering Liquid agora aplicam alterações físicas de vetores de exclusão de forma mais eficiente quando OPTIMIZE está em execução. Para obter mais detalhes, consulte Aplicar alterações aos arquivos de dados Parquet.

Permitir expressões não determinísticas nos valores das colunas UPDATE/INSERT para operações MERGE​

O Databricks agora permite o uso de expressões não determinísticas em valores de coluna atualizados e inseridos em operações MERGE . No entanto, expressões não determinísticas nas condições das declarações MERGE não são suportadas.

Por exemplo, agora você pode gerar valores dinâmicos ou aleatórios para as colunas:

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

Isso pode ser útil para a privacidade de dados, pois permite ocultar os dados reais, preservando suas propriedades (como valores médios ou outras colunas calculadas).

Ignorar e recuperar estruturas vazias para ingestão pelo AutoLoader (especialmente Avro).​

O Auto Loader agora recupera tipos de dados Avro com um esquema vazio, já que a tabela Delta não suporta a ingestão de dados vazios do tipo struct .

Alterar a mesclagem Delta APIs Python e Scala para retornar DataFrame em vez de uma unidade.​

As APIs Scala e Python MERGE (como DeltaMergeBuilder) agora também retornam um DataFrame como a API SQL faz, com os mesmos resultados.

Suporte à palavra-chave VAR para declarar e remover variáveis SQL.​

A sintaxe SQL para declarar e remover variáveis agora suporta a palavra-chave VAR além de VARIABLE. Essa mudança unifica a sintaxe em todas as operações relacionadas a variáveis, o que melhora a consistência e reduz a confusão para usuários que já usam VAR ao definir variáveis.

Atualizar biblioteca Apache Parquet​

A biblioteca Apache Parquet foi atualizada da versão 1.13.1 para a 1.15.1 para garantir a compatibilidade com Spark 4.0. Esta atualização inclui melhorias de desempenho, correções de erros e suporte aprimorado para recursos Parquet nos seguintes módulos:

  • coluna de parquet
  • parquet-comum
  • codificação parquet
  • estruturas em formato de parquet
  • parquet-hadoop
  • parquet-jackson

Suporte à federação de identidades de cargas de trabalho para o Google Cloud Pub/Sub.​

Agora você pode usar a federação de identidade de carga de trabalho para se conectar com segurança ao Google Cloud Pub/Sub a partir do Databricks sem precisar da chave account serviço. Isso simplifica a autenticação para cargas de trabalho de transmissão e ingestão de dados que se integram ao Pub/Sub.

Mudanças comportamentais​

Os certificados CA personalizados do Databricks File System (DBFS) não são mais suportados.​

Como parte do esforço contínuo para descontinuar o armazenamento de dados na DBFS root e nos pontos de montagem DBFS , os certificados CA personalizados DBFS não são suportados no Databricks Runtime 17.0 e versões superiores. Para obter recomendações sobre como trabalhar com arquivos, consulte Trabalhar com arquivos no Databricks.

A seção "Falhas de cache reais" foi removida da Spark UI​

Essa alteração remove o suporte para a métrica "Tamanho de falhas reais do cache" (tanto para caches compactados quanto não compactados). As métricas "Cache writes misses" medem a mesma informação.

Use o numLocalScanTasks como um proxy viável para esta métrica, quando sua intenção é ver como o cache se comporta quando os arquivos são atribuídos ao executor correto.

Removemos a métrica "Uso máximo de disco do gerenciador de metadados de cache" da Spark UI​

Esta alteração remove o suporte para os números cacheLocalityMgrDiskUsageInBytes e cacheLocalityMgrTimeMs do Databricks Runtime e da Spark UI.

A seção "Bytes de cache ausentes reagendados" foi removida da Spark UI​

As métricas "cache rescheduled misses size" e "cache rescheduled misses size (uncompressed)" foram removidas do Databricks Runtime. Isso é feito porque mede o desempenho do cache quando os arquivos são atribuídos a um executor não preferencial. numNonLocalScanTasks é um bom indicador dessa métrica.

Cláusulas de nível de colunaCREATE VIEW agora geram erros quando a cláusula se aplicaria apenas à visão materializada.​

CREATE VIEW O comando que especifica uma cláusula de nível de coluna que é válida apenas para MATERIALIZED VIEWagora gera um erro. As cláusulas afetadas para o comando CREATE VIEW são:

  • NOT NULL
  • Um tipo de dados específico, como FLOAT ou STRING
  • DEFAULT
  • COLUMN MASK

Melhorias na biblioteca​

  • Biblioteca Python atualizada :

    • azure-core da versão 1.31.0 para a 1.34.0
    • preto de 24.4.2 a 24.10.0
    • boto3 da versão 1.34.69 para a 1.36.2
    • botocore de 1.34.69 a 1.36.3
    • cachetools da versão 5.3.3 para a 5.5.1
    • certificado de 2024.6.2 a 2025.1.31
    • cffi da versão 1.16.0 para a 1.17.1
    • charset-normalizer da versão 2.0.4 para a 3.3.2
    • cloudpickle da versão 2.2.1 para a 3.0.0
    • contourpy da versão 1.2.0 para a 1.3.1
    • criptografia de 42.0.5 a 43.0.3
    • Cython a partir da versão 3.0.11 para 3.0.12
    • databricks-sdk da versão 0.30.0 para a 0.49.0
    • debugpy da versão 1.6.7 para a 1.8.11
    • Obsoleto das versões 1.2.14 a 1.2.13.
    • distlib da versão 0.3.8 para a 0.3.9
    • filelock da versão 3.15.4 para a 3.18.0
    • fonttools da versão 4.51.0 para a 4.55.3
    • GitPython a partir da versão 3.1.37 para 3.1.43
    • google-auth da versão 2.35.0 para a 2.40.0
    • google-cloud-core da versão 2.4.1 para a 2.4.3
    • Google Cloud Storage da versão 2.18.2 para a 3.1.0
    • google-crc32c da versão 1.6.0 para a 1.7.1
    • grpcio de 1.60.0 a 1.67.0
    • status do grpcio de 1.60.0 para 1.67.0
    • importlib-metadata da versão 6.0.0 para a 6.6.0
    • ipyflow-core da versão 0.0.201 para a versão 0.0.209
    • ipykernel da versão 6.28.0 para a 6.29.5
    • ipython da versão 8.25.0 para a 8.30.0
    • ipywidgets da versão 7.7.2 à 7.8.1
    • jedi da versão 0.19.1 para a 0.19.2
    • jupyter_client da versão 8.6.0 para a 8.6.3
    • kiwisolver da versão 1.4.4 para a 1.4.8
    • matplotlib da versão 3.8.4 para a 3.10.0
    • matplotlib-inline da versão 0.1.6 para 0.1.7
    • mlflow-skinny da versão 2.19.0 para a 2.22.0
    • numpy da versão 1.26.4 para a 2.1.3
    • opentelemetry-api da versão 1.27.0 para a 1.32.1
    • opentelemetry-sdk da versão 1.27.0 para a 1.32.1
    • opentelemetry-semantic-conventions de 0.48b0 para 0.53b1
    • Pandas da versão 1.5.3 à 2.2.3
    • parso de 0.8.3 para 0.8.4
    • patsy de 0.5.6 para 1.0.1
    • travesseiro de 10.3.0 a 11.1.0
    • plotly de 5.22.0 a 5.24.1
    • pluggy da versão 1.0.0 para a 1.5.0
    • proto-plus da versão 1.24.0 para a 1.26.1
    • protobuf da versão 4.24.1 à 5.29.4
    • pyarrow de 15.0.2 a 19.0.1
    • pyccolo de 0,0,65 a 0,0,71
    • pydantic da versão 2.8.2 à 2.10.6
    • pydantic_core da versão 2.20.1 para a 2.27.2
    • PyJWT da versão 2.7.0 para a 2.10.1
    • pyodbc da versão 5.0.1 para a 5.2.0
    • pyparsing da versão 3.0.9 para a 3.2.0
    • pyright de 1.1.294 para 1.1.394
    • Python-lsp-server da versão 1.10.0 para a 1.12.0
    • PyYAML da versão 6.0.1 para a 6.0.2
    • pyzmq da versão 25.1.2 para 26.2.0
    • solicitações de 2.32.2 a 2.32.3
    • rsa de 4.9 para 4.9.1
    • s3transfer da versão 0.10.2 para a 0.11.3
    • scikit-learn da versão 1.4.2 para a 1.6.1
    • scipy da versão 1.13.1 à 1.15.1
    • sqlparse da versão 0.5.1 para a 0.5.3
    • statsmodels de 0.14.2 para 0.14.4
    • tenacidade de 8.2.2 para 9.0.0
    • threadpoolctl da versão 2.2.0 para a 3.5.0
    • tornado de 6.4.1 a 6.4.2
    • extensões_de_tipagem da versão 4.11.0 para a 4.12.2
    • urllib3 da versão 1.26.16 para a 2.3.0
    • virtualenv de 20.26.2 para 20.29.3
    • roda de 0.43.0 para 0.45.1
    • wrapt de 1.14.1 para 1.17.0
    • yapf da versão 0.33.0 para a 0.40.2
    • zipp da versão 3.17.0 para a 3.21.0

  • Biblioteca R atualizada :

    • seta de 16.1.0 para 19.0.1
    • askpass da versão 1.2.0 para a 1.2.1
    • base de 4.4.0 para 4.4.2
    • bigD da versão 0.2.0 para a 0.3.0
    • bit de 4.0.5 para 4.6.0
    • bit64 da versão 4.0.5 para a 4.6.0-1
    • bitops de 1.0-8 para 1.0-9
    • vassoura de 1.0.6 para 1.0.7
    • bslib da versão 0.8.0 para a 0.9.0
    • acento circunflexo de 6,0-94 para 7,0-1
    • cronologia de 2.3-61 a 2.3-62
    • CLI da versão 3.6.3 para a 3.6.4
    • relógio de 0.7.1 para 0.7.2
    • marca comum de 1.9.1 a 1.9.5
    • compilador da versão 4.4.0 para a 4.4.2
    • cpp11 da versão 0.4.7 para a 0.5.2
    • credenciais de 2.0.1 para 2.0.2
    • curl de 5.2.1 para 6.2.1
    • data.table da versão 1.15.4 para a 1.17.0
    • conjunto de dados de 4.4.0 a 4.4.2
    • resumo de 0.6.36 a 0.6.37
    • e1071 de 1.7-14 para 1.7-16
    • avaliar de 0.24.0 a 1.0.3
    • fontawesome da versão 0.5.2 para a 0.5.3
    • fs de 1.6.4 para 1.6.5
    • future.apply da versão 1.11.2 para a 1.11.3
    • gert da versão 2.1.0 para 2.1.4
    • git2r da versão 0.33.0 para a 0.35.0
    • cola da versão 1.7.0 para a 1.8.0
    • gower de 1.0.1 para 1.0.2
    • gráficos de 4.4.0 a 4.4.2
    • grDevices da versão 4.4.0 para a 4.4.2
    • grade de 4.4.0 a 4.4.2
    • gt de 0.11.0 para 0.11.1
    • gtable de 0.3.5 para 0.3.6
    • capacete de segurança da versão 1.4.0 para a 1.4.1
    • httr2 da versão 1.0.2 para a 1.1.1
    • jsonlite da versão 1.8.8 para a 1.9.1
    • knitr de 1,48 a 1,50
    • posteriormente, da versão 1.3.2 para a 1.4.1
    • lava da versão 1.8.0 para a 1.8.1
    • lubridate de 1.9.3 para 1.9.4
    • métodos de 4.4.0 a 4.4.2
    • mime de 0,12 a 0,13
    • mlflow da versão 2.14.1 para a 2.20.4
    • nlme de 3.1-165 para 3.1-164
    • openssl da versão 2.2.0 para a 2.3.2
    • paralelo de 4.4.0 a 4.4.2
    • em paralelo de 1.38.0 a 1.42.0
    • pilar de 1.9.0 para 1.10.1
    • pkgbuild da versão 1.4.4 para a 1.4.6
    • pkgdown da versão 2.1.0 para 2.1.1
    • processx da versão 3.8.4 para a 3.8.6
    • profvis de 0.3.8 para 0.4.0
    • progresso da versão 0.14.0 para a 0.15.1
    • promessas de 1.3.0 para 1.3.2
    • ps de 1.7.7 para 1.9.0
    • Ronronar da versão 1.0.2 para a 1.0.4
    • R6 da versão 2.5.1 para a 2.6.1
    • ragg de 1.3.2 para 1.3.3
    • randomForest de 4.7-1.1 para 4.7-1.2
    • Rcpp da versão 1.0.13 para a versão 1.0.14
    • RcppEigen da versão 0.3.4.0.0 para a versão 0.3.4.0.2
    • reactR da versão 0.6.0 para a 0.6.1
    • readxl da versão 1.4.3 para a 1.4.5
    • Receitas da versão 1.1.0 para 1.2.0
    • rlang da versão 1.1.4 para 1.1.5
    • rmarkdown da versão 2.27 para a 2.29
    • RODBC de 1,3-23 a 1,3-26
    • Reserve de 1,8-13 a 1,8-15
    • RSQLite da versão 2.3.7 para a 2.3.9
    • rstudioapi da versão 0.16.0 para a 0.17.1
    • informações da sessão da versão 1.2.2 para a 1.2.3
    • brilhante de 1.9.1 a 1.10.0
    • Sparklyr da versão 1.8.6 para a 1.9.0
    • SparkR da versão 3.5.2 para a 4.0.0
    • splines de 4.4.0 a 4.4.2
    • Estatísticas da versão 4.4.0 para a 4.4.2
    • stats4 da versão 4.4.0 para a 4.4.2
    • sobrevivência de 3,6-4 para 3,5-8
    • sistema de 3.4.2 para 3.4.3
    • fontes do sistema a partir da versão 1.1.0 para 1.2.1
    • tcltk da versão 4.4.0 para a 4.4.2
    • teste isso de 3.2.1.1 para 3.2.3
    • textshaping da versão 0.4.0 para a 1.0.0
    • data e hora de 4032.109 a 4041.110
    • tinytex de 0,52 a 0,56
    • ferramentas de 4.4.0 a 4.4.2
    • tzdb da versão 0.4.0 para a 0.5.0
    • usethis da versão 3.0.0 à 3.1.0
    • utilitários de 4.4.0 a 4.4.2
    • V8 de 4.4.2 a 6.0.2
    • Waldo da versão 0.5.2 para a 0.6.1
    • com de 3.0.1 para 3.0.2
    • xfun de 0,46 para 0,51
    • xml2 da versão 1.3.6 para a 1.3.8
    • altere o arquivo zip de 2.3.1 para 2.3.2.

  • Biblioteca Java atualizada :

    • com.clearspring.analítica.transmissão de 2.9.6 a 2.9.8
    • com.esotericsoftware.kryo-shaded da versão 4.0.2 para a versão 4.0.3
    • com.fasterxml.classmate da versão 1.3.4 para a 1.5.1
    • com.fasterxml.jackson.core.jackson-anotação de 2.15.2 a 2.18.2
    • com.fasterxml.jackson.core.jackson-core de 2.15.2 a 2.18.2
    • com.fasterxml.jackson.core.jackson-databind de 2.15.2 a 2.18.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.15.2 a 2.18.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.15.2 a 2.18.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da versão 2.16.0 à 2.18.2
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.15.2 a 2.18.2
    • com.github.luben.zstd-jni de 1.5.5-4 para 1.5.6-10
    • com.google.code.gson.gson da versão 2.10.1 para a 2.11.0
    • com.google.crypto.tink.tink da versão 1.9.0 para a 1.16.0
    • com.google.errorprone.error_prone_annotations da versão 2.10.0 à 2.36.0
    • com.google.flatbuffers.flatbuffers-java de 23/05/2026 a 24/03/2025
    • com.google.guava.guava de 15.0 para 33.4.0-jre
    • com.google.protobuf.protobuf-java de 3.25.1 a 3.25.5
    • azure azuredata lake-store-sdk de 2.3.9 a 2.3.10
    • com.microsoft.sqlserver.mssql-JDBC de 11.2.3.jre8 para 12.8.0.jre8
    • commons-CLI.commons-CLI da versão 1.5.0 à 1.9.0
    • commons-codec.commons-codec da versão 1.16.0 para a 1.17.2
    • commons-io.commons-io da versão 2.13.0 para a versão 2.18.0
    • io.airlift.compressor de ar de 0,27 a 2,0,2
    • io.dropwizard.métricas.métricas-anotação de 4.2.19 a 4.2.30
    • io.dropwizard.métricas.métricas-core de 4.2.19 a 4.2.30
    • io.dropwizard.métricas.métricas-grafite de 4.2.19 a 4.2.30
    • io.dropwizard.métricas.métricas-healthchecks de 4.2.19 a 4.2.30
    • io.dropwizard.métricas.métricas-jetty9 de 4.2.19 a 4.2.30
    • io.dropwizard.métricas.métricas-jmx de 4.2.19 a 4.2.30
    • io.dropwizard.métricas.métricas-JSON de 4.2.19 a 4.2.30
    • io.dropwizard.métricas.métricas-JVM de 4.2.19 a 4.2.30
    • io.dropwizard.métricas.métricas-servlets de 4.2.19 a 4.2.30
    • io.netty.netty-all de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-buffer de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-codec de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-codec-http de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-codec-http2 de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-codec-socks de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-common de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-handler de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-handler-proxy de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-resolver de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-tcnative-boringssl-static da versão 2.0.61.Final-db-r16-windows-x86_64 para a versão 2.0.70.Final-db-r0-windows-x86_64
    • io.netty.netty-tcnative-classes de 2.0.61.Final para 2.0.70.Final
    • io.netty.netty-transport de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-transport-classes-epoll de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.108.Final para 4.1.118.Final
    • io.netty.netty-transport-native-epoll de 4.1.108.Final-linux-x86_64 para 4.1.118.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue da versão 4.1.108.Final-osx-x86_64 para a versão 4.1.118.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.108.Final para 4.1.118.Final
    • io.prometheus.jmx.collector da versão 0.12.0 para a 0.18.0
    • io.prometheus.simpleclient de 0.7.0 a 0.16.1-databricks
    • io.prometheus.simpleclient_common de 0.7.0 a 0.16.1-databricks
    • io.prometheus.simpleclient_dropwizard de 0.7.0 a 0.16.1-databricks
    • io.prometheus.simpleclient_pushgateway de 0.7.0 a 0.16.1-databricks
    • io.prometheus.simpleclient_servlet de 0.7.0 a 0.16.1-databricks
    • joda-time.joda-time da versão 2.12.1 para a 2.13.0
    • net.razorvine.pickle de 1,3 a 1,5
    • org.antlr.antlr4-runtime de 4.9.3 a 4.13.1
    • org.apache.arrow.arrow-format de 15.0.0 a 18.2.0
    • org.apache.arrow.arrow-memory-core de 15.0.0 a 18.2.0
    • org.apache.arrow.arrow-memory-netty de 15.0.0 a 18.2.0
    • org.apache.arrow.arrow-vector de 15.0.0 a 18.2.0
    • org.apache.avro.avro da versão 1.11.4 para a versão 1.12.0
    • org.apache.avro.avro-ipc da versão 1.11.4 para a versão 1.12.0
    • org.apache.avro.avro-mapred da versão 1.11.4 para a versão 1.12.0
    • org.apache.commons.commons-compress da versão 1.23.0 à 1.27.1
    • org.apache.commons.commons-lang3 da versão 3.12.0 à 3.17.0
    • org.apache.commons.commons-text da versão 1.10.0 à 1.13.0
    • org.apache.curator.curator-client da versão 2.13.0 à 5.7.1
    • org.apache.curator.curator-framework da versão 2.13.0 à 5.7.1
    • org.apache.curator.curator-recipes da versão 2.13.0 à 5.7.1
    • org.apache.datasketches.datasketches-java da versão 3.1.0 para 6.1.1
    • org.apache.datasketches.datasketches-memory da versão 2.0.0 para a 3.0.2
    • org.apache.hadoop.hadoop-client-runtime de 3.3.6 a 3.4.1
    • org.apache.hive.hive-beeline de 2.3.9 a 2.3.10
    • org.apache.hive.hive-CLI de 2.3.9 a 2.3.10
    • org.apache.hive.hive-JDBC de 2.3.9 a 2.3.10
    • org.apache.hive.hive-llap-client de 2.3.9 a 2.3.10
    • org.apache.hive.hive-llap-common de 2.3.9 a 2.3.10
    • org.apache.hive.hive-serde de 2.3.9 a 2.3.10
    • org.apache.hive.hive-shims de 2.3.9 a 2.3.10
    • org.apache.hive.shims.hive-shims-0.23 da versão 2.3.9 para a versão 2.3.10
    • org.apache.hive.shims.hive-shims-common de 2.3.9 a 2.3.10
    • org.apache.hive.shims.hive-shims-programador de 2.3.9 a 2.3.10
    • org.apache.ivy.ivy da versão 2.5.2 para a versão 2.5.3
    • org.apache.logging.log4j.log4j-1.2-api de 2.22.1 a 2.24.3
    • org.apache.logging.log4j.log4j-api de 2.22.1 a 2.24.3
    • org.apache.logging.log4j.log4j-core de 2.22.1 a 2.24.3
    • org.apache.logging.log4j.log4j-disposição-padrão-JSON de 2.22.1 a 2.24.3
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.22.1 a 2.24.3
    • org.apache.orc.orc-core de 1.9.2-shaded-protobuf para 2.1.1-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf para 2.1.1-shaded-protobuf
    • org.apache.orc.orc-shims de 1.9.2 a 2.1.1
    • org.apache.thrift.libthrift da versão 0.12.0 para a 0.16.0
    • org.apache.ws.xmlschema.xmlschema-core da versão 2.3.0 para a versão 2.3.1
    • org.apache.xbean.xbean-asm9-shaded de 4,23 a 4,26
    • org.apache.zookeeper.zookeeper da versão 3.9.2 para a 3.9.3
    • org.apache.zookeeper.zookeeper-juta de 3.9.2 para 3.9.3
    • org.checkerframework.checker-qual de 3.31.0 a 3.43.0
    • org.Eclipse.jetty.jetty-client de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-continuação de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-http de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-io de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-jndi de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-plus de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-proxy de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-security de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-server de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-servlet de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-servlets de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-util de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-util-ajax de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-webapp de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.jetty-xml de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.websocket.websocket-api de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.websocket.websocket-client de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.websocket.websocket-common de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.websocket.websocket-server de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.Eclipse.jetty.websocket.websocket-servlet de 9.4.52.v20230823 para 9.4.53.v20231009
    • org.glassfish.jersey.containers.jersey-container-servlet de 2,40 para 2,41
    • org.glassfish.jersey.containers.jersey-container-servlet-core de 2,40 para 2,41
    • org.glassfish.jersey.core.jersey-client de 2,40 para 2,41
    • org.glassfish.jersey.core.jersey-common de 2,40 para 2,41
    • org.glassfish.jersey.core.jersey-server de 2,40 para 2,41
    • org.glassfish.jersey.inject.jersey-hk2 de 2,40 para 2,41
    • org.hibernate.validator.hibernate-validator de 6.1.7.Final para 6.2.5.Final
    • org.jboss.logging.jboss-logging de 3.3.2.Final para 3.4.1.Final
    • org.objenesis.objenesis da versão 2.5.1 para a 3.3
    • org.roaringbitmap.RoaringBitmap da versão 0.9.45-databricks para a versão 1.2.1
    • org.rocksdb.rocksdbjni de 9.2.1 a 9.8.4
    • org.scalatest.scalatest-compatible de 3.2.16 a 3.2.19
    • org.slf4j.jcl-sobre-slf4j da versão 2.0.7 para a versão 2.0.16
    • org.slf4j.jul-para-slf4j da versão 2.0.7 para a versão 2.0.16
    • org.slf4j.slf4j-api da versão 2.0.7 para a versão 2.0.16
    • org.threeten.threeten-extra da versão 1.7.1 para a 1.8.0
    • org.tukaani.xz de 1,9 a 1,10

Apache Spark​

Muitos dos seus recursos já estavam disponíveis no Databricks Runtime 14.x, 15.x e 16.x, e agora são fornecidos prontos para uso com Runtime 17.0.

  • SPARK-52311 Redefinir a saída do UnionLoop para que não seja duplicada se a saída de ancoragem for duplicada.
  • SPARK-50104 Suporte para SparkSession.executeCommand no Connect
  • SPARK-51085 Restaurar SQLContext Complementar
  • SPARK-49698 Adicionar anotação ClassicOnly para métodos somente clássicos.
  • SPARK-52026 Bloquear API Pandas no Spark no modo ANSI por default
  • SPARK-43415 Implementar KVGDS.agg com função mapValues personalizada
  • SPARK-50979 Remover implícitos .expr/.typedExpr
  • SPARK-49961 Assinatura de tipo de transformação correta para Scala e Java
  • SPARK-51012 Remover SparkStrategy dos Connect Shims.
  • SPARK-50915 Adicionar getCondition e descontinuar getErrorClass em PySparkException
  • SPARK-51821 Chame interrupt() sem manter uninterruptibleLock para evitar possível deadlock.
  • SPARK-52192 Verificação do caminho de carregamento do MLCache
  • SPARK-52122 Corrige a vulnerabilidade de execução remota de código (RCE) do DefaultParamsReader.
  • SPARK-52191 Remover desserializador Java no carregador de caminho local do modelo
  • Commit SPARK-52051 Backport "Habilitar resumo do modelo quando o controle de memória estiver habilitado" e "Refinar mensagem de erro e ocultar configuração interna do Spark" para Databricks Runtime 17.0.0
  • SPARK-51391 Corrigir SparkConnectClient para respeitar SPARK_USER e user.name
  • SPARK-51416 Remover SPARK_CONNECT_MODE ao iniciar o servidor Spark Connect
  • SPARK-51156 Suporte para autenticação com tokens estáticos no Spark Connect
  • SPARK-51279 Evitar o sono constante durante a espera do servidor Spark Connect em Scala
  • SPARK-51254 Desativar --master com URL do Spark Connect
  • SPARK-51267 Emparelhar a lógica do servidor Spark Connect local entre Python e Scala
  • SPARK-51212 Adicionar um pacote PySpark separado para Spark Connect por default
  • SPARK-52017 Habilitar múltiplas autorreferências e autorreferências a partir de uma subconsulta dentro de rCTEs
  • SPARK-52035 Desacoplar o Resumo de Treinamento de Regressão Linear e o Modelo de Regressão Linear
  • SPARK-50511 Evite agrupar mensagens de erro de fonte de dados Python
  • SPARK-51974 Limitar o tamanho do modelo e o tamanho do cache do modelo por sessão
  • SPARK-51947 Descarregamento de cache do modelo Spark Connect
  • SPARK-49751 Corrigir a desserialização do evento SparkListenerConnectServiceStarted
  • SPARK-47952 Suporte para recuperar programaticamente o endereço e a porta GRPC reais do SparkConnectService ao executar no Yarn.
  • SPARK-47587 Módulo Hive: Migrar logWarn com variáveis para estrutura de registro estruturado
  • SPARK-50768 Introduz TaskContext.createResourceUninterruptibly para evitar vazamento de transmissão por interrupção de tarefa.
  • SPARK-51818 Mover a criação de QueryExecution para AnalyzeHandler e não executar para AnalyzePlanRequests
  • SPARK-51609 Otimizar a execução recursiva de CTE para consultas simples
  • SPARK-49748 Adicionar getCondition e descontinuar getErrorClass em SparkThrowable
  • SPARK-51867 Criar um modelo Scala que suporte métodos de salvar/carregar em um caminho do sistema de arquivos local.
  • SPARK-51856 Atualizar a API de tamanho do modelo para contabilizar o tamanho do DataFrame distribuído
  • SPARK-51941 Corrige o problema de precisão para convertToCatalyst quando a entrada é BigDecimal entre -1.0 e 1.0.
  • SPARK-50605 Suporte ao modo de API SQL para facilitar a migração para o Spark Connect
  • SPARK-51849 Refatoração ResolveDDLCommandStringTypes
  • SPARK-51673 Aplicar ordenação default à consulta view alterada
  • SPARK-51880 Corrigir referências do cliente Python do objeto de cache ML
  • SPARK-51873 Para o algoritmo OneVsRest, permitir o uso de salvar/carregar para substituir o cache.
  • SPARK-51072 CallerContext para definir o contexto de auditoria cloud Hadoop
  • SPARK-51790 registro UTF8String para KryoSerializer
  • SPARK-51022 Remover tableSampleClause não utilizado no método build() de MsSqlServerSQLQueryBuilder e DB2SQLQueryBuilder
  • SPARK-51219 Corrigir ShowTablesExec.isTempView para funcionar com catálogos não-V2SessionCatalog
  • SPARK-49700 Interface Scala Unificada para Connect e Classic
  • SPARK-50458 Tratamento adequado de erros para sistemas de arquivos não suportados durante a leitura de arquivos
  • SPARK-50666 Dica de suporte para leitura em fonte de dados JDBC
  • SPARK-50131 Reaplicar "Adicionar Subconsulta IN DataFrame…"
  • SPARK-51899 Implementar regras de tratamento de erros para spark.catalog.listTables()
  • SPARK-51820 Resolver problemas restantes para novos group/order por abordagem ordinal
  • SPARK-48585 Fazer com que original método built-in do JdbcDialect lance a exceção classifyException
  • SPARK-48387 Postgres: Mapear TimestampType para TIMESTAMP WITH TIM ZONE
  • SPARK-51820 Mover a construção UnresolvedOrdinal antes da análise para evitar problemas com o agrupamento por ordinal
  • SPARK-48337 Corrige a perda de precisão para valores de TEMPO do JDBC.
  • SPARK-51711 Propaga a sessão remota ativa do Spark para novas threads para corrigir o CrossValidator.
  • SPARK-47515 Salvar TimestampNTZType como DATETIME no MySQL
  • SPARK-48439 Derby: Calcular a precisão e a escala adequadas para o tipo DECIMAL
  • SPARK-51820 Preparar lógica de redação para SPARK-51820 codesync
  • SPARK-48323 DB2: Mapear BooleanType para Boolean em vez de CHAR(1)
  • SPARK-51635 mescla PushProjectionThroughLimit e PushProjectionThroughOffset
  • SPARK-48211 DB2: Ler SMALLINT como ShortType
  • SPARK-51803 Armazenar o tipo JDBC do mecanismo externo nos metadados do StructField
  • SPARK-51845 Adicionar mensagens de protocolo CleanCache e GetCacheInfo
  • SPARK-49511 Aplicar regras de formatação a sql/api
  • SPARK-47968 MsSQLServer: Mapear datatimeoffset para TimestampType
  • SPARK-51726 Usar TableInfo para a etapa CREATE/REPLACE/CREATE OR REPLACE da tabela
  • SPARK-47967 Faça com que JdbcUtils.makeGetter lide corretamente com a leitura do tipo de tempo como NTZ
  • SPARK-47989 MsSQLServer: Corrigir o escopo de spark.sql.legacy.mssqlserver.numericMapping.enabled
  • SPARK-51193 Atualizar Netty para 4.1.118.Final e netty-tcnative para 2.0.70.Final
  • SPARK-47882: Os tipos de coluna de tabela (createTableColumnTypes) precisam ser mapeados para tipos de banco de dados em vez de serem usados diretamente.
  • SPARK-47879 Oracle: Use VARCHAR2 em vez de VARCHAR para mapeamento de VarcharType
  • SPARK-51372 Introduzir TableInfo para criação de tabelas
  • SPARK-47791 Truncar casas decimais excedentes com escala primeiro em vez de precisão da fonte de dados JDBC
  • SPARK-51404 Analise o tipo time(n) como TimeType(n)
  • SPARK-50350 Avro: adicionar nova função schema_of_avro (scala lado)
  • SPARK-51136 Conjunto CallerContext para servidor história
  • SPARK-50641 Mova GetJsonObjectEvaluator para JsonExpressionEvalUtils
  • SPARK-50083 Integrar _LEGACY_ERROR_TEMP_1231 em PARTITIONS_NOT_FOUND
  • SPARK-51556 Adicionar a função try_to_time
  • SPARK-47684 Postgres: Mapeamento de comprimento não especificado de bpchar para StringType
  • SPARK-48688 Retorna um erro razoável ao chamar as funções SQL to_avro e from_avro, mas Avro não está carregado por default
  • SPARK-49839 SPJ: Ignore as operações de embaralhamento, se possível, nas operações de ordenação.
  • SPARK-45534 Use java.lang.ref.Cleaner em vez de finalize para RemoteBlockPushResolver
  • SPARK-51816 Simplifique StatFunctions.multipleApproxQuantiles com APIs de dataframe
  • SPARK-49179 Correção v2: Junção interna com múltiplos buckets gera erro de asserção
  • SPARK-47456 Suporte ao codec ORC Brotli
  • SPARK-51542 Adicionar um botão de rolagem para endereçar a parte superior e inferior.
  • SPARK-51541 Suporte ao tipo de dados TIME em métodos Literal
  • SPARK-51615 Refatorar ShowNamespaces para usar RunnableCommand
  • SPARK-51191 Validar o tratamento de valores default em DELETE, UPDATE e merge
  • SPARK-51829 O lado do cliente deve atualizar client.thread_local.ml_caches após a exclusão
  • SPARK-51358 Introduz a detecção de atraso upload snapshots através do StateStoreCoordinator.
  • SPARK-51686 Vincule os IDs de execução das subexecuções para a execução atual, se houver.
  • SPARK-51456 Adicionar a função to_time
  • SPARK-51773 Converter formatos de arquivo em classes de caso para compará-los corretamente.
  • SPARK-51777 registro sql.colunar.* classes para KryoSerializer
  • SPARK-51432 Lançar uma exceção apropriada quando os esquemas Arrow não corresponderem.
  • SPARK-51395 Aprimorar o tratamento de valores default em procedimentos
  • SPARK-50582 Função integrada para adicionar cotação
  • SPARK-51684 Corrigir falha de teste em test_pandas_transform_with_state
  • SPARK-51213 Manter informações da classe Expression ao resolver parâmetros de dica
  • SPARK-51651 Vincule o ID de execução raiz para a execução atual, se houver.
  • SPARK-50947 Atribua a classe de erro e a SparkException apropriadas para artefatos duplicados.
  • SPARK-51574 Serialização de filtros para Python fonte de dados filter pushdown
  • SPARK-51608 Exceção de log no encerramento do executor Python
  • SPARK-51266 Remover a definição não utilizada de private[spark] object TaskDetailsClassNames
  • SPARK-51011 Adicionar registro para indicar se uma tarefa será interrompida ao ser finalizada.
  • SPARK-49646 Adicionar configuração do Spark para corrigir a descorrelação de subconsultas
  • SPARK-51107 Refatorar CommandBuilderUtils#join para reutilizar linhas e reduzir a redundância
  • SPARK-51758 Corrigir caso de teste relacionado a lotes extras causando dataframe vazio devido à marca d'água
  • SPARK-51664 Suporte ao tipo de dados TIME na expressão Hash
  • SPARK-51819 Atualizar o módulo de teste PySpark-errors para incluir testes ausentes
  • SPARK-50751 Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_1305
  • SPARK-50973 Limpeza do uso de API obsoleta relacionada a avro.Schema#toString(boolean)
  • SPARK-50908 Desativar teste TTL instável em test_pandas_transform_with_state.py
  • SPARK-50811 Suporte para habilitar o profiler da JVM no driver
  • SPARK-50808 Corrige problema na função writeAll que impedia a escrita correta de tipos mistos.
  • SPARK-51780 Implementar Descrever Procedimento
  • Suporte de geração de código SPARK-50370 para json_tuple
  • SPARK-50756 Usar classe de erro para exceções em SparkConf.validateSettings
  • SPARK-50805 Mover método nameForAppAndAttempt para o.a.s.u.Utils
  • SPARK-51812 Remover parâmetros redundantes de alguns métodos em QueryExecution
  • SPARK-50819 Refatorar o módulo de profiler do Spark
  • SPARK-51547 Atribua um nome à condição de erro: _LEGACY_ERROR_TEMP_2130
  • SPARK-48538 Evitar vazamento de memória HMS causado por bonecp
  • SPARK-51176 Atender à consistência para erros inesperados PySpark Connect <> Clássico
  • SPARK-50773 Desativar o registro estruturado por default
  • SPARK-50616 Adicionar opção de extensão de arquivo ao gravador de fonte de dados CSV
  • SPARK-50624 Adicionar TimestampNTZType a ColumnarRow/MutableColumnarRow
  • SPARK-51590 Desativar TIME em fontes de dados integradas baseadas em arquivos
  • SPARK-49886 Teste de falha em nível de consulta para o formato rocksDB V2
  • SPARK-50823 Atualizar cloudpickle da versão 3.1.0 para 3.1.1
  • SPARK-50780 Use overrideStdFeatures em vez de setFeatureMask em JacksonParser
  • SPARK-50621 Atualizar Cloudpickle para a versão 3.1.0
  • SPARK-50719 Suporte interruptOperation para PySpark
  • SPARK-50545 AccessControlException deve ser lançado mesmo se ignoreCorruptFiles estiver habilitado
  • SPARK-51517 Suporte ao tipo de dados TIME nos resultados do Hive
  • SPARK-47856 Mapeamento de Documentos de Tipos de Dados do Spark SQL a partir do Oracle e adição de testes
  • SPARK-46066 Use a API de Separadores em vez da API de strings para construir o DefaultPrettyPrinter
  • SPARK-50718 Suporte addArtifact(s) para PySpark
  • SPARK-51497 Adicionar formatador de hora default
  • SPARK-51488 Suporte à palavra-chave TIME como um tipo de dados
  • SPARK-51273 Procedimento de chamada Spark Connect, execute o procedimento duas vezes
  • SPARK-51092 Ignorar os testes v1 FlatMapGroupsWithState com tempo limite em plataformas big endian
  • SPARK-50606 Corrigir NPE em SessionHolder não iniciado
  • SPARK-49530 Suporte para subplots pie em gráficos PySpark
  • SPARK-50357 Suporte para APIs de interrupção (tag|All) para PySpark
  • SPARK-51290 Habilitar o preenchimento de valores default em gravações DSv2
  • SPARK-50485 Desembrulhar SparkThrowable em (Unchecked)ExecutionException lançada por tableRelationCache
  • SPARK-51513 Corrigir a regra RewriteMergeIntoTable que produz um plano não resolvido
  • SPARK-51482 Suporte para conversão de strings em tempo
  • SPARK-51462 Suporte a literais tipados do tipo de dados TIME
  • SPARK-51454 Suporte para elenco de tempo para cordas
  • SPARK-51447 Adicione stringToTime e stringToTimeAnsi
  • SPARK-51775 Normalizar LogicalRelation e HiveTableRelation por NormalizePlan
  • SPARK-51791 ImputerModel armazena coeficientes com arrays em vez de dataframes
  • SPARK-51442 Adicionar formatadores de tempo
  • SPARK-51384 Suporte java.time.LocalTime como tipo externo de TimeType
  • O plano de fonte de dados em cache SPARK-51747 deve respeitar as opções
  • SPARK-51774 Adicionar código de status GRPC à exceção GRPC do Python Connect
  • SPARK-51660 Lidar corretamente com situações em que o MDC não é suportado
  • SPARK-51296 Suporte para coleta de dados corrompidos no modo singleVariantColumn.
  • SPARK-45907 Usar APIs ProcessHandle do Java 9+ para calcular a árvore de processos em ProcfsMetricsGetter
  • SPARK-51342 Adicionar TimeType
  • SPARK-51769 Adicionar maxRecordsPerOutputBatch para limitar o número de registros dos lotes de saída do Arrow.
  • SPARK-51350 Implementar Procedimentos de Exibição
  • SPARK-51711 Política de remoção de cache MLC baseada em memória
  • SPARK-51178 Gerar erro PySpark apropriado em vez de SparkConnectGrpcException
  • SPARK-51738 EM subconsulta com tipo struct
  • SPARK-51714 Adicionar teste de ingestão de falha ao teste de armazenamento do estado checkpoint formato V2
  • SPARK-51704 Eliminar operações de coleta desnecessárias
  • SPARK-51512 Filtrar MapStatus nulos ao limpar dados de embaralhamento com ExternalShuffleService
  • SPARK-49308 Suporte para UserDefinedAggregateFunction no cliente Scala do Spark Connect
  • SPARK-50091 Tratar o caso de agregações no operando esquerdo de uma subconsulta IN
  • SPARK-50265 Suporte para spark.udf.registerJavaUdf no Connect
  • SPARK-49273 Suporte de origem para o cliente Spark Connect Scala
  • SPARK-51187 Implementar a descontinuação gradual de configurações incorretas introduzida em SPARK-49699
  • SPARK-51650 Suporte para exclusão de objetos em cache ml em lotes
  • SPARK-51619 Suporte para entrada/saída de UDT em UDF Python otimizada para Arrow
  • SPARK-51333 Desembrulhar InvocationTargetException lançado em MLUtils.loadOperator
  • SPARK-51566 Melhoria no rastreamento de UDF em Python
  • SPARK-51393: Recorrer a UDF Python padrão quando o Arrow não for encontrado, mas as UDFs Python otimizadas para Arrow estiverem habilitadas.
  • SPARK-49960 Suporte para ExpressionEncoder personalizado e correções para TransformingEncoder
  • SPARK-51380 Adicionar visitSQLFunction e visitAggregateFunction para melhorar a flexibilidade do V2ExpressionSQLBuilder
  • SPARK-51600 Adicionar classes de sql/hive e sql/hive-thriftserver quando isTesting || isTestingSql for verdadeiro
  • SPARK-51070 Use scala.collection.Set em vez de Set em ValidateExternalType
  • SPARK-50759 Descontinuar algumas APIs legadas do Catálogo
  • SPARK-50994 Executar conversão de RDD sob execução rastreada
  • SPARK-51466 Eliminar a inicialização de UDFs integradas Hive na avaliação UDF Hive
  • SPARK-51491 Simplifique Boxplot com APIsde subconsulta
  • SPARK-51175 Fazer com que Master mostre o tempo decorrido ao remover drivers
  • SPARK-50334 Extrair lógica comum para leitura do descritor de arquivo PB
  • SPARK-50483 BlockMissingException deve ser lançada mesmo se ignoreCorruptFiles estiver habilitado.
  • SPARK-50286 Propagar corretamente as opções SQL para o WriteBuilder
  • SPARK-51023 registra o endereço remoto na exceção RPC
  • SPARK-47611 Limpeza de código morto em MySQLDialect.getCatalystType
  • SPARK-49229 Tratamento UDF Scala duplicadas no SparkConnectPlanner
  • SPARK-50557 Suporte para RuntimeConfig.contains(..) na interface SQL do Scala
  • SPARK-51471 RatePerMicroBatchStream - classificar o erro ASSERT quando o deslocamento/carimbo de data/hora em startOffset for maior que endOffset
  • SPARK-50473 Simplifique o manuseio clássico de colunas
  • SPARK-49286 Mover funções Avro/Protobuf para sql/api
  • SPARK-49087 Distinguir funções não resolvidas que chamam funções internas
  • SPARK-50422 Faça Parameterized SQL queries de SparkSession.sql API GA
  • SPARK-49249 PR complementar para "Adicionar a nova configuração default do gerenciador de artefatos no PySpark à lista de permissões"
  • SPARK-50366 Isolar tags definidas pelo usuário no nível da thread para SparkSession no Classic
  • SPARK-49436 Interface comum para SQLContext
  • SPARK-51551 Para o algoritmo de ajuste, permita o uso de salvar/carregar para substituir o cache.
  • SPARK-51599 Otimizar ps.read_excel para arquivo Excel grande
  • SPARK-51118 Corrigir ExtractPythonUDFs para verificar os tipos de entrada UDF encadeadas em fallback
  • SPARK-50395 Corrigir sintaxe de URI malformada no Windows
  • SPARK-50708 Excluir recurso de artefato no GC da instância ArtifactManager
  • SPARK-51076 Arrow Python UDF fallback para tipos de entrada e saída UDT
  • SPARK-50243 Carregador de classes em cache para ArtifactManager
  • SPARK-49249 Isolamento de artefatos no Spark Classic
  • SPARK-50821 Atualização do Py4J da versão 0.10.9.8 para a versão 0.10.9.9
  • SPARK-51591 Corrigir falha do ThreadPoolExecutor no teste diário do Python 3.13
  • SPARK-40353 Corrigir incompatibilidade de índice anulável em ps.read_excel
  • SPARK-42746 Implementar a função LISTAGG
  • SPARK-50102 Adicionar shims necessários para métodos SQL públicos ausentes.
  • SPARK-50513 Separar EncoderImplicits de SQLImplicits e fornecer um objeto auxiliar dentro do StatefulProcessor
  • Correção SPARK-51567 DistributedLDAModel.vocabSize
  • SPARK-49569 Adicionar shims para suportar SparkContext e RDD
  • SPARK-51473 O dataframe transformado por ML mantém uma referência ao modelo.
  • SPARK-51340 Estimativa do tamanho do modelo
  • SPARK-51474 Não insira ColumnarToRowExec redundante para nós que suportam saída tanto em colunas quanto em linhas.
  • SPARK-51445 Alterar o valor nunca alterado var para val
  • SPARK-50618 Fazer com que DataFrameReader e DataStreamReader aproveitem melhor o analisador.
  • SPARK-51097 Reintroduzir RocksDB armazenamento do estado's last upload Snapshot version instance métricas
  • SPARK-49418 Locais da Thread de Sessão Compartilhada
  • SPARK-50096 Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2150: TUPLE_SIZE_EXCEEDS_LIMIT
  • SPARK-50264 Adicionar métodos ausentes ao DataStreamWriter
  • SPARK-49434 Mover agregadores para sql/api
  • SPARK-51451 Corrige o ExtractGenerator para aguardar a resolução de UnresolvedStarWithColumns.
  • SPARK-49416 Adicionar interface DataStreamReader compartilhada
  • SPARK-49429 Adicionar interface DataStreamWriter compartilhada
  • SPARK-49282 Criar uma interface SparkSessionBuilder compartilhada.
  • SPARK-49415 Mover SQLImplicits para sql/api
  • SPARK-51443 Corrigir singleVariantColumn em DSv2 e readStream.
  • SPARK-49369 Adicionar conversões de coluna implícitas
  • SPARK-49417 Adicionar interface StreamingQueryManager compartilhada
  • SPARK-51079 Suporte a tipos de variáveis grandes em UDF Pandas , createDataFrame e toPandas com Arrow
  • SPARK-51277 Implementar uma implementação sem argumentos em uma UDF Python otimizada para Arrow.
  • SPARK-50601 Suporte para withColumns / withColumnsRenamed em subconsultas
  • SPARK-49479 Cancelar a thread não-daemon do temporizador ao parar o BarrierCoordinator
  • SPARK-51379 Mover a agregação final de treeAggregate do driver para o executor
  • SPARK-49712 Remover encoderFor daJVMconnect-client
  • SPARK-49424 Consolidar Codificadores.Scala
  • SPARK-49574 Desativar testes de compartilhamento delta quebrados para o master
  • SPARK-51409 Adicionar classificação de erros no caminho de criação do gravador de changelog
  • SPARK-49568 Remover o tipo "self" do conjunto de dados
  • SPARK-51433 Alterar o script de lançamento para liberar o cliente PySpark
  • SPARK-51422 Eliminar a troca de dados entre JVM e Python no CrossValidator
  • SPARK-51425 Adicionar API de cliente para definir configurações personalizadas operation_id
  • SPARK-49284 Criar uma interface de catálogo compartilhada
  • SPARK-50855 Suporte do Spark Connect para TransformWithState em Scala
  • SPARK-50694 Suporte para renomeações em subconsultas
  • SPARK-50880 Adicionar um novo método visitBinaryComparison ao V2ExpressionSQLBuilder
  • SPARK-51282 Otimizar a transformação OneVsRestModel eliminando a troca de dados entre JVM e Python
  • SPARK-51079 Suporte a tipos de variáveis grandes em UDF Pandas , createDataFrame e toPandas com Arrow
  • SPARK-51383 Evite fazer chamadas RPC se os clientes já forem conhecidos como parados.
  • SPARK-51227 Corrigir PySpark Connect _minimum_grpc_version para 1.67.0
  • SPARK-51362 Alterar toJSON para usar a API NextIterator para eliminar a dependência de registros adjacentes
  • SPARK-51375 Suprimir SparkConnect(Execution|Session)Manager.periodicMaintenance mensagens de log
  • SPARK-50393 Introduz TableArg comum para Spark Classic e Spark Connect
  • SPARK-50133 Suporte para conversão de DataFrame em argumento de tabela no cliente Python do Spark Connect
  • SPARK-49574 ExpressionEncoder rastreia o AgnosticEncoder que o criou.
  • SPARK-49422 Adicionar groupByKey ao sql/api
  • SPARK-51381 Mostrar Session ID na página Spark Connect Session
  • SPARK-51316 Permitir lotes Arrow em bytes em vez de número de linhas
  • SPARK-50134 Suporte à API DataFrame para subconsultas SCALAR e EXISTS no Spark Connect
  • SPARK-50392 Conversão de DataFrame para argumento de tabela no Spark Classic
  • SPARK-50553 Lançar InvalidPlanInput para mensagem de plano inválido
  • SPARK-51322 Melhor mensagem de erro para expressão de subconsulta de transmissão
  • SPARK-51281 O DataFrameWriterV2 deve respeitar a opção de caminho.
  • SPARK-50856 Suporte do Spark Connect para TransformWithStateInPandas em Python
  • SPARK-51333 Desembrulhar InvocationTargetException lançado por invokeMethod
  • SPARK-50134 Suporte API DataFrame para junção lateral no Spark Connect
  • SPARK-51083 Modificar JavaUtils para não ignorar exceções interrompidas
  • SPARK-49413 Criar uma interface RuntimeConfig compartilhada (continuação)
  • SPARK-49413 Criar uma interface RuntimeConfig compartilhada
  • SPARK-50993 Mover nullDataSourceOption de QueryCompilationErrors para QueryExecutionErrors
  • SPARK-51329 Adicionar numFeatures para modelos clustering
  • SPARK-51305 Melhorar SparkConnectPlanExecution.createObservedMetricsResponse
  • SPARK-51097 Adicionando medições de instância de armazenamento do estado para o último upload da versão do snapshot no RocksDB
  • SPARK-49425 Criar um DataFrameWriter compartilhado
  • SPARK-50655 Mover o mapeamento relacionado à família de colunas virtuais para a camada de banco de dados em vez do codificador.
  • SPARK-48530 Suporte para variáveis locais em scripts SQL
  • SPARK-51284 Corrigir execução de script SQL para resultados vazios
  • SPARK-49085 Remover encapsulamento especial para funções Protobuf no Connect
  • SPARK-50881 Use o esquema em cache sempre que possível em connect dataframe.py
  • SPARK-51275 Propagação de sessão em leitura e escrita em Python
  • SPARK-51109 CTE em expressão de subconsulta como coluna de agrupamento
  • SPARK-50598 Adicionar parâmetros para permitir a implementação posterior de CTEs recursivas
  • SPARK-51202 Passar a sessão em meta algoritmos para escritores em Python
  • SPARK-51215 Adicionar uma função auxiliar para invocar o atributo de modelo auxiliar
  • SPARK-51214 Não remova os modelos em cache precipitadamente para fit_transform
  • SPARK-51237 Adicionar detalhes da API para as novas APIs auxiliares transformWithState
  • SPARK-51192 Expor processWithoutResponseObserverForTesting em SparkConnectPlanner
  • SPARK-51217 Limpeza do construtor auxiliar do modelo ML
  • SPARK-51218 Evitar map/flatMap em NondeterministicExpressionCollection
  • SPARK-50953 Adicionar suporte para caminhos não literais em VariantGet
  • SPARK-50132 Adicionar API DataFrame para junção lateral
  • SPARK-51190 Corrigir TreeEnsembleModel.treeWeights
  • SPARK-50945 Suporte para Summarizer e SummaryBuilder no Connect
  • SPARK-51142 Limpeza de protobufs ML
  • SPARK-51139 Refinar classe de erro MLAttributeNotAllowedException
  • SPARK-51080 Corrigir salvamento/carregamento para PowerIterationClustering
  • SPARK-51100 Substituir wrappers de transformadores por relações de atributos de modelo auxiliares
  • SPARK-51091 Corrigir os parâmetros default de StopWordsRemover
  • SPARK-51089 Suporte VectorIndexerModel.categoryMaps na conexão
  • SPARK-50954 Suporte para sobrescrita do caminho do modelo no lado do cliente para metaalgoritmos
  • SPARK-50975 Suporte CountVectorizerModel.from_vocabulary na conexão
  • SPARK-50958 Suporte Word2VecModel.findSynonymsArray na conexão
  • Suporte SPARK-50930 PowerIterationClustering no Connect
  • SPARK-51157 Adicionar anotação @varargs Scala ausente para APIsde função Scala
  • SPARK-51155 Faça com que SparkContext mostre o tempo total de execução após a parada
  • SPARK-51143 pino plotly<6.0.0 e torch<2.6.0
  • SPARK-50949 Introduzir um modelo auxiliar para suporte StringIndexModel.from_labels_xxx
  • SPARK-51131 Lançar exceção quando um script SQL é encontrado dentro do comando EXECUTE IMMEDIATE
  • SPARK-51078 Corrigir a chamada py4j em StopWordsRemover
  • SPARK-50944 Suporte KolmogorovSmirnovTest no Connect
  • SPARK-50602 Corrigir transposição para exibir uma mensagem de erro adequada quando colunas de índice inválidas forem especificadas.
  • SPARK-50943 Suporte Correlation no Connect
  • SPARK-50234 Melhorar a mensagem de erro e o teste para a API de DataFrame transposto
  • Suporte SPARK-50942 ChiSquareTest no Connect
  • SPARK-48353 Introdução do mecanismo de tratamento de exceções em scripts SQL
  • SPARK-51043 Registro detalhado de usuários para Spark Connect foreachBatch
  • SPARK-50799 Aprimorar a docstring de rlike, length, octet_length, bit_length e transform.
  • SPARK-51015 Suporte para RFormulaModel.toString em Connect
  • SPARK-50843 Suporte para devolução de um modelo existente para um novo.
  • SPARK-50969 Correção GaussianMixtureModel.gaussians na conexão
  • SPARK-50899 Suporte PrefixSpan na conexão
  • Suporte SPARK-51060 QuantileDiscretizer no Connect
  • SPARK-50974 Adicionar suporte para foldCol no CrossValidator ao conectar
  • SPARK-50922 Suporte OneVsRest no Connect
  • SPARK-50812 Adicionar suporte à expansão polinomial
  • SPARK-50923 Suporte para FMClassifier e FMRegressor no Connect
  • SPARK-50918 Refatorar leitura/gravação para pipeline
  • SPARK-50938 Suporte para VectorSizeHint e VectorSlicer no Connect
  • SPARK-51005 Suporte para VectorIndexer e ElementwiseProduct no Connect
  • SPARK-51014 Suporte RFormula na conexão
  • SPARK-50941 Adicionar suporte para TrainValidationSplit
  • SPARK-51004 Adicionar suporte para IndexString
  • SPARK-51003 Suporte para modelos LSH no Connect
  • SPARK-50924 Suporte para AFTSurvivalRegression e IsotonicRegression no Connect
  • SPARK-50921 Suporte para MultilayerPerceptronClassifier no Connect
  • SPARK-50995 Suporte clusterCenters para KMeans e BisectingKMeans
  • SPARK-50940 Adiciona suporte a CrossValidator/CrossValidatorModel na conexão.
  • Suporte SPARK-50929 LDA no Connect
  • SPARK-50925 Suporte para Regressão Linear Generalizada no Connect
  • SPARK-50988 Corrigir inconsistências de UID para estimador e modelo
  • SPARK-50989 Suporte para NGram, Normalizer e Interação no connect
  • Suporte SPARK-50937 Imputer no Connect
  • SPARK-51049 Aumentar o limite de E/S do vetor S3A para mergede intervalo
  • SPARK-50812 Suporte para TargetEncoderModel no Connect
  • SPARK-50920 Suporte para NaiveBayes no Connect
  • SPARK-50936 Suporte para HashingTF, IDF e FeatureHasher na conexão
  • SPARK-50934 Suporte para CountVectorizer e OneHotEncoder no Connect
  • SPARK-49287 Mover classes de transmissão para sql/api
  • SPARK-50932 Suporte para Bucketizer no Connect
  • SPARK-50933 Suporte para seletores de recursos no Connect
  • SPARK-50931 Suporte para Binarizador na conexão
  • SPARK-50935 Suporte DCT em conexão
  • SPARK-50963 Suporte para Tokenizadores, SQLTransform e Removedor de StopWords no Connect
  • SPARK-50928 Suporte para GaussianMixture no Connect
  • SPARK-49383 Suporte à API Transpose DataFrame
  • SPARK-50939 Suporte Word2Vec no Connect
  • SPARK-49249 Adicionar novas APIs relacionadas tagem Conectar de volta ao Spark Core
  • SPARK-50919 Suporte LinearSVC na conexão
  • SPARK-50883 Suporte para alteração de múltiplas colunas no mesmo comando
  • SPARK-50918 Suporte ao pipeline no Connect
  • SPARK-50826 Refatorar a forma de lidar com ALLOWED_ATTRIBUTES
  • SPARK-49427 Criar uma interface compartilhada para MergeIntoWriter
  • SPARK-49414 Adicionar interface DataFrameReader compartilhada
  • SPARK-50948 Adicionar suporte para StringIndexer/PCA no Connect
  • Transformerde suporte SPARK-50901 VectorAssembler
  • SPARK-50879 Suporte para escaladores de recursos no Connect
  • SPARK-50130 Adicionar APIs DataFrame para subconsultas escalares e exists
  • SPARK-50075 Adicionar APIs DataFrame para funções com valor de tabela
  • SPARK-49426 Criar uma interface compartilhada para DataFrameWriterV2
  • SPARK-50898 Suporte FPGrowth na conexão
  • SPARK-50844 Fazer com que o modelo seja carregado pelo ServiceLoader durante o carregamento
  • SPARK-50884 Suporte é Maior é Melhor no Avaliador
  • SPARK-50959 Ignorar a exceção do JavaWrapper
  • SPARK-50558 Introduzir simpleString para ExpressionSet
  • SPARK-49422 Criar uma interface compartilhada para KeyValueGroupedDataset
  • SPARK-50878 Suporte para ELA no Connect
  • SPARK-50897 Evitando a criação de instâncias no ServiceLoader
  • SPARK-50877 Suporte para KMeans e BisectingKMeans no Connect
  • SPARK-50876 Suporte a regressores de árvore no Connect
  • SPARK-50874 Suporte LinearRegression na conexão
  • SPARK-50869 Suporte aos avaliadores no ML Connect
  • SPARK-50851 Express parâmetros de ML com proto.Expression.Literal
  • SPARK-50825 Suporte para classificadores de árvore no ML Connect
  • Plugin de suporte SPARK-50827
  • SPARK-49907 Suporte para spark.ml no Connect
  • SPARK-50968 Corrigir o uso de Column.__new__
  • SPARK-49028 Criar uma SparkSession compartilhada
  • SPARK-49421 Criar uma interface RelationalGroupedDataset compartilhada
  • SPARK-50804 to_protobuf() não deveria lançar MatchError
  • SPARK-50900 Adicionar VectorUDT e MatrixUDT aos ProtoDataTypes
  • Correção SPARK-50579 truncatedString
  • SPARK-50875 Adicionar agrupamentos RTRIM ao TVF
  • SPARK-49420 Adicionar interface compartilhada para DataFrameNaFunctions
  • SPARK-50669 Alterar a assinatura da expressão TimestampAdd
  • SPARK-46615 Suporte para scimmutable.ArraySeq em ArrowDeserializers
  • SPARK-49423 Consolidar observações em SQL/API
  • SPARK-49086 Mover o registro de funções de ML para SparkSessionExtensions
  • SPARK-49419 Criar funções DataFrameStatFunctions compartilhadas
  • SPARK-50735 Falha em ExecuteResponseObserver resulta em solicitações de reconexão infinitas
  • SPARK-50522 Suporte para agrupamento indeterminado
  • SPARK-50893 Marcar UDT.DataType opcional
  • SPARK-50685 Melhorar o desempenho do Py4J utilizando getattr
  • SPARK-50742 Remover configuração spark.hadoop.fs.s3a.connection.establish.timeout
  • SPARK-50714 Habilitar a evolução do esquema para TransformWithState quando a codificação Avro for usada.
  • SPARK-49029 Criar interface de conjunto de dados compartilhado
  • SPARK-50263 Substitua System.currentTimeMillis por System.nanoTime
  • SPARK-50525 Definir regra de otimização InsertMapSortInRepartitionExpressions
  • SPARK-50561 Melhorar a coerção de tipo e a verificação de limites para a função SQL UNIFORM
  • SPARK-50707 Habilitar conversão de/para char/varchar
  • SPARK-49027 Compartilhar API de coluna entre classe e Connect
  • SPARK-49632 Remover a sugestão de configuração ANSI em CANNOT_PARSE_TIMESTAMP
  • SPARK-50529 Alterar o comportamento de char/varchar na configuração
  • Conjunto SPARK-50600 analisado com falha na análise
  • SPARK-50789 As entradas para agregações tipadas devem ser analisadas.
  • SPARK-49025 Tornar a implementação da coluna independente de contexto
  • SPARK-50738 Atualização preta para 23.12.1
  • SPARK-49883 armazenamento do estado Estrutura de Checkpoint V2 Integração com RocksDB
  • SPARK-50778 Adicionar coluna de metadados ao DataFrame do PySpark
  • SPARK-49565 Melhorar os aliases de expressão gerados automaticamente com operadores SQL de pipe
  • SPARK-50772 Manter aliases de tabela após os operadores SET, EXTEND e DROP
  • SPARK-50690 Corrigir discrepância na citação da saída da view DESCRIBE TABLE
  • SPARK-50675 Suporte para agrupamentos em nível de tabela e view
  • SPARK-50480 Estender CharType e VarcharType de StringType
  • SPARK-50715 SparkSession.Builder define as configurações em lotes
  • SPARK-50693 As entradas para TypedScalaUdf devem ser analisadas.
  • SPARK-50710 Adicionar suporte para reconexão opcional do cliente às sessões após a liberação.
  • SPARK-50596 Atualização do Py4J da versão 0.10.9.7 para a versão 0.10.9.8
  • SPARK-50661 Adicionar retrocompatibilidade para cliente antigo FEV.
  • SPARK-50515 Adicionar interface somente leitura para SparkConf
  • SPARK-50642 Corrigir o esquema de estado para FlatMapGroupsWithState no Spark Connect quando não houver estado inicial.
  • SPARK-50702 Aprimorar a docstring de regexp_count, regexp_extract e regexp_extract_all
  • SPARK-50692 Adicionar suporte a pushdown de RPAD
  • SPARK-50699 Analisar e gerar strings DDL com uma sessão especificada
  • SPARK-50573 Adicionando ID de esquema de estado às linhas de estado para evolução do esquema
  • SPARK-50311 Suporte a APIs (add|remove|get|clear)Tag(s) para PySpark
  • SPARK-50661 Corrigir implementação foreachBatch do Spark Connect Scala. para dar suporte ao conjunto de dados [T].
  • SPARK-50696 Otimizar a chamada Py4J para o método de análise DDL
  • SPARK-50687 Otimizar a lógica para obter rastreamentos de pilha para DataFrameQueryContext
  • SPARK-50681 Armazene em cache o esquema analisado para MapInXXX e ApplyInXXX
  • SPARK-50578 Adicionar suporte para nova versão de metadados de estado para TransformWithStateInPandas
  • SPARK-50405 Lidar corretamente com a coerção do tipo de ordenação de tipos de dados complexos.
  • SPARK-50615 Insira a variante na digitalização.
  • SPARK-50599 Criar o trait DataEncoder que permite a codificação Avro e UnsafeRow
  • SPARK-50076 Corrigir chaves de log
  • SPARK-50339 Habilita changelog para armazenar informações de linhagem
  • SPARK-50540 Corrigir esquema de strings para StatefulProcessorHandle
  • Implementação SPARK-50544 StructType.toDDL
  • SPARK-50528 Mover InvalidCommandInput para módulo comum
  • SPARK-50063 Adicionar suporte para Variant no cliente Scala do Spark Connect
  • SPARK-50310 Adicionar uma flag para desabilitar DataFrameQueryContext para PySpark
  • SPARK-50310 Adicionar uma flag para desabilitar DataFrameQueryContext para PySpark
  • SPARK-50032 Permitir o uso de um nome de agrupamento totalmente qualificado.
  • SPARK-50466 Aprimorar a docstring para funções de string - parte 1
  • SPARK-49676 Adicionar suporte para encadeamento de operadores na API transformWithStateInPandas
  • SPARK-50081 Suporte de geração de código para XPath*(por Invoke e RuntimeReplaceable)
  • SPARK-46725 Adicionar função DAYNAME
  • SPARK-50067 Suporte de geração de código para SchemaOfCsv (por Invoke e RuntimeReplaceable)
  • SPARK-49873 corrige falha pós merge em testes de erro
  • SPARK-50270 Adicionadas métricas de estado personalizadas para TransformWithStateInPandas
  • Suporte SPARK-50381 spark.master.rest.maxThreads
  • SPARK-50427 Expor configure_logging como uma API pública
  • SPARK-50173 Fazer com que as expressões Pandas aceitem mais tipos de dados
  • SPARK-50169 Melhora o desempenho de RegExpReplace
  • SPARK-50238 Adicionar suporte a variantes em UDFs/UDTFs/UDAFs do PySpark e UDFs UC do Python
  • SPARK-50190 Remover a dependência direta do Numpy do Histograma
  • SPARK-50183 Unificar as funções internas da API Pandas e do gráfico PySpark
  • SPARK-50170 Mova _invoke_internal_function_over_columns para pyspark.sql.utils
  • SPARK-50036 Incluir SPARK_LOG_SCHEMA no contexto do shell REPL
  • SPARK-50141 Faça com que lpad e rpad aceitem argumentos do tipo Column
  • SPARK-49954 Suporte para geração de código para SchemaOfJson (por Invoke e RuntimeReplaceable)
  • SPARK-50098 Atualize a versão mínima de googleapis-common-protos para 1.65.0
  • SPARK-50059 Verificação de compatibilidade API para transmissão estruturada I/O
  • SPARK-50241 Substituir o Mixin NullIntolerant pelo método Expression.nullIntolerant
  • SPARK-49849 Verificação de compatibilidade API para transmissão estruturada Query Management
  • Verificação de compatibilidade da API SPARK-49851 para Protobuf
  • Verificação de compatibilidade da API SPARK-49850 para Avro
  • Verificação de compatibilidade da API SPARK-50039 para agrupamento
  • Verificação de compatibilidade da API SPARK-50023 para Funções
  • Verificação de compatibilidade da API SPARK-50030 para Windows
  • SPARK-50002 Verificação de compatibilidade da API para E/S
  • SPARK-49848 Verificação de compatibilidade da API para o Catálogo
  • SPARK-50022 Correção MasterPage para ocultar links da interface do usuário do aplicativo quando a interface do usuário estiver desativada
  • SPARK-50021 Correção ApplicationPage para ocultar links da interface do usuário do aplicativo quando a interface do usuário estiver desativada
  • SPARK-49990 Melhora o desempenho de randStr
  • SPARK-50380 ReorderAssociativeOperator deve respeitar o contrato em ConstantFolding.
  • SPARK-50330 Adicionar dicas aos nós de classificação e janela
  • SPARK-49609 Adicionar verificação de compatibilidade de API entre Classic e Connect
  • SPARK-49773 Exceção Java não capturada de make_timestamp() com fuso horário inválido
  • SPARK-49345 Certifique-se de estar usando a sessão Spark em execução.
  • SPARK-49368 Evite acessar diretamente as classes protobuf lite.
  • SPARK-50056 Suporte de geração de código para ParseUrl (por Invoke e RuntimeReplaceable)
  • SPARK-49119 Corrigir a inconsistência de sintaxe show columns entre v1 e v2
  • SPARK-50144 Abordar a limitação do cálculo de métricas com fontes de transmissão DSv1
  • SPARK-49962 Simplificar a hierarquia de classes AbstractStringTypes
  • SPARK-50327 Fatorar a resolução da função para ser reutilizada no analisador de passagem única.
  • SPARK-48775 Substituir SQLContext por SparkSession no STS
  • SPARK-50325 Extrair a resolução de alias para ser reutilizada no analisador de passagem única.
  • SPARK-48123 Fornecer um esquema de tabela constante para consultar logs estruturados
  • SPARK-50055 Adicionar alternativa TryMakeInterval
  • SPARK-49312 Melhorar a mensagem de erro para assertSchemaEqual
  • SPARK-38912 Remover o comentário relacionado ao método de classe e à propriedade.
  • SPARK-50112 Permitir que o operador TransformWithState use a codificação Avro
  • SPARK-50260 Refatorar e otimizar a execução e o gerenciamento de sessões do Spark Connect
  • SPARK-50196 Corrigir contexto de erro do Python para usar um contexto adequado
  • SPARK-50167 Melhorar as mensagens de erro e importações gráficas PySpark
  • SPARK-50085 Faça com que lit(ndarray) com np.int8 respeite o tipo de dados numpy
  • SPARK-50273 Melhorar o registro de logs para casos de aquisição/liberação de bloqueio do RocksDB
  • SPARK-50163 Corrigir a liberação extra do acquireLock do RocksDB devido ao listener de conclusão.
  • SPARK-49770 Melhorar o gerenciamento de mapeamento de arquivos SST RocksDB e corrigir o problema com a recarga da mesma versão com um Snapshot existente.
  • SPARK-50232 Adicionar 'protobuf==5.28.3' em dev/requirements.txt
  • SPARK-50231 Fazer com que a função instr aceite coluna substring
  • SPARK-50028 Substituir bloqueios globais no listener do servidor Spark Connect por bloqueios de granularidade fina
  • SPARK-50077 Introduz um novo objeto de padrão para LogicalRelation para ajudar a evitar o padrão de parâmetros completos default
  • SPARK-50128 Adicionar APIs de manipulador de processador com estado usando codificadores implícitos em Scala
  • SPARK-49411 Comunicar armazenamento do estado ID do ponto de verificação entre o driver e os operadores com estado
  • SPARK-50054 Suporte para gráfico de histograma
  • SPARK-49854 Não copiar a biblioteca cluster ao clonar o gerenciador de artefatos
  • SPARK-50071 Adicionar try_make_timestamp(_ltz e _ntz) e testes relacionados
  • SPARK-50024 Alternar para usar o módulo de registro (logger) em vez do módulo de avisos (warnings) no cliente.
  • SPARK-50174 Fatorar para fora UnresolvedCatalogRelation resolução
  • SPARK-49734 Adicionar argumento seed para função shuffle
  • SPARK-49943 Remover timestamp_ntz_to_long de PythonSQLUtils
  • SPARK-49945 Adicionar alias para distributed_id
  • SPARK-49755 Remover a caixa especial para funções Avro no Connect
  • SPARK-49805 Remover funções privadas[xxx] de function.scala
  • SPARK-49929 Caixa gráfica de suporte
  • SPARK-49767 Refatorar a invocação da função interna
  • SPARK-49939 Suporte de geração de código para json_object_keys (por Invoke e RuntimeReplaceable)
  • SPARK-49854 Gerenciador de artefatos de clonagem durante a clonagem de sessão
  • SPARK-49766 Suporte de geração de código para json_array_length (por Invoke e RuntimeReplaceable)
  • SPARK-49540 Unificar o uso de distributed_sequence_id
  • SPARK-50046 Usar ordem estável do nó EventTimeWatermark para calcular a marca d'água
  • SPARK-50031 Adicione a expressão TryParseUrl
  • SPARK-49202 Aplicar ArrayBinarySearch para histograma
  • SPARK-49811 Renomear StringTypeAnyCollation
  • SPARK-50106 Atualização do pacote Python protobuf para a versão 5.28.3
  • SPARK-49203 Adicionar expressão para java.util.Arrays.binarySearch
  • SPARK-50090 Refatorar ResolveBinaryArithmetic para separar transformações de nó único
  • Suporte SPARK-49103 spark.master.rest.filters
  • SPARK-49222 Limpar métodos inúteis em QueryCompilationErrors
  • SPARK-50062 Suporte a compilações por InSet
  • SPARK-50035 Adicionar suporte para a função handleExpiredTimer explícita como parte do processador com estado.
  • SPARK-50050 Faça com que lit aceite ndarrays do tipo str e bool do NumPy
  • SPARK-50051 Fazer lit funcionar com um ndarray numpy vazio
  • SPARK-49857 Adicionar storageLevel à APIlocalCheckpoint do conjunto de dados
  • SPARK-48749 Simplificar UnaryPositive e eliminar suas regras Catalyst com RuntimeReplaceable
  • SPARK-50058 Extrair as funções de normalização do plano para usá-las posteriormente em testes de analisador de passagem única.
  • SPARK-50042 Atualização do numpy 2 para o linter Python
  • SPARK-50052 Fazer com que o NumpyArrayConverter suporte ndarrays de strings vazios
  • SPARK-49126 Mover a definição de configuração spark.history.ui.maxApplications para History.scala
  • SPARK-50044 Aprimorar a docstring de múltiplas funções matemáticas
  • SPARK-48782 Adicionar suporte para execução de procedimentos em catálogos
  • SPARK-48773 Configuração do documento "spark.default.parallelism" por meio do framework config builder
  • SPARK-49876 Remova os bloqueios globais do serviço Spark Connect
  • SPARK-48480 StreamingQueryListener não deve ser afetado por spark.interrupt()
  • SPARK-49978 Mover o aviso de descontinuação do sparkR para o momento de anexação do pacote
  • SPARK-48549 Melhorar a função SQL sentences
  • SPARK-49956 Colações desativadas com a expressão collect_set
  • SPARK-49974 Mover resolveRelations(...) para fora do Analyzer.Scala
  • SPARK-49067 Mover literal utf-8 para métodos internos da classe UrlCodec
  • SPARK-49393 Falha por default em APIsde plugin de catálogo obsoletas
  • SPARK-49918 Use acesso somente leitura à configuração em SparkContext quando apropriado.
  • SPARK-49924 Manter containsNull após substituição de ArrayCompact
  • SPARK-49895 Melhorar erro ao encontrar vírgula à direita na cláusula SELECT
  • SPARK-49890 Extrair a preparação de df.sample para a classe pai
  • SPARK-49810 Extrair a preparação de DataFrame.sort para a classe pai
  • SPARK-49405 Restringir conjuntos de caracteres em JsonOptions
  • SPARK-49542 Erro de avaliação de exceção de transformação de partição
  • SPARK-47172 Adicionar suporte para AES-GCM para criptografia RPC
  • SPARK-44914 Corrigir HadoopConfUtilsSuite após remover xercesImpl
  • SPARK-47496 Suporte Java SPI para registro dinâmico de dialetos JDBC
  • SPARK-48961 Tornar a nomenclatura dos parâmetros de PySparkException consistente com a JVM
  • SPARK-47390 Lidar com o mapeamento de timestamps SQL para Postgres e MySQL
  • SPARK-49824 Melhorar o registro de logs no SparkConnectStreamingQueryCache
  • SPARK-49894 Aprimorar a representação de strings das operações de campo de coluna
  • SPARK-49836 Corrigir possível problema na consulta quando uma janela é fornecida à função window/session_window.
  • SPARK-49531 Suporte para gráfico de linhas com backend Plotly
  • SPARK-48780 Erros em NamedParametersSupport genérico para lidar com funções e procedimentos
  • SPARK-49026 Adicionar conversão de ColumnNode para Proto
  • SPARK-49814 Quando o cliente Spark Connect iniciar, mostre o spark version do connect server
  • SPARK-49246 TableCatalog#loadTable deve indicar se é para escrita
  • SPARK-49749 Alterar o nível de log para depuração em BlockManagerInfo
  • SPARK-48303 Reorganizar LogKeys
  • SPARK-48112 Expor a sessão do SparkConnectPlanner aos plugins
  • SPARK-45919 Use Java 16 record para simplificar a definição de classe Java
  • SPARK-48126 Tornar spark.log.structuredLogging.enabled eficaz
  • SPARK-49656 Adicionar suporte para variáveis de estado com tipos de coleta de estado de valor e opções de leitura do feed de alterações.
  • SPARK-49323 Mover o MockObserver da pasta de teste do Spark Connect Server para a pasta principal do servidor.
  • SPARK-49772 Remover ColumnFamilyOptions e adicionar configurações diretamente ao dbOptions no RocksDB
  • SPARK-49688 Corrigir uma condição de corrida de dados entre a interrupção e o plano de execução
  • SPARK-49585 Substituir o mapa de execuções no SessionHolder com o conjunto operationID
  • SPARK-49684 Minimizar a duração do bloqueio de restauração de sessão
  • SPARK-48857 Restringir conjuntos de caracteres em CSVOptions
  • SPARK-48615 Melhoria de desempenho na análise de strings hexadecimais
  • SPARK-49719 Fazer com que UUID e SHUFFLE aceitem números inteiros seed
  • SPARK-49713 Fazer com que a função count_min_sketch aceite argumentos numéricos
  • SPARK-48623 Migrações de registro estruturado [Parte 3]
  • SPARK-48541 Adicionar um novo código de saída para executor finalizado pelo TaskReaper
  • SPARK-48627 Melhoria de desempenho para conversão de binários em strings HEX_DISCRETE
  • SPARK-49226 Limpeza da geração de código UDF
  • SPARK-49673 Aumentar CONNECT_GRPC_ARROW_MAX_BATCH_SIZE para 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • SPARK-49307 Adicionar serialização Kryo à estrutura de codificador agnóstico
  • SPARK-48601 Fornecer uma mensagem de erro mais amigável ao usuário ao definir um valor nulo para a opção JDBC.
  • SPARK-42252 Adicionar spark.shuffle.localDisk.file.output.buffer e descontinuar spark.shuffle.unsafe.file.output.buffer
  • SPARK-49505 Criar novas funções SQL "randstr" e "uniform" para gerar strings ou números aleatórios dentro de intervalos.
  • SPARK-48341 Permitir que os plugins usem o QueryTest em seus testes.
  • SPARK-48374 Suporte a tipos de coluna adicionais da tabela PyArrow
  • SPARK-49412 calcula todas as métricas gráficas da caixa em um único trabalho
  • SPARK-49684 Remover bloqueios globais de gerenciadores de sessão e execução
  • SPARK-49225 Adicionar ColumnNode sql e normalizar
  • SPARK-49274 Suporte a codificadores baseados em serialização Java
  • SPARK-49089 Mover expressões Catalyst codificadas para o registro de funções interno
  • SPARK-48185 Corrigir 'classe de referência simbólica não acessível: classe sun.util.calendar.ZoneInfo'
  • SPARK-48037 Fix SortShuffleWriter não possui gravação atualizada de métricas relacionadas, resultando em dados potencialmente imprecisos
  • SPARK-49534 Não adicionar mais sql/hive e sql/hive-thriftserver quando spark-hive_xxx.jar não estiver no classpath.
  • SPARK-49502 Evitar NPE em SparkEnv.get.shuffleManager.unregisterShuffle
  • SPARK-49567 Use classic em vez de vanilla da base de código PySpark
  • SPARK-49582 Melhorar as utilidades e a docstring de "dispatch_window_method"
  • SPARK-49478 Lidar com métricas nulas em ConnectProgressExecutionListener
  • SPARK-49525 Pequena melhoria no log de transmissões do lado do servidor. ListenerBus Listener
  • SPARK-49544 Substituir o bloqueio grosseiro no SparkConnectExecutionManager por um ConcurrentMap
  • SPARK-49548 Substituir o bloqueio grosseiro no SparkConnectSessionManager por um ConcurrentMap
  • SPARK-49004 Usar registro separado para funções internas da API de Colunas
  • SPARK-49443 Implementar a expressão to_variant_object e fazer com que as expressões schema_of_variant imprimam OBJECT para objetos variantes.
  • Correção SPARK-49595 DataFrame.unpivot/melt no cliente Scala do Spark Connect
  • SPARK-49526 Suporte para caminhos no estilo Windows no ArtifactManager
  • SPARK-49396 Modificar a verificação de nulidade para a expressão CaseWhen
  • SPARK-49024 Adicionar suporte para funções ao nó de coluna
  • Construtores de Expressão Compatíveis com SPARK-48985 Connect
  • SPARK-49083 Permitir que from_xml e from_json funcionem nativamente com esquemas JSON.
  • SPARK-48986 Adicionar Representação Intermediária de Nó de Coluna
  • SPARK-48960 Faz com que o spark-submit funcione com o Spark Connect.
  • SPARK-49492 Tentativa de reconexão em ExecutionHolder inativo
  • SPARK-47307 Adicionar uma configuração para dividir opcionalmente strings base64 em partes menores.
  • SPARK-49451 Permitir chave duplicada em parse_json
  • SPARK-49021 Adicionar suporte para leitura de variáveis de estado com valor transformWithState usando o leitor de fonte de dados state
  • SPARK-49249 Adicionar API addArtifact ao Spark SQL Core
  • SPARK-48693 Simplificar e unificar o método toString de Invoke e StaticInvoke
  • SPARK-41982 Partições do tipo strings não devem ser tratadas como tipos numéricos
  • Correção SPARK-49216 para não log o contexto da mensagem com LogEntry construído explicitamente quando a configuração de Registro Estruturado está desativada.
  • SPARK-49459 Suporte CRC32C para Soma de Verificação Shuffle
  • SPARK-49409 Ajustar o valor default de CONNECT_SESSION_PLAN_CACHE_SIZE
  • SPARK-49164 Corrigir a ausência de NullSafeEqual no predicado da consulta SQL em relação JDBC
  • SPARK-48344 Execução de scripts SQL (incluindo Spark Connect)
  • SPARK-49260 Não adicionar mais o caminho de classes do módulo sql/core no shell Spark Connect
  • SPARK-49041 Gerar erro apropriado para dropDuplicates quando subset incorreto for fornecido
  • SPARK-49300 Corrige o vazamento de tokens de delegação Hadoop quando o tokenRenewalInterval não está configurado.
  • SPARK-48796 Carregar o ID da família de colunas dos metadados do ponto de verificação do RocksDB para o VCF ao reiniciar
  • SPARK-49269 Avaliar antecipadamente a lista VALUES() em AstBuilder
  • SPARK-49336 Limitar o nível de aninhamento ao truncar uma mensagem protobuf
  • SPARK-49245 Refatorar algumas regras do analisador
  • SPARK-48755: Implementação base PySpark para transformWithState e suporte a ValueState.
  • SPARK-48762 Introduz a API clusterBy DataFrameWriter para Python
  • SPARK-48967 Melhorar o desempenho e o consumo de memória das instruções "INSERT INTO ... VALUES"
  • SPARK-49195 Incorporar lógica de análise sintática em nível de script no SparkSubmitCommandBuilder
  • SPARK-49173 Alterar o prompt do shell do Spark Connect de @ para scala>
  • SPARK-49198 Podar mais jarras necessárias para o shell Spark Connect
  • SPARK-48936 Permite que o spark-shell funcione com o Spark Connect.
  • SPARK-49201 Reimplementar hist gráfico com Spark SQL
  • SPARK-49111 Mover withProjectAndFilter para o objeto complementar de DataSourceV2Strategy
  • SPARK-49185 Reimplementar kde gráfico com Spark SQL
  • SPARK-48761 Introduz a API clusterBy DataFrameWriter para Scala
  • SPARK-48628 Adicionar métricas de pico de memória heap on/off da tarefa
  • SPARK-48900 Adicionar campo reason para todas as chamadas internas de cancelamento de Job/estágio
  • SPARK-49076 Corrigir o logical plan name desatualizado nos comentários do AstBuilder
  • SPARK-49059 Mover SessionHolder.forTesting(...) para o pacote de teste
  • SPARK-48658 As funções de codificação/decodificação reportam erros de codificação em vez de mojibake.
  • SPARK-45891 Adicionar suporte para tipos de intervalo na especificação de variantes
  • SPARK-49032 Adicionar caminho de esquema na entrada da tabela de metadados e teste relacionado para o formato de metadados do operador v2
  • SPARK-49009 Fazer com que as APIs e funções de coluna aceitem Enums
  • SPARK-49035 Eliminar TypeVar ColumnOrName_
  • SPARK-48849 Criar OperatorStateMetadataV2 para o operador TransformWithStateExec
  • SPARK-48974 Use SparkSession.implicits em vez de SQLContext.implicits
  • SPARK-48996 Permitir literais simples para __and__ e __or__ da coluna
  • SPARK-48928 Aviso de log para chamada de .unpersist() em RDDs com checkpoint local
  • SPARK-48972 Unificar o tratamento de strings literais em funções
  • SPARK-48891 Refatorar StateSchemaCompatibilityChecker para unificar todos os formatos de esquema de estado.
  • SPARK-48841 Incluir collationName a sql() de Collate
  • SPARK-48944 Unificar o tratamento de esquemas em formato JSON no Connect Server
  • SPARK-48945 Simplifique as funções regex com lit
  • SPARK-48865 Adicionar função try_url_decode
  • SPARK-48851 Alterar o valor de SCHEMA_NOT_FOUND de namespace para catalog.namespace
  • Correção SPARK-48510 para a API UDAF toColumn ao executar testes no Maven
  • SPARK-45190 Tornar from_xml compatível com o esquema StructType
  • SPARK-48900 Adicionar campo reason para cancelJobGroup e cancelJobsWithTag
  • SPARK-48909 Usar SparkSession em vez de SparkContext ao gravar metadados
  • SPARK-48510 Suporte à API UDAF toColumn no Spark Connect
  • SPARK-45155 Adicionar documentação da API para o cliente Spark Connect JVM/Scala
  • SPARK-48794 Suporte para df.mergeInto no Spark Connect (Scala e Python)
  • SPARK-48714 Implementar DataFrame.mergeInto em PySpark
  • SPARK-48726 Criar o formato de arquivo StateSchemaV3 para o operador TransformWithStateExec
  • SPARK-48834 Desativar entrada/saída de variantes para UDFs, UDTFs e UDAFs do Python durante a compilação de consultas
  • SPARK-48716 Adicionar jobGroupId ao SparkListenerSQLExecutionStart
  • SPARK-48888 Remover a criação de snapshots com base no tamanho das operações do changelog
  • SPARK-48772 Estado fonte de dados Alterar Modede leitor de feed
  • SPARK-48742 Família de colunas virtuais para RocksDB
  • SPARK-48852 Corrige a função de corte de strings no Connect
  • SPARK-48343 Introdução ao interpretador de scripts SQL
  • SPARK-48118 Suporte SPARK_SQL_LEGACY_CREATE_HIVE_TABLE variável de ambiente
  • SPARK-48804 Adicionar classIsLoadable e OutputCommitter.isAssignableFrom verificar configurações da classe de committer de saída
  • SPARK-47577 Corrigir uso enganoso da key log TASK_ID
  • SPARK-48798 Introduzir spark.profile.render para criação de perfil baseada em SparkSession
  • SPARK-48686 Melhorar o desempenho de ParserUtils.unescapeSQLString
  • SPARK-48611 registro TID para divisão de entrada em HadoopRDD e NewHadoopRDD
  • SPARK-48720 Alinhar o comando ALTER TABLE ... UNSET TBLPROPERTIES ... em v1 e v2
  • SPARK-48710 Usar tipos compatíveis com NumPy 2.0
  • SPARK-48810 A API de parada de sessão (session stop()) deve ser idempotente.
  • SPARK-48818 Simplificar funções percentile
  • SPARK-48638 Adicionar suporte a ExecutionInfo para DataFrame
  • SPARK-48799 Refatorar o versionamento para leitura/gravação de metadados do operador
  • SPARK-46122 Defina spark.sql.legacy.createHiveTableByDefault para false por default
  • SPARK-48629 Migrar o código residual para uma estrutura de registro estruturada
  • SPARK-48320 Sincronizar o recurso de registro e os casos de teste mais recentes do Spark de código aberto
  • SPARK-48573 Atualização da versão da UTI
  • SPARK-48687 Adicionar validação e atualização do esquema de estado no driver durante a fase de planejamento para consultas com estado.
  • SPARK-47579 Migrar logInfo com variáveis para estrutura de registro estruturado (PARTE 1–4)
  • SPARK-48713 Adicionar verificação de intervalo de índice para UnsafeRow.pointTo quando baseObject for uma matriz de bytes
  • SPARK-48498 Sempre faça preenchimento com caracteres em predicados
  • SPARK-48598 Propagar esquema em cache em operações de dataframe
  • SPARK-47599 MLlib: Migrar logWarn com variáveis para a estrutura de registro estruturado
  • SPARK-48576 Renomear UTF8_BINARY_LCASE para UTF8_LCASE
  • SPARK-48650 Exibir o local de chamada correto a partir NotebookIPython
  • SPARK-48059 Framework de log estruturado no lado Java
  • SPARK-48482 Os métodos dropDuplicates e dropDuplicatesWithinWatermark devem aceitar argumentos de comprimento variável.
  • SPARK-48620 Corrigir vazamento interno de dados brutos em YearMonthIntervalType e CalendarIntervalType
  • SPARK-48555 Suporte para o uso de colunas como parâmetros em diversas funções
  • SPARK-48591 Adicionar uma função auxiliar para simplificar Column.py
  • SPARK-48459 Implementar DataFrameQueryContext no Spark Connect
  • SPARK-48610 Refatoração: usar idMap auxiliar em vez de OP_ID_TAG
  • SPARK-47923 Atualizar a versão mínima do pacote arrow R para 10.0.0
  • SPARK-48593 Corrigir a representação de strings da função lambda
  • SPARK-46947 Atrasar a inicialização do gerenciador de memória até que o plug-in do driver seja carregado
  • SPARK-48220 Permitir a passagem de uma tabela PyArrow para createDataFrame()
  • SPARK-48564 Propagar esquema em cache em operações de conjunto
  • SPARK-48561 Lançar PandasNotImplementedError para funções gráficas não suportadas
  • SPARK-48513 Adicionar classe de erro para compatibilidade com esquema de estado
  • SPARK-48553 Armazenar mais propriedades em cache
  • SPARK-48550 Usar diretamente a classe Window pai
  • SPARK-48504 Classe de janela principal para Spark Connect e Spark Classic
  • SPARK-48508 Armazenar em cache o esquema especificado pelo usuário em DataFrame.{to, mapInPandas, mapInArrow}
  • SPARK-48496 Usar instâncias de padrões de expressões regulares estáticas em JavaUtils
  • SPARK-47578 Retroportagem manual: migrar logWarning com variáveis
  • SPARK-47737 Atualizar PyArrow para 10.0.0
  • SPARK-48159 Ampliar o suporte para strings agrupadas em expressões de data e hora
  • SPARK-48454 Usar diretamente a classe DataFrame pai
  • SPARK-48438 Usar diretamente a classe Column pai
  • SPARK-47597 Retroportação manual: migrar logInfo com variáveis
  • SPARK-48434 Faça com que printSchema use o esquema em cache
  • SPARK-46998 Descontinuar configuração SQL spark.sql.legacy.allowZeroIndexInFormatString
  • SPARK-46569 Remover ThreadLocal para SecureRandom desde o JDK9
  • SPARK-46455 Remover conversão de tipo redundante
  • SPARK-46270 Usar expressões java16 instanceof
  • SPARK-46479 Usar o método utilidades do commons-lang3 para verificação da versão Java
  • SPARK-45998 Limpeza de conversão de tipo redundante
  • SPARK-45533 Use jlrCleaner em vez de finalize para RocksDBIterator/LevelDBIterator
  • SPARK-45309 Remover todos os SystemUtils.isJavaVersionAtLeast com JDK 11/09/17
  • SPARK-48295 Ativar compute.ops_on_diff_frames por default
  • SPARK-47960 Permitir o encadeamento de outros operadores com estado após transformWithState
  • SPARK-48367 Correção de lint -Scala para detecção de arquivos scalafmt
  • SPARK-48247 Usar todos os valores no dicionário para inferência de esquema MapType
  • SPARK-48370 Ponto de verificação e ponto de verificação local no cliente Scala Spark Connect
  • SPARK-48258 Ponto de verificação e ponto de verificação local no Spark Connect
  • SPARK-48293 Adicionar teste para a interrupção que envolve ForeachBatchUserFuncException
  • SPARK-48031 Decompor a configuração viewSchemaMode; adicionar suporte a SHOW CREATE TABLE
  • SPARK-48288 Adicionar tipo de dados de origem para expressão de conversão de conector
  • SPARK-48310 As propriedades em cache devem retornar cópias.
  • SPARK-48287 Aplicar método timestamp_diff integrado
  • SPARK-44444 Usar o modo ANSI SQL por default
  • SPARK-48276 Adicionar __repr__ ausente para SQLExpression
  • SPARK-46991 Substituir IllegalArgumentException por SparkIllegalArgumentException no Catalyst
  • SPARK-48031 Suporte view evolução do esquema
  • SPARK-48113 Permitir que os plugins se integrem ao Spark Connect
  • SPARK-47158 Atribuir nome e sqlState a códigos de erro legados
  • Suporte para o conjunto de dados SPARK-47545 observe para cliente Scala
  • SPARK-47993 Remover Python 3.8
  • SPARK-48260 Desativar a coordenação do committer de saída no ParquetIOSuite
  • SPARK-47365 Adicionar o método toArrow() do DataFrame ao PySpark
  • SPARK-47963 Habilitar registro estruturado para o ecossistema Spark externo
  • SPARK-48045 Corrigir problema em multi-agg-relabel ignorando as_index=False
  • SPARK-47719 Alterar default timeParserPolicy para CORRIGIDO
  • SPARK-48075 Verificação de tipo para funções Avro do PySpark
  • SPARK-48102 Rastrear medições de duração na transmissão query progress
  • SPARK-47858 Contexto de erro de refatoração do DataFrame
  • SPARK-48052 Recuperar CI pyspark-connect por classes pai
  • SPARK-45284 Atualizar os requisitos mínimos do sistema SparkR para Java 17
  • SPARK-47933 Classe de coluna pai para Spark Connect e Classic
  • SPARK-48053 SparkSession.createDataFrame deve alertar sobre opções não suportadas
  • Cache SPARK-48044 DataFrame.isStreaming
  • SPARK-47594 Migrações log estruturados
  • SPARK-47764 Limpeza de dependências aleatórias pelo ShuffleCleanupMode
  • SPARK-45501 Use correspondência de padrões para verificação e conversão de tipos
  • SPARK-45515 Use expressões switch aprimoradas para substituir a instrução switch regular
  • SPARK-47417 Suporte a ordenação: ASCII, Chr, Base64, UnBase64, Decodificar, Decodificar String, Codificar, Converter para Binário, Formatar Número, Frases
  • SPARK-47909 Classe DataFrame pai para Spark Connect e Spark Classic
  • SPARK-47602 Core/MLlib/gerenciadores de recursos: migração de registro estruturado
  • SPARK-47390 O dialeto do PostgreSQL distingue TIMESTAMP de TIMESTAMP_TZ
  • SPARK-47868 Corrigir erro de limite de recursão no SparkConnectPlanner e SparkSession
  • SPARK-45802 Remover verificações Java majorVersion desnecessárias Platform
  • SPARK-47818 Introduzir cache de planos no SparkConnectPlanner para melhorar o desempenho das solicitações de análise.
  • SPARK-46031 Substitua !Optional.isPresent() por Optional.isEmpty()
  • SPARK-45659 Adicionar campo since à API Java marcada como @Deprecated
  • SPARK-45596 Use java.lang.ref.Cleaner em vez de org.apache.spark.sql.connect.client.util.Cleaner
  • SPARK-47807 Tornar PySpark compatível com PySpark-connect
  • SPARK-45830 Refatoração StorageUtils#bufferCleaner
  • SPARK-45578 Remover o uso de InaccessibleObjectException usando trySetAccessible
  • SPARK-44895 Adicionar 'daemon', 'priority' para ThreadStackTrace
  • SPARK-45295 Remover Utils.isMemberClass Solução alternativa para JDK 8
  • Progresso da execução da consulta de suporte SPARK-47081
  • SPARK-45322 Use ProcessHandle para obter o PID diretamente
  • SPARK-46812 Fazer com que mapInPandas / mapInArrow suportem ResourceProfile
  • SPARK-47406 Lidar com TIMESTAMP e DATETIME no dialeto MYSQL
  • SPARK-47712 Permitir que plugins de conexão criem e processem conjuntos de dados.
  • Atualização SPARK-47720 spark.speculation.multiplier para 3 e spark.speculation.quantile para 0.9
  • SPARK-47665 Usar SMALLINT para gravar ShortType no MySQL
  • SPARK-47722 Aguarde até que o trabalho em segundo plano do RocksDB termine antes de fechar.
  • SPARK-47610 Sempre configurado io.netty.tryReflectionSetAccessible=true
  • SPARK-47372 Adiciona suporte para codificador de estado key baseado em varredura de intervalo para uso com provedor de estado.
  • SPARK-44708 Migrar test_reset_index assert_eq para usar assertDataFrameEqual
  • SPARK-47346 Tornar o modo daemon configurável ao criar um trabalhador do planejador Python
  • SPARK-47419 Mover log4j2-defaults.properties para common/utils
  • SPARK-47380 Certifique-se de que, no lado do servidor, a SparkSession seja a mesma.
  • SPARK-47055 Atualização do MyPy 1.8.0
  • SPARK-46795 Substitua UnsupportedOperationException por SparkUnsupportedOperationException em sql/core
  • SPARK-46648 Usar zstd como compressão ORC default
  • SPARK-47322 Tornar o tratamento de duplicação de nomes de coluna withColumnsRenamed consistente com withColumnRenamed
  • SPARK-47011 Remover obsoleto BinaryClassificationMetrics.scoreLabelsWeight
  • SPARK-46332 Migrar CatalogNotFoundException para a classe de erro CATALOG_NOT_FOUND
  • SPARK-46975 Suporte a métodos de fallback dedicados
  • SPARK-47069 Introduz spark.profile.show/dump para criação de perfil baseada em SparkSession
  • SPARK-47062 Mover plugins Connect para Java para compatibilidade
  • SPARK-46833 Collations - Apresentando o CollationFactory, que fornece regras de comparação e hash para collations suportadas.
  • SPARK-46984 Remover PySpark.copy_func
  • SPARK-46849 otimizador de execução na coluna CREATE TABLE padrão
  • Implementação SPARK-46976 DataFrameGroupBy.corr
  • SPARK-46911 Adicionando o operador deleteIfExists ao StatefulProcessorHandleImpl
  • Implemento SPARK-46955 Frame.to_stata
  • Implementação SPARK-46936 Frame.to_feather
  • SPARK-46655 Ignorar a captura do contexto de consulta em métodos DataFrame
  • SPARK-46926 Adicionar convert_dtypes, infer_objects e set_axis na lista de fallback
  • SPARK-46683 Escreva um gerador de subconsultas que gere permutações de subconsultas para aumentar a cobertura de testes.
  • SPARK-46777 Refatorar a estrutura do catalisador StreamingDataSourceV2Relation para que fique mais em linha com a versão lotes
  • SPARK-46620 Introduzir um mecanismo básico de fallback para métodos de quadro.
  • SPARK-46808 Refinar classes de erro em Python com função de classificação automática
  • SPARK-46686 Suporte básico para profiler UDF Python baseado em SparkSession
  • SPARK-46258 Adicionar RocksDBPersistenceEngine
  • SPARK-46665 Remove assertPandasOnSparkEqual
  • SPARK-46227 Mova withSQLConf de SQLHelper para SQLConfHelper
  • SPARK-40876 Ampliação das promoções de tipo em leitores Parquet
  • SPARK-46101 Reduzir a profundidade da pilha substituindo (strings|array).size com (strings|array).length
  • SPARK-46170 Suporte para injeção de regras de estratégia de pós-planejamento de consulta adaptáveis em SparkSessionExtensions
  • SPARK-46246 EXECUTAR IMEDIATAMENTE suporte a SQL
  • SPARK-46466 O leitor Parquet vetorizado nunca deve realizar rebase para timestamp ntz
  • SPARK-46399 Adicionar status de saída ao evento de término do aplicativo para uso do Spark Listener
  • SPARK-45506 Adicionar suporte a URIs Ivy ao addArtifact do SparkConnect
  • SPARK-45597 Suporte para criação de tabela usando uma fonte de dados Python em SQL (execução DSv2)
  • SPARK-46402 Adicionar suporte para getMessageParameters e getQueryContext
  • SPARK-46213 Introduzir PySparkImportError para estrutura de erros
  • SPARK-46226 Migrar todos RuntimeError restantes para a estrutura de erros do PySpark
  • SPARK-45886 Exibir rastreamento de pilha completo em callSite do contexto DataFrame
  • SPARK-46256 Suporte para compressão paralela em ZSTD
  • SPARK-46249 Exigir bloqueio de instância para aquisição de métricas do RocksDB para evitar condições de corrida com operações em segundo plano.
  • SPARK-45667 Corrigir o uso obsoleto da API relacionada a IterableOnceExtensionMethods
  • SPARK-46254 Remover verificação obsoleta da versão do Python 3.8/3.7
  • SPARK-46213 Introduzir PySparkImportError para estrutura de erros
  • SPARK-46188 Corrigir o CSS das tabelas geradas pela documentação do Spark
  • SPARK-45670 O SparkSubmit não suporta --total-executor-cores quando implantado no K8s
  • SPARK-46169 Atribua números JIRA apropriados para parâmetros ausentes da API DataFrame
  • SPARK-45022 Fornecer contexto para erros API dataset
  • SPARK-46062 Sincronizar o sinalizador isStreaming entre a definição da CTE e a referência
  • SPARK-45698 Limpar o uso da API obsoleta relacionada a Buffer
  • SPARK-45136 Limpador de Fechaduras Aprimorado com suporte para Ammonite
  • SPARK-44442 Remover suporte ao Mesos
  • SPARK-45996 Exibir mensagens adequadas de requisitos de dependência para o Spark Connect
  • SPARK-45767 Excluir TimeStampedHashMap e seu UT
  • SPARK-45912 Aprimoramento da API XSDToSchema: Alteração para API HDFS para acessibilidade ao armazenamento cloud
  • SPARK-45338 Substitua scala.collection.JavaConverters por scala.jdk.CollectionConverters
  • SPARK-45828 Remover método obsoleto em dsl
  • SPARK-45718 Remover os recursos obsoletos restantes Pandas no Spark 3.4.0
  • Atualização SPARK-45990 protobuf para 4.25.1 para suporte Python 3.11
  • SPARK-45941 Atualização pandas para a versão 2.1.3
  • SPARK-45555 Inclui um objeto depurável para asserções com falha.
  • SPARK-45710 Atribuir nomes ao erro _LEGACY_ERROR_TEMP_21[59,60,61,62]
  • SPARK-45733 Suporte a políticas de múltiplas tentativas
  • SPARK-45503 Adicionar configuração para definir a compressão do RocksDB
  • SPARK-45614 Atribuir nomes ao erro _LEGACY_ERROR_TEMP_215[6,7,8]
  • Sessão de lançamento SPARK-45680
  • SPARK-45620 Corrigir APIs voltadas para o usuário relacionadas ao UDTF do Python para usar camelCase
  • SPARK-45634 Remover DataFrame.get_dtype_counts da API Pandas no Spark
  • SPARK-44752 XML: Atualizar a documentação do Spark
  • SPARK-45523 Retorna uma mensagem de erro útil se a UDTF retornar None para qualquer coluna não anulável.
  • SPARK-45558 Introduzir um arquivo de metadados para operador stateful de transmissão
  • SPARK-45390 Remover uso de distutils
  • SPARK-45517 Expandir mais construtores de exceção para suportar parâmetros de estrutura de erro.
  • SPARK-45427 Adicionar configurações SSL de RPC ao SSLOptions e ao SparkTransportConf
  • SPARK-45581 Tornar SQLSTATE obrigatório.
  • SPARK-44784 Tornar o teste SBT hermético.
  • SPARK-45550 Remover APIs obsoletas da API Pandas no Spark
  • SPARK-45415 Permitir a desativação seletiva de "fallocate" no armazenamento de estados do RocksDB
  • SPARK-45487 Corrigir erros de SQLSTATE e temporários
  • SPARK-45505 Refatorar analyzeInPython para torná-lo reutilizável
  • SPARK-45451 Tornar configurável o nível de armazenamento default do cache dataset .
  • SPARK-45065 Suporte para Pandas 2.1.0
  • SPARK-45450 Corrigir importações de acordo com a PEP8: PySpark.pandas e PySpark (core)
  • SPARK-43299 Converter StreamingQueryException no cliente Scala
  • SPARK-42617 Suporte isocalendar do Pandas 2.0.0
  • SPARK-45441 Introduzir mais funções utilitárias para PythonWorkerUtils
  • SPARK-43620 Corrigir dependências APIs Pandas em recursos não suportados
  • SPARK-45330 Atualizar amonite para 2.5.11
  • SPARK-45267 Alterar o valor default para numeric_only.
  • SPARK-45303 Remover a solução alternativa para JDK 8/11 no KryoSerializerBenchmark
  • SPARK-43433 Compatibilidade do comportamento GroupBy.nth com a versão mais recente do Pandas
  • SPARK-45166 Limpar caminhos de código não utilizados para pyarrow<4
  • SPARK-44823 Atualização da versão preta para 23.9.1 e correção da verificação errônea
  • SPARK-45165 Remover o parâmetro inplace das APIs CategoricalIndex
  • SPARK-45180 Remover entradas booleanas para o parâmetro inclusive de Series.between
  • SPARK-45164 Remover APIs obsoletas Index
  • SPARK-45179 Aumentar a versão mínima do Numpy para 1.21
  • SPARK-45177 Remover o parâmetro col_space de to_latex
  • SPARK-43241 MultiIndex.append não verifica a igualdade dos nomes
  • SPARK-43123 Gera TypeError para DataFrame.interpolate quando todas as colunas são do tipo de dados object.
  • SPARK-43295 Suporte para colunas do tipo strings para DataFrameGroupBy.sum
  • SPARK-42619 Adicionar parâmetro show_counts para DataFrame.info
  • SPARK-44863 Adicionar um botão para download o dump de threads como um arquivo .txt na Spark UI
  • SPARK-44713 Mover classes compartilhadas para sql/api
  • SPARK-44692 Mover gatilho(s) para sql/api
  • SPARK-43563 Remover squeeze de read_csv e habilitar mais testes.
  • SPARK-43476 Suporte StringMethods para Pandas 2.0.0 e versões superiores
  • SPARK-43872 Suporte (DataFrame|Series).plot com Pandas 2.0.0 e superior.
  • SPARK-42620 Adicionar parâmetro inclusive para (DataFrame|Series).between_time
  • SPARK-44289 Suporte indexer_between_time para Pandas 2.0.0 e habilitação de mais testes.
  • SPARK-42621 Adicionar parâmetro inclusivo para pd.date_range
  • SPARK-43709 Remover o parâmetro closed de ps.date_range e habilitar o teste.
  • SPARK-43568 Suporte APIs Categorical para Pandas 2
  • SPARK-44842 Suporte para funções stat no Pandas 2.0.0 e ativação de testes.
  • SPARK-43606 Remover Int64Index e Float64Index
  • SPARK-43873 Habilitando FrameDescribeTests
  • SPARK-44841 Suporte value_counts para Pandas 2.0.0 e superior.
  • SPARK-44686 Adicionar a capacidade de criar um RowEncoder em Encoders.Scala.
  • SPARK-41400 Remover a dependência do Connect Client Catalyst
  • SPARK-44538 Restabelecer Row.jsonValue e similares
  • SPARK-44507 Mover AnalysisException para sql/api
  • SPARK-44531 Mover a inferência do codificador para SQL/API
  • SPARK-43744 Corrige problema de carregamento de classes causado por classes stub de usuário não encontradas no classpath do servidor.
  • SPARK-36612 Suporte para join externa à esquerda ou join externa à direita em joinhash embaralhada
  • SPARK-44541 Remover função inútil hasRangeExprAgainstEventTimeCol de UnsupportedOperationChecker
  • SPARK-44059 Adicionar suporte do analisador para argumentos nomeados em funções integradas
  • SPARK-44216 Tornar a API assertSchemaEqual pública
  • SPARK-43755 Mover a execução para fora do SparkExecutePlanStreamHandler e para uma thread diferente.
  • SPARK-44201 Adicionar suporte para Listener de transmissão em Scala para Spark Connect
  • SPARK-43965 Suporte a UDTFs Python no Spark Connect
  • SPARK-44398 API Scala foreachBatch
  • SPARK-44044 Melhorar a mensagem de erro para funções de janela com transmissão

Suporte a drivers ODBC/JDBC da Databricks​

O Databricks oferece suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers lançados recentemente e atualização (download ODBC, download JDBC).

Atualizações de manutenção​

Consulte as atualizações de manutenção do Databricks Runtime 17.0.

Ambiente do sistema​

  • Sistema Operacional : Ubuntu 24.04.2 LTS
  • Java : Zulu17.54+21-CA
  • Scala : 2.13.16
  • Python : 3.12.3
  • R : 4.4.2
  • Delta Lake : 4.0.0

Biblioteca Python instalada​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

tipos de anotar

0.7.0

anyio

4.6.2

argônio2-cffi

21.3.0

ligações argon2-cffi

21.2.0

seta

1.3.0

tokens de astto

2.0.5

astunparse

1.6.3

async-lru

2.0.4

atributos

24.3.0

autocomando

2.2.2

azure-comum

1.1.28

azure-core

1.34.0

identidade-azure

1.20.0

azure-mgmt-core

1.5.0

azure-mgmt-web

8.0.0

azure-storage-blob

12.23.0

azure-storage-file-datalake

12.17.0

Babel

2.16.0

backports.tarfile

1.2.0

sopa bonita4

4.12.3

preto

24.10.0

água sanitária

6.2.0

pisca-pisca

1.7.0

boto3

1.36.2

botocore

1.36.3

ferramentas de cache

5.5.1

certificar

2025.1.31

cffi

1.17.1

chardet

4.0.0

normalizador de conjunto de caracteres

3.3.2

clique

8.1.7

picles de nuvem

3.0.0

comunicação

0.2.1

contornado

1.3.1

criptografia

43.0.3

ciclista

0.11.0

Cython

3.0.12

databricks-sdk

0.49.0

dbus-Python

1.3.2

debugpy

1.8.11

decorador

5.1.1

defusedxml

0.7.1

Descontinuado

1.2.13

biblioteca dist

0.3.9

docstring-to-markdown

0,11

executando

0.8.3

visão geral das facetas

1.1.1

fastapi

0.115.12

fastjsonschema

2.21.1

bloqueio de arquivo

3.18.0

ferramentas de fonte

4.55.3

fqdn

1.5.1

especificação de fs

2023.5.0

gitdb

4.0.11

GitPython

3.1.43

núcleo da API do Google

2.20.0

autenticação do Google

2.40.0

google-cloud-core

2.4.3

Google Cloud Storage

3.1.0

google-crc32c

1.7.1

mídia resumível do Google

2.7.2

googleapis-common-protos

1.65.0

grpcio

1.67.0

status-grupo

1.67.0

h11

0.14.0

httpcore

1.0.2

httplib2

0.20.4

httpx

0.27.0

idna

3.7

importlib-metadata

6.6.0

importlib_resources

6.4.0

flexionar

7.3.1

iniconfig

1.1.1

ipyflow-core

0.0.209

ipykernel

6.29.5

ipython

8.30.0

ipython-genutils

0.2.0

ipywidgets

7.8.1

isodato

0.6.1

isoduração

20.11.0

jaraco.context

5.3.0

jaraco.functools

4.0.1

jaraco.text

3.12.1

jedi

0.19.2

Jinja2

3.1.5

jmespath

1.0.1

joblib

1.4.2

json5

0.9.25

ponteiro json

3.0.0

esquema JSON

4.23.0

especificações-jsonschema

2023.7.1

eventos jupyter

0.10.0

jupyter-lsp

2.2.0

cliente jupyter

8.6.3

jupyter_core

5.7.2

servidor jupyter

2.14.1

jupyter_server_terminais

0.4.4

JupyterLab

4.3.4

jupyterlab-pygments

0.1.2

widgets do JupyterLab

1.0.0

servidor jupyterlab

2.27.3

kiwisolver

1.4.8

launchpadlib

1.11.0

lazr.restfulclient

0.14.6

lazr.uri

1.0.6

markdown-it-py

2.2.0

MarkupSafe

3.0.2

Matplotlib

3.10.0

matplotlib-inline

0.1.7

McCabe

0.7.0

mdurl

0.1.0

desafinação

2.0.4

mlflow-magro

2.22.0

mmh3

5.1.0

mais-itertools

10.3.0

msal

1.32.3

extensões msal

1.3.1

mypy-extensões

1.0.0

nbclient

0.8.0

nbconvert

7.16.4

nbformato

5.10.4

ninho-asyncio

1.6.0

ambiente nodeenv

1.9.1

notebook

7.3.2

notebook_shim

0.2.3

numpy

2.1.3

oauthlib

3.2.2

API de telemetria aberta

1.32.1

opentelemetry-sdk

1.32.1

convenções-semânticas-de-telemetria-abertas

0,53b1

substituições

7.4.0

embalagem

24.1

Pandas

2.2.3

pandocfilters

1.5.0

parso

0.8.4

especificação de caminho

0.10.3

Patsy

1.0.1

pexpect

4.8.0

travesseiro

11.1.0

pip

25.0.1

diretórios de plataforma

3.10.0

Plotly

5.24.1

pluggy

1.5.0

cliente prometheus

0.21.0

kit de ferramentas de prompt

3.0.43

proto-plus

1.26.1

protobuf

5.29.4

psutil

5.9.0

psycopg2

2.9.3

ptyprocess

0.7.0

avaliação pura

0.2.2

pyarrow

19.0.1

pyasn1

0.4.8

módulos pyasn1

0.2.8

Pyccolo

0,0,71

pycparser

2.21

pydântico

2.10.6

núcleo_pydantic

2.27.2

pyflakes

3.2.0

Pigmentos

2.15.1

PyGObject

3.48.2

pyiceberg

0.9.0

PyJWT

2.10.1

pyodbc

5.2.0

pyparsing

3.2.0

pyright

1.1.394

pytest

8.3.5

Python-dateutil

2.9.0.post0

Python-JSON- logger

3.2.1

Python-lsp-jsonrpc

1.1.2

Python- servidor lsp

1.12.0

pytoolconfig

1.2.6

pytz

2024.1

PyYAML

6.0.2

pyzmq

26.2.0

referenciando

0.30.2

solicitações

2.32.3

validador rfc3339

0.1.4

validador rfc3986

0.1.1

rico

13.9.4

corda

1.12.0

rpds-py

0.22.3

rsa

4.9.1

s3transfer

0.11.3

scikit-learn

1.6.1

scipy

1.15.1

nascido no mar

0.13.2

Enviar para o lixo

1.8.2

ferramentas de configuração

74.0.0

seis

1.16.0

mapa de memória

5.0.0

sniffio

1.3.0

contêineres classificados

2.4.0

peneira de sopa

2,5

sqlparse

0.5.3

ssh-import-id

5.11

dados de pilha

0.2.0

estrelinha

0.46.2

modelos estatísticos

0.14.4

strictyaml

1.7.3

tenacidade

9.0.0

terminado

0.17.1

threadpoolctl

3.5.0

tinycss2

1.4.0

tokenize_rt

6.1.0

tomli

2.0.1

tornado

6.4.2

traços

5.14.3

guarda tipográfica

4.3.0

tipos-Python-dateutil

2.9.0.20241206

extensões_de_digitação

4.12.2

tzdata

2024.1

ujson

5.10.0

atualizações não assistidas

0,1

uri-padrão

1.3.0

urllib3

2.3.0

uvicórnio

0.34.2

ambiente virtual

20.29.3

wadllib

1.3.6

largura do wc

0.2.5

cores da web

24.11.1

codificações web

0.5.1

cliente websocket

1.8.0

whatthepatch

1.0.2

Python wheel

0.45.1

widgetsnbextension

3.6.6

embrulhado

1.17.0

yapf

0.40.2

zíper

3.21.0

Biblioteca R instalada​

A biblioteca R foi instalada a partir do snapshot CRAN do Posit pacote Manager em 20/03/2025.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

seta

19.0.1

askpass

1.2.1

afirmar que

0.2.1

backports

1.5.0

base

4.4.2

base64enc

0,1-3

bigD

0.3.0

pedaço

4.6.0

bit64

4.6.0-1

bitops

1.0-9

bolha

1.2.4

bota

1.3-30

cerveja

1,0-10

brio

1.1.5

vassoura

1.0.7

bslib

0.9.0

cachem

1.1.0

chamador

3.7.6

acento circunflexo

7.0-1

guarda-celular

1.1.0

cronologia

2.3-62

Aula

7.3-22

CLIPE

3.6.4

cortador

0.8.0

relógio

0.7.2

Cluster

2.1.6

ferramentas de código

0,2-20

espaço de cores

2.1-1

marca comum

1.9.5

compilador

4.4.2

configuração

0.3.2

em conflito

1.2.0

cpp11

0.5.2

giz de cera

1.5.3

Credenciais

2.0.2

cachos

6.2.1

tabela de dados

1.17.0

conjunto de dados

4.4.2

DBI

1.2.3

dbplyr

2.5.0

descrição

1.4.3

ferramentas de desenvolvedor

2.4.5

diagrama

1.6.5

diffobj

0.3.5

digerir

0.6.37

iluminação descendente

0.4.4

dplyr

1.1.4

dtplyr

1.3.1

e1071

1.7-16

elipse

0.3.2

avaliar

1.0.3

fã

1.0.6

farver

2.1.2

mapa rápido

1.2.0

fonte incrível

0.5.3

para gatos

1.0.0

para cada

1.5.2

Externo

0,8-86

forja

0.2.0

fs

1.6.5

futuro

1.34.0

futuro.aplicar

1.11.3

gargarejo

1.5.2

genéricos

0.1.3

gert

2.1.4

ggplot2

3.5.1

gh

1.4.1

git2r

0.35.0

gitcreds

0.1.2

glmnet

4.1-8

globais

0.16.3

cola

1.8.0

googledrive

2.1.1

googlesheets4

1.1.1

Gower

1.0.2

gráficos

4.4.2

grDevices

4.4.2

grade

4.4.2

gradeExtra

2.3

gsubfn

0,7

gt

0.11.1

gtable

0.3.6

capacete

1.4.1

refúgio

2.5.4

mais alto

0,11

HMS

1.1.3

htmltools

0.5.8.1

htmlwidgets

1.6.4

httpuv

1.6.15

httr

1.4.7

httr2

1.1.1

IDs

1.0.1

ini

0.3.1

ipred

0,9-15

isoband

0.2.7

iteradores

1.0.14

jquerylib

0.1.4

jsonlite

1.9.1

suco suculento

0.1.0

KernSmooth

2.23-22

tricoteira

1,50

rótulo do rótulo

0.4.3

mais tarde

1.4.1

treliça

0,22-5

lava

1.8.1

vida útil

1.0.4

ouça

0.9.1

lubrificar

1.9.4

magrittr

2.0.3

Markdown

1.13

MASSA

7.3-60.0.1

Matriz

1,6-5

memória

2.0.1

métodos

4.4.2

mgcv

1.9-1

mímica

0,13

miniUI

0.1.1.1

MLflow

2.20.4

Métricas do Modelo

1.2.2.2

modelador

0.1.11

Munsell

0.5.1

nlme

3.1-164

nnet

7.3-19

numDerivado

2016.8-1.1

openssl

2.3.2

paralelo

4.4.2

em paralelo

1.42.0

pilar

1.10.1

pkgbuild

1.4.6

pkgconfig

2.0.3

pacote

2.1.1

pacote

1.4.0

plogr

0.2.0

alicate

1.8.9

louvar

1.0.0

unidades bonitas

1.2.0

pROC

1.18.5

processox

3.8.6

prodlim

25/06/2024

profvis

0.4.0

progresso

1.2.3

progressista

0.15.1

promessas

1.3.2

protótipo

1.0.0

proxy

0,4-27

ps

1.9.0

ronronar

1.0.4

R6

2.6.1

trapo

1.3.3

floresta aleatória

4,7-1,2

rappdirs

0.3.3

rcmdcheck

1.4.0

RColorBrewer

1.1-3

Rcpp

1.0.14

RcppEigen

0.3.4.0.2

reativo

0.4.4

reactR

0.6.1

leitor

2.1.5

readxl

1.4.5

receitas

1.2.0

revanche

2.0.0

revanche2

2.1.2

controles remotos

2.5.0

reprex

2.1.1

remodelar2

1.4.4

rlang

1.1.5

rmarkdown

2.29

RODBC

1.3-26

roxygen2

7.3.2

rpart

4.1.23

rprojroot

2.0.4

Reserve

1,8-15

RSQLite

2.3.9

rstudioapi

0.17.1

rversions

2.1.2

colheita

1.0.4

atrevimento

0.4.9

escala

1.3.0

seletor

0,4-2

informações da sessão

1.2.3

forma

1.4.6.1

brilhante

1.10.0

ferramentas de origem

0.1.7-1

Sparklyr

1.9.0

SparkR

4.0.0

esparsos

0.3.1

espacial

7.3-17

splines

4.4.2

sqldf

0,4-11

QUADRADO

2021.1

estatísticas

4.4.2

estatísticas4

4.4.2

stringi

1.8.4

stringr

1.5.1

sobrevivência

3,5-8

arrogância

5.17.14.1

sistema

3.4.3

fontes do sistema

1.2.1

tcltk

4.4.2

teste que

3.2.3

formatação de texto

1.0.0

tibble

3.2.1

mais organizado

1.3.1

tidyselect

1.2.1

tidyverse

2.0.0

mudança de horário

0.3.0

horaData

4041.110

tinytex

0,56

Ferramentas

4.4.2

tzdb

0.5.0

verificador de url

1.0.1

usethis

3.1.0

utf8

1.2.4

utilitários

4.4.2

uuid

1.2-1

V8

6.0.2

vctrs

0.6.5

viridisLite

0.4.2

vrum

1.6.5

Waldo

0.6.1

bigode

0.4.1

com

3.0.2

xfun

0,51

xml2

1.3.8

xopen

1.0.1

tabela cruzada

1,8-4

yaml

2.3.10

fanático

0.1.0

zíper

2.3.2

Bibliotecas Java e Scala instaladas (Scala versão cluster 2.13)​

ID do grupo

ID do artefato

Versão

formiga

formiga

2.7.7

com.amazonaws

Amazon- cliente Kinesis

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1.12.638

com.amazonaws

aws-java-sdk-cloudformation

1.12.638

com.amazonaws

aws-java-sdk-cloudfront

1.12.638

com.amazonaws

aws-java-sdk-cloudhsm

1.12.638

com.amazonaws

aws-java-sdk-cloudsearch

1.12.638

com.amazonaws

aws-java-sdk-cloudtrail

1.12.638

com.amazonaws

aws-java-sdk-cloudwatch

1.12.638

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.12.638

com.amazonaws

aws-java-sdk-codedeploy

1.12.638

com.amazonaws

aws-java-sdk-cognitoidentity

1.12.638

com.amazonaws

aws-java-sdk-cognitosync

1.12.638

com.amazonaws

aws-java-sdk-config

1.12.638

com.amazonaws

aws-java-sdk-core

1.12.638

com.amazonaws

aws-java-sdk-datapipeline

1.12.638

com.amazonaws

aws-java-sdk-directconnect

1.12.638

com.amazonaws

diretório aws-java-sdk

1.12.638

com.amazonaws

aws-java-sdk-dynamodb

1.12.638

com.amazonaws

aws-java-sdk-ec2

1.12.638

com.amazonaws

aws-java-sdk-ecs

1.12.638

com.amazonaws

aws-java-sdk-efs

1.12.638

com.amazonaws

aws-java-sdk-elasticache

1.12.638

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.12.638

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.12.638

com.amazonaws

aws-java-sdk-elastictranscoder

1.12.638

com.amazonaws

aws-java-sdk-emr

1.12.638

com.amazonaws

aws-java-sdk-glacier

1.12.638

com.amazonaws

aws-java-sdk-glue

1.12.638

com.amazonaws

aws-java-sdk-iam

1.12.638

com.amazonaws

aws-java-sdk-importar/exportar

1.12.638

com.amazonaws

aws-java-sdk-kinesis

1.12.638

com.amazonaws

aws-java-sdk-kms

1.12.638

com.amazonaws

aws-java-sdk-lambda

1.12.638

com.amazonaws

aws-java-sdk-logs

1.12.638

com.amazonaws

aws-java-sdk-machinelearning

1.12.638

com.amazonaws

aws-java-sdk-opsworks

1.12.638

com.amazonaws

aws-java-sdk-rds

1.12.638

com.amazonaws

aws-java-sdk-redshift

1.12.638

com.amazonaws

aws-java-sdk-route53

1.12.638

com.amazonaws

aws-java-sdk-s3

1.12.638

com.amazonaws

aws-java-sdk-ses

1.12.638

com.amazonaws

aws-java-sdk-simpledb

1.12.638

com.amazonaws

aws-java-sdk-simpleworkflow

1.12.638

com.amazonaws

aws-java-sdk-sns

1.12.638

com.amazonaws

aws-java-sdk-sqs

1.12.638

com.amazonaws

aws-java-sdk-ssm

1.12.638

com.amazonaws

aws-java-sdk-storagegateway

1.12.638

com.amazonaws

aws-java-sdk-sts

1.12.638

com.amazonaws

suporte aws-java-sdk

1.12.638

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1.12.638

com.amazonaws

jmespath-java

1.12.638

com.clearspring.analítica

transmissão

2.9.8

com.databricks

Reserve

1,8-3

com.databricks

databricks-sdk-java

0.27.0

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

scalapb-runtime_2.13

0.4.15-11

com.esotericsoftware

sombreado por crio

4.0.3

com.esotericsoftware

minlog

1.3.0

com.fasterxml

colega

1.5.1

com.fasterxml.jackson.core

anotação de Jackson

2.18.2

com.fasterxml.jackson.core

núcleo de Jackson

2.18.2

com.fasterxml.jackson.core

jackson-datab

2.18.2

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.18.2

com.fasterxml.jackson.dataformat

jackson-dataformat-yaml

2.15.2

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.18.2

com.fasterxml.jackson.datatype

jackson-datatype-jsr310

2.18.2

com.fasterxml.jackson.module

jackson-módulo-paranomer

2.18.2

com.fasterxml.jackson.module

jackson-módulo-scala_2.13

2.18.2

com.github.ben-manes.caffeine

cafeína

2.9.3

com.github.blemale

scaffaceine_2.13

4.1.0

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

referência nativa-java

1.1

com.github.fommil.netlib

referência nativa-java

1.1-nativos

com.github.fommil.netlib

sistema nativo-java

1.1

com.github.fommil.netlib

sistema nativo-java

1.1-nativos

com.github.fommil.netlib

netlib-native_ref-linux-x86_64

1.1-nativos

com.github.fommil.netlib

netlib-native_system-linux-x86_64

1.1-nativos

com.github.luben

zstd-jni

1.5.6-10

com.github.virtuald

curvassap

1.08

com.github.wendykierp

JTransforms

3.1

com.google.api.grpc

proto-google-protos-comuns

2.5.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.11.0

com.google.crypto.tink

tinir

1.16.0

com.google.propensoaerros

anotações_propensas_a_erros

2.36.0

com.google.flatbuffers

flatbuffers-java

24.3.25

com.google.guava

falha de acesso

1.0.2

com.google.guava

goiaba

33.4.0-jre

com.google.guava

futuro audível

9999.0-vazio-para-evitar-conflito-com-goiaba

com.google.j2objc

j2objc-anotação

3.0.0

com.google.protobuf

protobuf-java

3.25.5

com.google.protobuf

protobuf-java-util

3.25.5

com.helger

perfilador

1.1.1

com.ibm.icu

icu4j

75,1

com.jcraft

jsch

0.1.55

com.lihaoyi

código-fonte_2.13

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.10

com.microsoft.sqlserver

mssql-JDBC

12.8.0.jre11

com.microsoft.sqlserver

mssql-JDBC

12.8.0.jre8

com.ning

compress-lzf

1.1.2

com.sun.mail

javax.mail

1.5.2

com.sun.xml.bind

jaxb-core

2.2.11

com.sun.xml.bind

jaxb-impl

2.2.11

com.tdunning

JSON

1.8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lentes_2.13

0.4.13

com.Twitter

chill-java

0.10.0

com.Twitter

chill_2.13

0.10.0

com.Twitter

util-app_2.13

19.8.1

com.Twitter

util-core_2.13

19.8.1

com.Twitter

função-utilitária_2.13

19.8.1

com.Twitter

util-jvm_2.13

19.8.1

com.Twitter

util-lint_2.13

19.8.1

com.Twitter

util-registry_2.13

19.8.1

com.Twitter

util-stats_2.13

19.8.1

com.typesafe

configuração

1.4.3

com.typesafe.Scala-log

Scala-logging_2.13

3.9.2

com.uber

h3

3.7.3

com.univocity

analisadores de univocidade

2.9.1

com.zaxxer

HikariCP

4.0.3

com.zaxxer

Conjunto de bits esparsos

1.3

commons-CLI

commons-CLI

1.9.0

codec comum

codec comum

1.17.2

coleções comuns

coleções comuns

3.2.2

commons-dbcp

commons-dbcp

1.4

upload de arquivo comum

upload de arquivo comum

1.5

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.18.0

commons-lang

commons-lang

2.6

registro comum

registro comum

1.1.3

poolcomum

poolcomum

1.5.4

dev.ludovic.netlib

arpack

3.0.3

dev.ludovic.netlib

blas

3.0.3

dev.ludovic.netlib

lapack

3.0.3

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

compressor de ar

2.0.2

io.delta

delta-compartilhamento-client_2.13

1.3.0

io.dropwizard.métricas

métricas-anotação

4.2.30

io.dropwizard.métricas

métricas-núcleo

4.2.30

io.dropwizard.métricas

métricas-grafite

4.2.30

io.dropwizard.métricas

métricas-verificações de integridade

4.2.30

io.dropwizard.métricas

métricas-jetty9

4.2.30

io.dropwizard.métricas

métricas-jmx

4.2.30

io.dropwizard.métricas

falando-JSON

4.2.30

io.dropwizard.métricas

mercantil-JVM

4.2.30

io.dropwizard.métricas

servlets de métricas

4.2.30

io.github.java-diff-utils

java-diff-utils

4.15

io.netty

netty-all

4.1.118.Final

io.netty

netty-buffer

4.1.118.Final

io.netty

netty-codec

4.1.118.Final

io.netty

netty-codec-http

4.1.118.Final

io.netty

netty-codec-http2

4.1.118.Final

io.netty

netty-codec-socks

4.1.118.Final

io.netty

netty-comum

4.1.118.Final

io.netty

manipulador de rede

4.1.118.Final

io.netty

netty-handler-proxy

4.1.118.Final

io.netty

netty-resolver

4.1.118.Final

io.netty

netty-tcnative-boringssl-estático

2.0.70.Final-db-r0-linux-aarch_64

io.netty

netty-tcnative-boringssl-estático

2.0.70.Final-db-r0-linux-x86_64

io.netty

netty-tcnative-boringssl-estático

2.0.70.Final-db-r0-osx-aarch_64

io.netty

netty-tcnative-boringssl-estático

2.0.70.Final-db-r0-osx-x86_64

io.netty

netty-tcnative-boringssl-estático

2.0.70.Final-db-r0-windows-x86_64

io.netty

classes-tcnativas netty

2.0.70.Final

io.netty

transporte netty

4.1.118.Final

io.netty

netty-transport-classes-epoll

4.1.118.Final

io.netty

netty-transport-classes-kqueue

4.1.118.Final

io.netty

netty-transport-native-epoll

4.1.118.Final

io.netty

netty-transport-native-epoll

4.1.118.Final-linux-aarch_64

io.netty

netty-transport-native-epoll

4.1.118.Final-linux-riscv64

io.netty

netty-transport-native-epoll

4.1.118.Final-linux-x86_64

io.netty

netty-transport-native-kqueue

4.1.118.Final-osx-aarch_64

io.netty

netty-transport-native-kqueue

4.1.118.Final-osx-x86_64

io.netty

netty-transport-nativo-unix-comum

4.1.118.Final

io.prometheus

cliente simples

0.16.1-databricks

io.prometheus

simpleclient_common

0.16.1-databricks

io.prometheus

simpleclient_dropwizard

0.16.1-databricks

io.prometheus

simpleclient_pushgateway

0.16.1-databricks

io.prometheus

simpleclient_servlet

0.16.1-databricks

io.prometheus

simpleclient_servlet_common

0.16.1-databricks

io.prometheus

simpleclient_tracer_common

0.16.1-databricks

io.prometheus

simpleclient_tracer_otel

0.16.1-databricks

io.prometheus

simpleclient_tracer_otel_agente

0.16.1-databricks

io.prometheus.jmx

coletor

0.18.0

jacarta.anotação

jakarta.anotação-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validação

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

ativação

1.1.1

javax.anotação

javax.anotação-api

1.3.2

javax.el

javax.el-api

2.2.4

javax.jdo

API jdo

3.0.1

javax.transação

jta

1.1

javax.transação

API de transação

1.1

javax.xml.bind

API JAXB

2.2.11

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.13.0

net.java.dev.jna

jna

5.8.0

rede.videira de navalha

salmoura

1.5

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.floco de neve

floco de neve-ingest-sdk

0.9.6

net.sourceforge.f2j

arpack_combinado_todos

0,1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.13.1

org.antlr

stringtemplate

3.2.1

org.apache.ant

formiga

1.10.11

org.apache.ant

formiga-jsch

1.10.11

org.apache.ant

lançador de formigas

1.10.11

org.apache.arrow

formato de seta

18.2.0

org.apache.arrow

núcleo de memória de seta

18.2.0

org.apache.arrow

rede de memória de flechas

18.2.0

org.apache.arrow

patch de buffer netty-memory-arrow

18.2.0

org.apache.arrow

vetor de seta

18.2.0

org.apache.avro

AVRO

1.12.0

org.apache.avro

avro-ipc

1.12.0

org.apache.avro

avro-mapred

1.12.0

org.apache.commons

coleções-comuns4

4.4

org.apache.commons

commons-compress

1.27.1

org.apache.commons

commons-crypto

1.1.0

org.apache.commons

commons-lang3

3.17.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

texto comum

1.13.0

org.apache.curator

curador-cliente

5.7.1

org.apache.curator

estrutura de curadoria

5.7.1

org.apache.curator

curador-receitas

5.7.1

org.apache.datasketches

esboços de dados-java

6.1.1

org.apache.datasketches

memória de esboços de dados

3.0.2

org.apache.derby

derby

10.14.2.0

org.apache.hadoop

tempo de execução do cliente hadoop

3.4.1

org.apache.hive

linha de abelhas da colmeia

2.3.10

org.apache.hive

hive-CLI

2.3.10

org.apache.hive

hive-JDBC

2.3.10

org.apache.hive

cliente hive-llap

2.3.10

org.apache.hive

colmeia-llap-comum

2.3.10

org.apache.hive

colmeia-serde

2.3.10

org.apache.hive

calços de colmeia

2.3.10

org.apache.hive

API de armazenamento do Hive

2.8.1

org.apache.hive.shims

calços-colmeia-0,23

2.3.10

org.apache.hive.shims

calços-de-colmeia-comuns

2.3.10

org.apache.hive.shims

programador de calços de colmeia

2.3.10

org.apache.httpcomponents

httpclient

4.5.14

org.apache.httpcomponents

httpcore

4.4.16

org.apache.ivy

hera

2.5.3

org.apache.logging.log4j

log4j-1.2-api

2.24.3

org.apache.logging.log4j

API log4j

2.24.3

org.apache.logging.log4j

log4j-core

2.24.3

org.apache.logging.log4j

log4j-disposição-padrão-JSON

2.24.3

org.apache.logging.log4j

log4j-slf4j2-impl

2.24.3

org.apache.orc

núcleo orc

2.1.1-protobuf sombreado

org.apache.orc

formato orc

1.1.0-shaded-protobuf

org.apache.orc

orc-mapreduce

2.1.1-protobuf sombreado

org.apache.orc

calços de orc

2.1.1

org.apache.poi

poi

5.4.1

org.apache.poi

poi-ooxml

5.4.1

org.apache.poi

poi-ooxml-full

5.4.1

org.apache.poi

poi-ooxml-lite

5.4.1

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.16.0

org.apache.ws.xmlschema

xmlschema-core

2.3.1

org.apache.xbean

xbean-asm9-shaded

4,26

org.apache.xmlbeans

xmlbeans

5.3.0

org.apache.yetus

anotação de público

0.13.0

org.apache.zookeeper

tratador de animais

3.9.3

org.apache.zookeeper

tratador de animais-juta

3.9.3

org.checkerframework

verificador-qual

3.43.0

org.codehaus.janino

compilador comum

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.Eclipse.jetty

cliente do cais

9.4.53.v20231009

org.Eclipse.jetty

continuação do cais

9.4.53.v20231009

org.Eclipse.jetty

jetty-http

9.4.53.v20231009

org.Eclipse.jetty

jetty-io

9.4.53.v20231009

org.Eclipse.jetty

cais-jndi

9.4.53.v20231009

org.Eclipse.jetty

cais-mais

9.4.53.v20231009

org.Eclipse.jetty

proxy jetty

9.4.53.v20231009

org.Eclipse.jetty

segurança do cais

9.4.53.v20231009

org.Eclipse.jetty

servidor jetty

9.4.53.v20231009

org.Eclipse.jetty

servlet de cais

9.4.53.v20231009

org.Eclipse.jetty

servlets de cais

9.4.53.v20231009

org.Eclipse.jetty

jetty-util

9.4.53.v20231009

org.Eclipse.jetty

jetty-util-ajax

9.4.53.v20231009

org.Eclipse.jetty

aplicativo web jetty

9.4.53.v20231009

org.Eclipse.jetty

jetty-xml

9.4.53.v20231009

org.Eclipse.jetty.websocket

API websocket

9.4.53.v20231009

org.Eclipse.jetty.websocket

cliente websocket

9.4.53.v20231009

org.Eclipse.jetty.websocket

websocket-comum

9.4.53.v20231009

org.Eclipse.jetty.websocket

servidor websocket

9.4.53.v20231009

org.Eclipse.jetty.websocket

servlet websocket

9.4.53.v20231009

org.fusesource.leveldbjni

níveldjni-todos

1.8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

hk2-locador

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locador

1.0.3

org.glassfish.hk2.external

aopalliance-reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.41

org.glassfish.jersey.containers

núcleo do servlet do contêiner jersey

2.41

org.glassfish.jersey.core

cliente de Jersey

2.41

org.glassfish.jersey.core

camisa-comum

2.41

org.glassfish.jersey.core

servidor de jersey

2.41

org.glassfish.jersey.inject

camisa-hk2

2.41

org.hibernate.validator

hibernate-validador

6.2.5.Final

org.ini4j

ini4j

0.5.4

org.javassist

javassist

3.29.2-GA

org.jboss.logging

jboss-logging

3.4.1.Final

org.jdbi

jdbi

2.63.1

org.jetbrains

anotação

17.0.0

org.jline

jline

3.27.1-jdk8

org.joda

joda-converter

1.7

org.jodd

núcleo de Jodd

3.5.2

org.json4s

json4s-ast_2.13

4.0.7

org.json4s

json4s-core_2.13

4.0.7

org.json4s

json4s-jackson-core_2.13

4.0.7

org.json4s

json4s-jackson_2.13

4.0.7

org.json4s

json4s-scalap_2.13

4.0.7

org.lz4

lz4-java

1.8.0-databricks-1

org.mlflow

mlflow-spark_2.13

2.9.1

org.objenesis

objenesia

3.3

org.postgresql

PostgreSQL

42.6.1

org.roaringbitmap

RoaringBitmap

1.2.1

org.rocksdb

rocksdjni

9.8.4

org.rosuda.REngine

Motor RE

2.1.0

org.Scala-lang

Scala-compilador_2.13

2.13.16

org.Scala-lang

Scala-biblioteca_2.13

2.13.16

org.Scala-lang

Scala-reflect_2.13

2.13.16

org.Scala-lang.modules

Scala-collection-compat_2.13

2.11.0

org.Scala-lang.modules

Scala-java8-compat_2.13

0.9.1

org.Scala-lang.modules

Scala-coleções-paralelas_2.13

1.2.0

org.Scala-lang.modules

Scala-parser-combinators_2.13

2.4.0

org.Scala-lang.modules

Scala-xml_2.13

2.3.0

org.Scala-sbt

interface de teste

1.0

org.scalacheck

scalacheck_2.13

1.18.0

org.scalactic

escalactic_2.13

3.2.19

org.scalanlp

brisa-macros_2.13

2.1.0

org.scalanlp

brisa_2.13

2.1.0

org.scalatest

compatível com scalatest

3.2.19

org.scalatest

scalatest-core_2.13

3.2.19

org.scalatest

scalatest-diagramas_2.13

3.2.19

org.scalatest

scalatest-featurespec_2.13

3.2.19

org.scalatest

scalatest-flatspec_2.13

3.2.19

org.scalatest

scalatest-freespec_2.13

3.2.19

org.scalatest

scalatest-funspec_2.13

3.2.19

org.scalatest

scalatest-funsuite_2.13

3.2.19

org.scalatest

scalatest-matchers-core_2.13

3.2.19

org.scalatest

scalatest-mustmatchers_2.13

3.2.19

org.scalatest

scalatest-propspec_2.13

3.2.19

org.scalatest

scalatest-refspec_2.13

3.2.19

org.scalatest

scalatest-shouldmatchers_2.13

3.2.19

org.scalatest

scalatest-wordspec_2.13

3.2.19

org.scalatest

scalatest_2.13

3.2.19

org.slf4j

jcl-sobre-slf4j

2.0.16

org.slf4j

jul-para-slf4j

2.0.16

org.slf4j

API slf4j

2.0.16

org.slf4j

slf4j-simple

1.7.25

org.threeten

três dez-extra

1.8.0

org.tukaani

xz

1.10

org.typelevel

álgebra_2.13

2.8.0

org.typelevel

gatos-kernel_2.13

2.8.0

org.typelevel

spire-macros_2.13

0.18.0

org.typelevel

plataforma-spire_2.13

0.18.0

org.typelevel

spire-util_2.13

0.18.0

org.typelevel

spire_2.13

0.18.0

org.wildfly.openssl

wildfly-openssl

1.1.3.Final

org.xerial

sqlite-JDBC

3.42.0.0

org.xerial.snappy

snappy-java

1.1.10.3

org.yaml

yaml de cobra

2.0

ouro

ouro

2.0.8

pl.edu.icm

JLargeArrays

1.5

software.Amazon.cryptools

AmazonCorrettoCryptoProvider

2.4.1-linux-x86_64

stax

API stax

1.0.1

dica

Para ver notas sobre a versão para versões Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas sobre a versão Databricks Runtime de fim de suporte. As versões do Databricks Runtime que chegaram ao fim de sua vida útil foram descontinuadas e podem não ser atualizadas.