Pular para o conteúdo principal

Databricks Runtime 14,0 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 14.0, alimentado por Apache Spark 3.5.0.

A Databricks lançou essa versão em setembro de 2023.

nota

Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.

Novos recursos e melhorias​

O acompanhamento de linha é GA​

O acompanhamento de linha para Delta Lake já está disponível para todos os senhores. Consulte Usar acompanhamento de linha para Delta tables.

A E/S preditiva para atualizações é GA​

A E/S preditiva para atualizações agora está disponível ao público em geral. Consulte O que é E/S preditiva? .

Os vetores de exclusão são GA​

Os vetores de exclusão agora estão geralmente disponíveis. Consulte O que são vetores de exclusão? .

O Spark 3.5.0 é GA​

O Apache Spark 3.5.0 já está disponível para todos os usuários. Consulte a versão 3.5.0 do Spark.

Visualização pública de funções de tabela definidas pelo usuário para Python​

As funções de tabela definidas pelo usuário (UDTFs) permitem que o senhor registre funções que retornam tabelas em vez de valores escalares. Consulte Funções de tabela definidas pelo usuário (UDTFs) do Python.

Pré-visualização pública da simultaneidade em nível de linha​

A simultaneidade no nível da linha reduz os conflitos entre as operações de gravação da concorrente, detectando alterações no nível da linha e resolvendo automaticamente as alterações concorrentes nas gravações da concorrente que atualizam ou excluem linhas diferentes no mesmo arquivo de dados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

o diretório de trabalho atual padrão foi alterado​

O default diretório de trabalho atual (CWD) para o código executado localmente agora é o diretório que contém o Notebook ou o script que está sendo executado. Isso inclui códigos como %sh e Python ou R que não usam o Spark. Consulte Qual é o diretório de trabalho atual do default.

Problema conhecido com Sparklyr​

A versão instalada do pacote sparklyr (versão 1.8.1) não é compatível com o Databricks Runtime 14.0. Para usar o site sparklyr, instale a versão 1.8.3 ou acima.

Apresentando o Spark Connect na arquitetura de clustering compartilhado​

Com o Databricks Runtime 14.0 e o acima, o clustering compartilhado agora usa o Spark Conecte-se com o driver Spark do Python REPL pelo default. As APIs internas do Spark não são mais acessíveis a partir do código do usuário.

O Spark Connect agora interage com o Spark Driver a partir do REPL, em vez da integração com o REPL legado.

Lista de versões disponíveis do Spark Atualização da API​

Ative o Photon definindo runtime_engine = PHOTON e ative aarch64 escolhendo um tipo de instância de graviton. O Databricks define a versão correta do Databricks Runtime. Anteriormente, a API de versão do Spark retornava tempos de execução específicos da implementação para cada versão. Consulte GET /api/2.0/clustering/spark-versions no site REST API Reference.

Alterações importantes​

No Databricks Runtime 14.0 e no acima, o clustering com o modo de acesso padrão (antigo modo de acesso compartilhado) usa o Spark Connect para comunicação cliente-servidor. Isso inclui as seguintes alterações.

Para obter mais informações sobre as limitações do modo de acesso padrão, consulte Limitações do modo de acesso de computação para Unity Catalog.

Python em clustering com modo de acesso padrão (anteriormente modo de acesso compartilhado)​

  • sqlContext não está disponível. A Databricks recomenda o uso da variável spark para a instância SparkSession.

  • Spark O contexto (sc) não está mais disponível no Notebook ou ao usar Databricks Connect em um clustering com modo de acesso padrão. As seguintes funções sc não estão mais disponíveis:

    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf

  • O conjunto de dados Info recurso não é mais suportado.

  • Não há mais dependência do JVM ao consultar o Apache Spark e, como consequência, as APIs internas relacionadas ao JVM, como _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap e _jcols não são mais suportadas.

  • Ao acessar valores de configuração usando spark.conf, somente valores dinâmicos de configuração de tempo de execução são acessíveis.

  • O comando de análise DLT ainda não é compatível com o clustering compartilhado.

Delta em clustering com modo de acesso padrão (anteriormente modo de acesso compartilhado)​

  • No Python, não há mais dependência do JVM ao consultar o Apache Spark. As APIs internas relacionadas à JVM, como DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilder e DeltaOptimizeBuilder._jbuilder não são mais compatíveis.

SQL em clustering com modo de acesso padrão (anteriormente modo de acesso compartilhado)​

  • DBCACHE e DBUNCACHE comando não são mais suportados.
  • Casos de uso raros, como cache table db as show databases, não são mais suportados.

Atualizações da biblioteca​

  • Atualizado Python biblioteca:

    • asttokens de 2.2.1 a 2.0.5
    • atributos de 21.4.0 a 22.1.0
    • botocore de 1.27.28 a 1.27.96
    • certificado de 2022.9.14 a 2022.12.7
    • criptografia de 37.0.1 a 39.0.1
    • debugpy de 1.6.0 a 1.6.7
    • docstring-to-markdown de 0.12 para 0.11
    • executando de 1.2.0 a 0.8.3
    • visão geral de facetas de 1.0.3 a 1.1.1
    • googleapis-common-protos de 1.56.4 a 1.60.0
    • grpcio de 1.48.1 a 1.48.2
    • idna de 3,3 a 3,4
    • ipykernel de 6.17.1 a 6.25.0
    • ipython de 8.10.0 a 8.14.0
    • Jinja2 de 2.11.3 a 3.1.2
    • jsonschema de 4.16.0 a 4.17.3
    • jupyter_core de 4.11.2 a 5.2.0
    • kiwisolver de 1.4.2 a 1.4.4
    • MarkupSafe de 2.0.1 a 2.1.1
    • matplotlib de 3.5.2 a 3.7.0
    • nbconvert de 6.4.4 para 6.5.4
    • nbformat de 5.5.0 a 5.7.0
    • nest-asyncio de 1.5.5 a 1.5.6
    • Notebook da versão 6.4.12 para a 6.5.2
    • numpy de 1,21,5 a 1,23,5
    • embalagem de 21,3 a 22,0
    • Pandas de 1.4.4 para 1.5.3
    • pathspec de 0.9.0 a 0.10.3
    • bode expiatório de 0.5.2 a 0.5.3
    • Almofada de 9.2.0 a 9.4.0
    • pip de 22.2.2 a 22.3.1
    • protobuf de 3.19.4 a 4.24.0
    • pytoolconfig de 1.2.2 a 1.2.5
    • pytz de 2022.1 a 2022.7
    • s3transfer de 0.6.0 para 0.6.1
    • seaborn de 0.11.2 a 0.12.2
    • ferramentas de configuração de 63.4.1 a 65.6.3
    • soupsieve de 2.3.1 a 2.3.2.post1
    • dados de pilha de 0.6.2 a 0.2.0
    • modelos estatísticos de 0.13.2 a 0.13.5
    • terminado de 0.13.1 a 0.17.1
    • tortas de 5.1.1 a 5.7.1
    • typing_extensions de 4.3.0 a 4.4.0
    • urllib3 de 1.26.11 a 1.26.14
    • virtualenv de 20.16.3 a 20.16.7
    • roda de 0,37,1 a 0,38,4

  • Biblioteca R atualizada:

    • seta de 10.0.1 a 12.0.1
    • base de 4.2.2 a 4.3.1
    • blob de 1.2.3 a 1.2.4
    • vassoura de 1.0.3 a 1.0.5
    • bslib de 0.4.2 a 0.5.0
    • cachem de 1.0.6 a 1.0.8
    • cursor de 6,0-93 a 6,0-94
    • crono de 2,3-59 a 2,3-61
    • classe de 7,3-21 a 7,3-22
    • CLI da versão 3.6.0 para a 3.6.1
    • relógio de 0.6.1 a 0.7.0
    • marca comum de 1.8.1 a 1.9.0
    • compilador de 4.2.2 a 4.3.1
    • cpp11 de 0.4.3 a 0.4.4
    • curl de 5.0.0 a 5.0.1
    • data.table de 1.14.6 a 1.14.8
    • conjunto de dados de 4.2.2 para 4.3.1
    • dbplyr de 2.3.0 a 2.3.3
    • resumo de 0.6.31 a 0.6.33
    • downlit de 0.4.2 para 0.4.3
    • dplyr a partir de 1.1.0 para 1.1.2
    • dtplyr de 1.2.2 a 1.3.1
    • avaliar de 0,20 a 0,21
    • fastmap a partir de 1.1.0 para 1.1.1
    • fontawesome de 0.5.0 a 0.5.1
    • fs de 1.6.1 a 1.6.2
    • futuro de 1.31.0 a 1.33.0
    • future.apply de 1.10.0 a 1.11.0
    • gargareje de 1.3.0 a 1.5.1
    • ggplot2 de 3.4.0 a 3.4.2
    • gh de 1.3.1 a 1.4.0
    • glmnet de 4.1-6 a 4.1-7
    • googledrive de 2.0.0 a 2.1.1
    • googlesheets4 de 1.0.1 a 1.1.1
    • gráficos de 4.2.2 a 4.3.1
    • GRDevices de 4.2.2 a 4.3.1
    • grade de 4.2.2 a 4.3.1
    • tabela de 0.3.1 a 0.3.3
    • hardhat de 1.2.0 a 1.3.0
    • refúgio de 2.5.1 a 2.5.3
    • HMS a partir da versão 1.1.2 para 1.1.3
    • htmltools de 0.5.4 a 0.5.5
    • htmlwidgets de 1.6.1 a 1.6.2
    • httpuv de 1.6.8 a 1.6.11
    • httr de 1.4.4 a 1.4.6
    • ipred de 0,9-13 a 0,9-14
    • jsonlite de 1.8.4 a 1.8.7
    • KernSmooth de 2,23-20 a 2,23-21
    • knitr de 1,42 a 1,43
    • mais tarde de 1.3.0 para 1.3.1
    • rede de 0,20-45 a 0,21-8
    • lava de 1.7.1 a 1.7.2.1
    • lubrificar de 1.9.1 a 1.9.2
    • redução de 1,5 a 1,7
    • MASS de 7,3-58,2 a 7,3-60
    • Matriz de 1,5-1 a 1,5-4,1
    • métodos de 4.2.2 a 4.3.1
    • mgcv de 1,8-41 a 1,8-42
    • modelr a partir de 0.1.10 para 0.1.11
    • nnet de 7,3-18 a 7,3-19
    • openssl de 2.0.5 a 2.0.6
    • paralelo de 4.2.2 a 4.3.1
    • paralelamente de 1.34.0 a 1.36.0
    • pilar de 1.8.1 a 1.9.0
    • pkgbuild de 1.4.0 a 1.4.2
    • pkgload de 1.3.2 a 1.3.2.1
    • ProC de 1.18.0 a 1.18.4
    • processos de 3.8.0 a 3.8.2
    • prodlim de 13/11/2019 a 31/03/2021
    • profvis de 0.3.7 a 0.3.8
    • ps de 1.7.2 a 1.7.5
    • Rcpp de 1.0.10 a 1.0.11
    • leitor a partir de 2.1.3 para 2.1.4
    • readxl de 1.4.2 a 1.4.3
    • receitas de 1.0.4 a 1.0.6
    • rlang de 1.0.6 a 1.1.1
    • rmarkdown de 2.20 para 2.23
    • Reserve de 1,8-12 a 1,8-11
    • RSQLite de 2.2.20 a 2.3.1
    • rstudioapi de 0,14 a 0,15
    • sass de 0.4.5 a 0.4.6
    • brilhante de 1.7.4 a 1.7.4.1
    • Sparklyr da versão 1.7.9 para a 1.8.1
    • SparkR da versão 3.4.1 para a 3.5.0
    • splines de 4.2.2 a 4.3.1
    • estatísticas de 4.2.2 a 4.3.1
    • stats4 de 4.2.2 a 4.3.1
    • sobrevivência de 3,5-3 a 3,5-5
    • sys de 3.4.1 a 3.4.2
    • tcltk de 4.2.2 a 4.3.1
    • testthat a partir de 3.1.6 até 3.1.10
    • tibble a partir de 3.1.8 para 3.2.1
    • tidyverse de 1.3.2 a 2.0.0
    • tinytex de 0,44 a 0,45
    • ferramentas de 4.2.2 a 4.3.1
    • tzdb de 0.3.0 a 0.4.0
    • use isso a partir de 2.1.6 para 2.2.2
    • utilitários de 4.2.2 a 4.3.1
    • vctrs de 0.5.2 a 0.6.3
    • ViridisLite de 0.4.1 a 0.4.2
    • vroom de 1.6.1 a 1.6.3
    • waldo de 0.4.0 a 0.5.1
    • xfun de 0,37 a 0,39
    • xml2 de 1.3.3 a 1.3.5
    • zip de 2.2.2 a 2.3.0

  • Atualizado Java biblioteca:

    • com.fasterxml.jackson.core.jackson-anotação de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-core de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-databind de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 a 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.module.jackson-module-Scala.12 de 2.14.2 para 2.15.2
    • com.github.luben.zstd-jni de 1,5,2-5 a 1,5,5-4
    • com.google.code.gson.gson de 2.8.9 a 2.10.1
    • com.google.crypto.tink.tink de 1.7.0 a 1.9.0
    • commons-codec.commons-codec de 1.15 a 1.16.0
    • commons-io.commons-io de 2.11.0 a 2.13.0
    • io.airlift.compressor de ar de 0,21 a 0,24
    • io.dropwizard.métricas.métricas-core de 4.2.10 a 4.2.19
    • io.dropwizard.métricas.métricas-graphite de 4.2.10 a 4.2.19
    • io.dropwizard.métricas.métricas-healthchecks de 4.2.10 a 4.2.19
    • io.dropwizard.métricas.métricas-jetty9 de 4.2.10 a 4.2.19
    • io.dropwizard.métricas.métricas-jmx de 4.2.10 a 4.2.19
    • io.dropwizard.métricas.métricas-JSON de 4.2.10 a 4.2.19
    • io.dropwizard.métricas.métricas-JVM de 4.2.10 a 4.2.19
    • io.dropwizard.métricas.métricas-servlets de 4.2.10 a 4.2.19
    • io.netty.netty-all de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-buffer de 4.1.87.Final a 4.1.93.Final
    • codec io.netty.netty de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http2 de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-socks de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-common de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler-proxy de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-resolver de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-epoll de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-native-epoll de 4.1.87.final-linux-x86_64 a 4.1.93.final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.87.final-OSX-x86_64 a 4.1.93.final-OSX-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.87.Final a 4.1.93.Final
    • org.apache.arrow.arrow-format de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-core de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-netty de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-vector de 11.0.0 a 12.0.1
    • org.apache.avro.avro de 1.11.1 a 1.11.2
    • org.apache.avro.avro-ipc de 1.11.1 a 1.11.2
    • org.apache.avro.avro-mapred de 1.11.1 a 1.11.2
    • org.apache.commons.commons-compress de 1,21 a 1,23,0
    • org.apache.hadoop.hadoop-client-runtime de 3.3.4 a 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-core de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 a 2.20.0
    • org.apache.orc.orc-core de 1.8.4-shaded-protobuf para 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf para 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.4 a 1.9.0
    • org.apache.xbean.xbean-asm9-shaded de 4,22 a 4,23
    • org.checkerframework.checker-qual de 3.19.0 a 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet de 2,36 a 2,40
    • org.glassfish.jersey.containers.jersey-container-servlet-core de 2,36 a 2,40
    • org.glassfish.jersey.core.jersey-client de 2,36 a 2,40
    • org.glassfish.jersey.core.jersey-common de 2,36 a 2,40
    • org.glassfish.jersey.core.jersey-server de 2,36 a 2,40
    • org.glassfish.jersey.inject.jersey-hk2 de 2,36 a 2,40
    • org.javassist.javassist de 3.25.0-GA para 3.29.2-GA
    • org.mariadb.JDBC.mariadb-java-client de 2.7.4 a 2.7.9
    • org.postgresql.postgresql de 42.3.8 a 42.6.0
    • org.roaringbitmap.RoaringBitmap de 0.9.39 a 0.9.45
    • org.roaringbitmap.shims de 0.9.39 a 0.9.45
    • org.rocksdb.rocksdbjni de 7.8.3 a 8.3.2
    • org.Scala-lang.modules.Scala-collection-compat_2.12 de 2.4.3 para 2.9.0
    • org.slf4j.jcl-sobre-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.jul-para-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.slf4j-api de 2.0.6 a 2.0.7
    • org.xerial.snappy.snappy-java de 1.1.10.1 a 1.1.10.3
    • org.yaml.snakeyaml de 1.33 a 2.0

Apache Spark​

Databricks Runtime 14.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.3 LTS, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Corrigir as funções aes_decrypt e ln no Connect
  • [SPARK-44980] [DBRRM-462][sc-141024][Python][connect] Corrigir namedtuples herdados para que funcionem em createDataFrame
  • [SPARK-44795] [DBRRM-462] [sc-139720] [CONNECT] O cache do CodeGenerator deve ser específico do carregador de classes
  • [SPARK-44861] [DBRRM-498] [sc-140716] [CONECTAR] json ignora SparkListenerConnectOperationStarted.PlanRequest
  • [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Fazer com que as consultas de transmissão funcionem com o gerenciamento de artefatos do Connect
  • [SPARK-44791] [DBRRM-462] [sc-139623] [CONNECT] Faça o ArrowDeserializer funcionar com classes geradas por REPL
  • [SPARK-44876] [DBRRM-480][sc-140431][Python] Corrigir a otimização da seta Python UDF em Spark Conectar
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][Python] Suporte às funções protobuf do Python para o Spark Connect
  • [SPARK-44882] [DBRRM-463][sc-140430][Python][connect] Remove function uuid/random/chr from PySpark
  • [SPARK-44740] [DBRRM-462] [sc-140320] [CONNECT] [follow] Corrigir valores de metadados para artefatos
  • [SPARK-44822] [DBRRM-464][Python][SQL] Tornar Python UDTFs por default não determinístico
  • [SPARK-44836] [DBRRM-468][sc-140228][Python] Refatorar a seta Python UDTF
  • [SPARK-44738] [DBRRM-462][sc-139347][Python][connect] Adicionar metadados de cliente ausentes às chamadas
  • [SPARK-44722] [DBRRM-462] [sc-139306] [CONECTAR] Execute o iterador reconectável PlanResponse. _call_iter: AttributeError: o objeto 'NoneType' não tem atributo 'mensagem'
  • [SPARK-44625] [DBRRM-396] [sc-139535] [CONNECT] SparkConnectExecutionManager para rastrear todas as execuções
  • [SPARK-44663] [SC-139020][dbrrm-420][Python] Desativar a otimização de seta por default para Python UDTFs
  • [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] ExecuteGrpcResponseSender em execução anexável em nova thread para corrigir o controle de fluxo
  • [SPARK-44656] [DBRRM-396] [sc-138924] [CONNECT] Faça com que todos os iteradores sejam fechadosIterators
  • [SPARK-44671] [DBRRM-396][sc-138929][Python][connect] Retry ExecutePlan in case initial request didn't reach server in Python client
  • [SPARK-44624] [DBRRM-396] [sc-138919] [CONNECT] Tente novamente o ExecutePlan caso a solicitação inicial não tenha chegado ao servidor
  • [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Os erros que foram movidos para sq/api também devem usar AnalysisException
  • [SPARK-44613] [DBRRM-396] [sc-138473] [CONNECT] Adicionar objeto Encoders
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Acompanhamento do término da consulta de transmissão quando a sessão do cliente é encerrada por tempo limitado para Spark Connect
  • [SPARK-44642] [DBRRM-396] [sc-138882] [CONNECT] ReleaseExecute em ExecutePlanResponseReattachableIterator após receber um erro do servidor
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Remover dependência do Connect Client Catalyst
  • [SPARK-44664] [DBRRM-396][Python][CONNECT] Liberar a execução ao fechar o iterador no cliente Python
  • [SPARK-44631] [DBRRM-396] [sc-138823] [CONECTAR] [núcleo] [14.0.0] Remova o diretório baseado em sessão quando o cache de sessão isolado for removido
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396] [sc-138570] [CONNECT] Não deixe iteradores pendentes
  • [SPARK-44424] [DBRRM-396][connect][Python][14.0.0] Cliente Python para reanexar a execução existente no Spark Connect
  • [SPARK-44637] [SC-138571] Sincronizar acessos ao ExecuteResponseObserver
  • [SPARK-44538] [SC-138178][connect][SQL] Reinstate Row.jsonValue and friends
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] Execução reutilizável no Spark Connect
  • [SPARK-44418] [SC-136807][Python][CONNECT] Upgrade protobuf from 3.19.5 to 3.20.3
  • [SPARK-44587] [SC-138315] [sql] [CONNECT] Aumente o limite de recursão do protobuf marshaller
  • [SPARK-44591] [SC-138292][connect][SQL] Adicionar jobTags ao SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368] [sql] DeduplicateRelations deve reter os metadados do Alias ao criar uma nova instância
  • [SPARK-44542] [SC-138323] [core] Carregue ansiosamente a classe SparkExitCode no manipulador de exceções
  • [SPARK-44264] [SC-138143][Python]Teste E2E para Deepspeed
  • [SPARK-43997] [SC-138347][connect] Adicionar suporte para UDFs Java
  • [SPARK-44507] [SQL][connect][14.x][14.0] Mova a Analysis Exception para sql/api
  • [SPARK-44453] [SC-137013][Python] Use difflib para exibir erros em assertDataFrameEqual
  • [SPARK-44394] [SC-138291] [conectar] [WEBUI] [14.0] Adicionar uma página Spark UI para o Spark Connect
  • [SPARK-44611] [SC-138415][connect] Não exclua Scala-xml
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Mova a inferência do codificador para sql/api
  • [SPARK-43744] [SC-138289] [conectar] [14,x] [14,0] Corrija o problema de carregamento de classes causado por...
  • [SPARK-44590] [SC-138296][sql][CONNECT] Remover o limite de registros de lotes de setas para SqlCommandResult
  • [SPARK-43968] [SC-138115][Python] Melhorar as mensagens de erro para Python UDTFs com número errado de saídas
  • [SPARK-44432] [SC-138293][ss][CONNECT] Encerrar as consultas de transmissão quando o tempo de uma sessão se esgota em Spark Connect
  • [SPARK-44584] [SC-138295][connect] Definir informações client_type para AddArtifactsRequest e ArtifactStatusesRequest em Scala Client
  • [SPARK-44552] [14.0][sc-138176][SQL] Remova a definição private object ParseState de IntervalUtils
  • [SPARK-43660] [SC-136183][connect][PS] Habilite resample com o Spark Connect
  • [SPARK-44287] [SC-136223][sql] Use PartitionEvaluator API em operadores SQL RowToColumnarExec & ColumnarToRowExec.
  • [SPARK-39634] [SC-137566] [sql] Permitir a divisão de arquivos em combinação com a geração de índice de linha
  • [SPARK-44533] [SC-138058][Python] Adicionar suporte para arquivos acumuladores, de transmissão e Spark na análise do Python UDTF
  • [SPARK-44479] [SC-138146][Python] Corrigir o ArrowStreamPandasUDFSerializer para aceitar Pandas sem coluna DataFrame
  • [SPARK-44425] [SC-138177] [conectar] Valide se o SessionID fornecido pelo usuário é um UUID
  • [SPARK-44535] [SC-138038][connect][SQL] Mover a transmissão necessária API para sql/api
  • [SPARK-44264] [SC-136523][ml][Python] Escreva uma classe de aprendizado distribuído DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164] [sql] Corrigir que resolveInlineTables não pode lidar com a expressão runtimeReplaceable
  • [SPARK-44060] [SC-135693][sql] Geração de código para hash embaralhado externo do lado da construção join
  • [SPARK-44496] [SC-137682] [sql] [CONNECT] Mova as interfaces necessárias pelo SCSC para sql/api
  • [SPARK-44532] [SC-137893][connect][SQL] Move ArrowUtils to sql/api
  • [SPARK-44413] [SC-137019][Python] Esclarecer o erro do tipo de dados arg não suportado em assertDataFrameEqual
  • [SPARK-44530] [SC-138036] [core] [CONNECT] Mova o SparkBuildInfo para common/util
  • [SPARK-36612] [SC-133071][sql] Suporte à construção externa esquerda join à esquerda ou externa direita join à direita em hash embaralhado join
  • [SPARK-44519] [SC-137728] [connect] SparkConnectServerUtils gerou parâmetros incorretos para jarros
  • [SPARK-44449] [SC-137818] [conectar] Transmissão ascendente para desserialização direta de setas
  • [SPARK-44131] [SC-136346][sql] Adicionar call_function e depreciar call_udf para a API Scala
  • [SPARK-44541] [SQL] Remova a função inútil hasRangeExprAgainstEventTimeCol do UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859] [sql] A partição maxRows/maxRowsPerPartition do filtro é 0 se a condição for FalseLiteral
  • [SPARK-44540] [SC-137873] [ui] Remova a folha de estilo e os arquivos javascript não utilizados do JSONFormatter
  • [SPARK-44466] [SC-137856] [sql] Excluir configurações começando com SPARK_DRIVER_PREFIX e SPARK_EXECUTOR_PREFIX de ModifiedConfigs
  • [SPARK-44477] [SC-137508] [sql] Trate TYPE_CHECK_FAILURE_WITH_HINT como uma subclasse de erro
  • [SPARK-44509] [SC-137855][Python][CONNECT] Adicionar cancelamento de trabalho API definido no cliente Spark Connect Python
  • [SPARK-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções integradas
  • [SPARK-38476] [SC-136448] [core] Use a classe de erro em org.apache.spark.storage
  • [SPARK-44486] [SC-137817][Python][CONNECT] Implementar PyArrow self_destruct recurso para toPandas
  • [SPARK-44361] [SC-137200][sql] Usar a API PartitionEvaluator no MapInBatchExec
  • [SPARK-44510] [SC-137652] [ui] Atualize DataTables para 1.13.5 e remova alguns arquivos png não alcançados
  • [SPARK-44503] [SC-137808][sql] Adicionar gramática SQL para as cláusulas PARTITION BY e ORDER BY após os argumentos TABLE para chamadas TVF
  • [SPARK-38477] [SC-136319] [core] Use a classe de erro em org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088] [sql] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_227 [4-6,8]
  • [SPARK-44422] [SC-137567][connect] Interrupção de granulação fina do Spark Connect
  • [SPARK-44380] [SC-137415][sql][Python] Suporte para Python UDTF para analisar em Python
  • [SPARK-43923] [SC-137020] [conectar] Publique eventos do ListenerBus durante...
  • [SPARK-44303] [SC-136108] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [2320-2324]
  • [SPARK-44294] [SC-135885] [ui] A coluna Fix HeapHistogram é exibida inesperadamente com seleção de todas as caixas
  • [SPARK-44409] [SC-136975][sql] Manipular char/varchar em dataset.to para manter a consistência com outros
  • [SPARK-44334] [SC-136576][sql][UI] O status na resposta REST API para uma DDL/DML com falha sem trabalho deve ser FAILED em vez de COMPLETED.
  • [SPARK-42309] [SC-136703] [sql] Apresente INCOMPATIBLE_DATA_TO_TABLE e subclasses.
  • [SPARK-44367] [SC-137418] [sql] [UI] Mostrar mensagem de erro na interface do usuário para cada consulta com falha
  • [SPARK-44474] [SC-137195] [conectar] Reative o “Teste e observe a resposta” no SparkConnectServiceSuite
  • [SPARK-44320] [SC-136446] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][connect] O Connect Server startup log deve exibir o nome do host e a porta
  • [SPARK-44309] [SC-136193][ui] Exibir o tempo de adição/remoção do executor na guia executor
  • [SPARK-42898] [SC-137556][sql] Marcar que strings/date casts não precisam de id de fuso horário
  • [SPARK-44475] [SC-137422] [sql] [CONNECT] Realoque o tipo de dados e o analisador para sql/api
  • [SPARK-44484] [SC-137562][ss]Adicionar batchDuration ao método StreamingQueryProgress JSON
  • [SPARK-43966] [SC-137559][sql][Python] Suporte a funções não determinísticas com valor de tabela
  • [SPARK-44439] [SC-136973] [conectar] [SS] Listeners corrigidos para enviar apenas ids de volta ao cliente
  • [SPARK-44341] [SC-137054][sql][Python] Defina a lógica de computação por meio do PartitionEvaluator API e use-a no WindowExec e no WindowInPandasExec
  • [SPARK-43839] [SC-132680] [sql] Converter _LEGACY_ERROR_TEMP_1337 em UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]Adicionar suporte para Listener de transmissão em Scala para Spark Connect
  • [SPARK-44260] [SC-135618] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [1215-1245-2329] & Use checkError () para verificar a exceção em _CharvarChar_Suite
  • [SPARK-42454] [SC-136913] [sql] SPJ: encapsula todos os parâmetros relacionados ao SPJ no BatchScanExec
  • [SPARK-44292] [SC-135844] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [2315-2319]
  • [SPARK-44396] [SC-137221] [conectar] Desserialização direta de seta
  • [SPARK-44324] [SC-137172] [sql] [CONNECT] Mova maiúsculas de minúsculas e minúsculas para sql/api
  • [SPARK-44395] [SC-136744] [sql] Adicionar teste de volta ao StreamingTableSuite
  • [SPARK-44481] [SC-137401][connect][Python] Make PySpark.sql.is_remote an API
  • [SPARK-44278] [SC-137400] [conectar] Implemente um interceptor de servidor GRPC que limpe as propriedades locais do thread
  • [SPARK-44264] [SC-137211][ml][Python] Suporte ao treinamento distribuído de funções usando o Deepspeed
  • [SPARK-44430] [SC-136970] [sql] Adicionar causa a AnalysisException quando a opção é inválida
  • [SPARK-44264] [SC-137167][ml][Python] Incorporando o FunctionPickler ao TorchDistributor
  • [SPARK-44216] [SC-137046] [Python] Make assertSchemaEqual API public
  • [SPARK-44398] [SC-136720][conectar] API foreachBatch do Scala
  • [SPARK-43203] [SC-134528] [sql] Mova todas as maiúsculas e minúsculas do Drop Table para o DataSource V2
  • [SPARK-43755] [SC-137171] [conectar] [MINOR] Abra AdaptiveSparkPlanHelper.allChildren em vez de usar a cópia em MetricGenerator
  • [SPARK-44264] [SC-137187][ml][Python] Refatoração do TorchDistributor para permitir o ponteiro de função "execução" personalizado
  • [SPARK-43755] [SC-136838] [connect] Mova a execução do SparkExecutePlanStreamHandler para um thread diferente
  • [SPARK-44411] [SC-137198][sql] Use a API PartitionEvaluator em ArrowEvalPythonExec e BatchEvalPythonExec
  • [SPARK-44375] [SC-137197][sql] Usar a API PartitionEvaluator no DebugExec
  • [SPARK-43967] [SC-137057][Python] Suporte regular a Python UDTFs com valores de retorno vazios
  • [SPARK-43915] [SC-134766] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [2438-2445]
  • [SPARK-43965] [SC-136929][Python][CONNECT] Suporte Python UDTF em Spark Connect
  • [SPARK-44154] [SC-137050] [sql] Adicionou mais testes de unidade ao BitmapExpressionUtilsSuite e fez pequenas melhorias nas expressões agregadas de bitmap
  • [SPARK-44169] [SC-135497] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] Remove StructType.toAttributes
  • [SPARK-43964] [SC-136676][sql][Python] Suporte a UDTFs otimizadas por seta Python
  • [SPARK-44321] [SC-136308] [conectar] Desacoplar ParseException de Analysis Exception
  • [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][Python] Reative o test_artifact com as alterações relevantes
  • [SPARK-44145] [SC-136698] [sql] Retorno de chamada quando estiver pronto para execução
  • [SPARK-43983] [SC-136404][Python][ML][connect] Enable cross validator estimator test
  • [SPARK-44399] [SC-136669][pyhton][CONNECT] Importar SparkSession no Python UDF somente quando useArrow for None
  • [SPARK-43631] [SC-135300][connect][PS] Habilitar Series.interpolate com o Spark Connect
  • [SPARK-44374] [SC-136544][Python][ML] Adicionar código de exemplo para ML distribuído para spark connect
  • [SPARK-44282] [SC-135948][connect] Prepare a análise de DataType para uso no cliente Spark Connect Scala
  • [SPARK-44052] [SC-134469][connect][PS] Adicionar utilitário para obter a classe Column ou DataFrame adequada para o Spark Connect.
  • [SPARK-43983] [SC-136404][Python][ML][connect] Implementar estimador de validação cruzada
  • [SPARK-44290] [SC-136300][connect] Arquivos e arquivos baseados em sessão no Spark Connect
  • [SPARK-43710] [SC-134860][ps][CONNECT] Suporte functions.date_part para Spark Connect
  • [SPARK-44036] [SC-134036][connect][PS] Limpeza & consolidar tíquetes para simplificar a tarefa.
  • [SPARK-44150] [SC-135790][Python][CONNECT] Explicit Arrow casting for mismatched return type in Arrow Python UDF
  • [SPARK-43903] [SC-134754][Python][CONNECT] Aprimorar o suporte à entrada ArrayType no Arrow Python UDF
  • [SPARK-44250] [SC-135819][ml][Python][connect] Implementar avaliador de classificação
  • [SPARK-44255] [SC-135704] [sql] Realoque o nível de armazenamento para common/utils
  • [SPARK-42169] [SC-135735] [SQL] Implementar geração de código para a função to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][Python] Refatorar o PythonUDTFRunner para enviar seu tipo de retorno separadamente
  • [SPARK-43353] [SC-132734][Python] Migrar os erros de sessão restantes para a classe de erro
  • [SPARK-44133] [SC-134795][Python] Atualizar o MyPy de 0.920 para 0.982
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Série de eventos no formato JSON
  • [SPARK-43353] Reverter "[SC-132734][es-729763][Python] Migrar os erros de sessão restantes para a classe de erro".
  • [SPARK-44100] [SC-134576][ml][CONNECT][Python] Mover o namespace de pyspark.mlv2 para pyspark.ml.connect
  • [SPARK-44220] [SC-135484] [sql] Mova StringConcat para sql/api
  • [SPARK-43992] [SC-133645][sql][Python][connect] Adicionar padrão opcional para Catalog.listFunctions
  • [SPARK-43982] [SC-134529][ml][Python][connect] Implementar o estimador pipeline para ML no spark connect
  • [SPARK-43888] [SC-132893] [core] Realoque o registro para common/utils
  • [SPARK-42941] Reverter "[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Série de eventos no formato JSON".
  • [SPARK-43624] [SC-134557] [ps] [CONNECT] Adicione EWM ao SparkConnectPlanner.
  • [SPARK-43981] [SC-134137][Python][ML] Implementação básica de salvamento/carregamento para ML no spark connect
  • [SPARK-43205] [SC-133371] [sql] corrige o SQLQueryTestSuite
  • [SPARK-43376] Reverter “[SC-130433] [sql] Melhore a reutilização da subconsulta com cache de tabela”
  • [SPARK-44040] [SC-134366][sql] Corrigir compute stats quando o nó AggregateExec acima do QueryStageExec
  • [SPARK-43919] [SC-133374][sql] Extrair funcionalidade JSON da linha
  • [SPARK-42618] [SC-134433][Python][PS] Aviso sobre as mudanças de comportamento relacionadas ao pandas na próxima versão principal
  • [SPARK-43893] [SC-133381][Python][CONNECT] Suporte a tipos de dados não atômicos em Python otimizado por setas UDF
  • [SPARK-43627] [SC-134290][spark-43626][PS][connect] Habilite pyspark.pandas.spark.functions.{kurt, skew} no Spark Connect.
  • [SPARK-43798] [SC-133990][sql][Python] Suporte a funções de tabela definidas pelo usuário Python
  • [SPARK-43616] [SC-133849][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.mode no Spark Connect
  • [SPARK-43133] [SC-133728] Suporte ao cliente Scala DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Corrigir (NullOps|NumOps).(eq|ne) para Spark Connect.
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] Habilitar pyspark.pandas.spark.functions.{var, stddev} no Spark Connect
  • [SPARK-43617] [SC-133893][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.product no Spark Connect
  • [SPARK-43610] [SC-133832][connect][PS] Habilite InternalFrame.attach_distributed_column no Spark Connect.
  • [SPARK-43621] [SC-133852][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.repeat no Spark Connect
  • [SPARK-43921] [SC-133461][protobuf] Gerar arquivos descritores do Protobuf no momento da compilação
  • [SPARK-43613] [SC-133727][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.covar no Spark Connect
  • [SPARK-43376] [SC-130433] [sql] Melhore a reutilização da subconsulta com cache de tabela
  • [SPARK-43612] [SC-132011][connect][Python] Implementar SparkSession.addArtifact(s) no cliente Python
  • [SPARK-43920] [SC-133611] [sql] [CONNECT] Criar módulo sql/api
  • [SPARK-43097] [SC-133372][ml] Novo estimador de regressão logística PySpark ML implementado sobre o distribuidor
  • [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Tornar o MLv2 (ML no spark connect) compatível com Pandas >= 2.0
  • [SPARK-43024] [SC-132716][Python] Atualizar Pandas para 2.0.0
  • [SPARK-43881] [SC-133140][sql][Python][connect] Adicionar padrão opcional para Catalog.listDatabases
  • [SPARK-39281] [SC-131422][sql] Acelere a inferência do tipo Timestamp com o formato legado em JSON/CSV fonte de dados
  • [SPARK-43792] [SC-132887][sql][Python][connect] Adicionar padrão opcional para Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] API do cliente Python DataStreamWriter foreach()
  • [SPARK-43545] [SC-132378][sql][Python] Suporte ao tipo de carimbo de data/hora aninhado
  • [SPARK-43353] [SC-132734][Python] Migrar os erros de sessão restantes para a classe de erro
  • [SPARK-43304] [SC-129969][connect][Python] Migrar NotImplementedError para PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ml][Python][connect] Interfaces básicas do sparkML para spark3.5: estimador/transformador/modelo/avaliador
  • [SPARK-43128] Reverter "[SC-131628][connect][SS] Fazer com que recentProgress e lastProgress retornem StreamingQueryProgress de forma consistente com a Api Scala nativa".
  • [SPARK-43543] [SC-131839][Python] Corrigir o comportamento do MapType aninhado em Pandas UDF
  • [SPARK-38469] [SC-131425] [core] Use a classe de erro em org.apache.spark.network
  • [SPARK-43309] [SC-129746] [spark-38461] [CORE] Estenda INTERNAL_ERROR com categorias e adicione a classe de erro INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Mova a estrutura de erro para um módulo utilitário comum
  • [SPARK-43440] [SC-131229][Python][CONNECT] Suporte ao registro de um Python otimizado para Arrow UDF
  • [SPARK-43528] [SC-131531][sql][Python] Suporte a nomes de campos duplicados em createDataFrame com Pandas DataFrame
  • [SPARK-43412] [SC-130990][Python][CONNECT] Introduzir SQL_ARROW_BATCHED_UDF EvalType para Python UDFs otimizados por setas
  • [SPARK-40912] [SC-130986] [core] Sobrecarga de exceções no KryoDeserializationStream
  • [SPARK-39280] [SC-131206][sql] Acelere a inferência do tipo Timestamp com o formato fornecido pelo usuário em JSON/CSV fonte de dados
  • [SPARK-43473] [SC-131372][Python] Suporte ao tipo struct em createDataFrame de Pandas DataFrame
  • [SPARK-43443] [SC-131024] [sql] Adicionar referência para inferência do tipo Timestamp ao usar valor inválido
  • [SPARK-41532] [SC-130523][connect][CLIENT] Adicionar verificação para operações que envolvem vários quadros de dados
  • [SPARK-43296] [SC-130627][connect][Python] Migrar os erros da sessão do Spark Connect para a classe de erro
  • [SPARK-43324] [SC-130455][sql] Manipular UPDATE comando para fontes baseadas em delta
  • [SPARK-43347] [SC-130148][Python] Remover o suporte a Python 3.7
  • [SPARK-43292] [SC-130525] [core] [CONNECT] Mova ExecutorClassLoader para o módulo core e simplifique Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Adicionar carregador de dados do distribuidor da tocha que carrega dados da partição de dados do spark
  • [SPARK-43331] [SC-130061][connect] Adicionar Spark Connect SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][Python] Migrar ValueError dos tipos Spark SQL para a classe de erro
  • [SPARK-43261] [SC-129674][Python] Migrar TypeError dos tipos Spark SQL para a classe de erro.
  • [SPARK-42992] [SC-129465][Python] Introduzir PySparkRuntimeError
  • [SPARK-16484] [SC-129975] [sql] Adicionar suporte para Datasketches HLLSketch
  • [SPARK-43165] [SC-128823] [sql] Mover Can Write to DataTypeUtils
  • [SPARK-43082] [SC-129112][connect][Python] UDFs de Python otimizados por setas em Spark Connect
  • [SPARK-43084] [SC-128654] [SS] Adicionar ApplyInPandas com suporte estadual para Spark Connect
  • [SPARK-42657] [SC-128621] [conectar] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
  • [SPARK-43098] [SC-77059] [sql] Corrige a correção do erro COUNT quando a subconsulta escalar tem cláusula group by
  • [SPARK-42884] [SC-126662] [conectar] Adicionar integração Ammonite REPL
  • [SPARK-42994] [SC-128333][ml][CONNECT] PyTorch Suporte ao distribuidor local Mode
  • [SPARK-41498] [SC-125343] Reverter ” Propagar metadados por meio do Union”
  • [SPARK-42993] [SC-127829][ml][CONNECT] Tornar o distribuidor PyTorch compatível com o Spark Connect
  • [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
  • [SPARK-42874] [SC-126442][sql] Habilite a nova estrutura de teste do golden file para análise de todos os arquivos de entrada
  • [SPARK-42779] [SC-126042] [sql] Permitir gravações V2 para indicar o tamanho recomendado da partição aleatória
  • [SPARK-42891] [SC-126458][connect][Python] Implement CoGrouped Map API
  • [SPARK-42791] [SC-126134][sql] Criar uma nova estrutura de teste de golden file para análise
  • [SPARK-42615] [SC-124237][connect][Python] Refatorar o RPC do AnalyzePlan e adicionar session.version
  • [SPARK-41302] Reverter "[ALL TESTS][sc-122423][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652][Python] Mensagens de erro aprimoradas para applyInPandas em caso de incompatibilidade de esquema
  • [SPARK-40770] Reverter "[ALL TESTS][sc-122652][Python] Mensagens de erro aprimoradas para applyInPandas por incompatibilidade de esquema".
  • [SPARK-42398] [SC-123500][sql] Refine default column value DS v2 interface
  • [SPARK-40770] [ALL TESTS][sc-122652][Python] Mensagens de erro aprimoradas para applyInPandas em caso de incompatibilidade de esquema
  • [SPARK-40770] Reverter "[SC-122652][Python] Mensagens de erro aprimoradas para applyInPandas por incompatibilidade de esquema".
  • [SPARK-40770] [SC-122652][Python] Mensagens de erro aprimoradas para applyInPandas em caso de incompatibilidade de esquema
  • [SPARK-42038] [TODOS OS TESTES] Reverter “Reverter “[SC-122533] [sql] SPJ: suporte à distribuição parcialmente agrupada””
  • [SPARK-42038] Reverter “[SC-122533] [sql] SPJ: suporte à distribuição parcialmente agrupada”
  • [SPARK-42038] [SC-122533] [sql] SPJ: Suporte à distribuição parcialmente agrupada
  • [SPARK-40550] [SC-120989][sql] DataSource V2: Manipulação do comando DELETE para fontes baseadas em delta
  • [SPARK-40770] Reverter "[SC-122652][Python] Mensagens de erro aprimoradas para applyInPandas por incompatibilidade de esquema".
  • [SPARK-40770] [SC-122652][Python] Mensagens de erro aprimoradas para applyInPandas em caso de incompatibilidade de esquema
  • [SPARK-41302] Reverter “[SC-122423] [sql] Atribuir nome a _LEGACY_ERROR_TEMP_1185”
  • [SPARK-40550] Reverter "[SC-120989][sql] DataSource V2: Manipular o comando DELETE para fontes baseadas em delta"
  • [SPARK-42123] Reverter "[SC-121453][sql] Incluir valores da coluna default na saída DESCRIBE e SHOW CREATE TABLE "
  • [SPARK-42146] [SC-121172][core] Refatorar Utils#setStringField para que o Maven build seja aprovado quando o módulo sql usar esse método
  • [SPARK-42119] Reverter "[SC-121342][sql] Adicionar funções integradas de valor de tabela inline e inline_outer"

Destaques​

Spark Connect​

  • Refatoração do módulo sql em sql e sql-api para produzir um conjunto mínimo de dependências que podem ser compartilhadas entre o cliente Scala Spark Connect e o Spark e evitar a extração de todas as dependências transitivas do Spark. SPARK-44273
  • Apresentando o cliente Scala para o Spark Connect SPARK-42554
  • Suporte à API do Pandas para o cliente Python Spark Connect SPARK-42497
  • Suporte de ML distribuído baseado em PyTorch para Spark Connect SPARK-42471
  • transmissão estruturada suporte para Spark Connect em Python e Scala SPARK-42938
  • Versão inicial do cliente Go SPARK-43351
  • Muitas melhorias de compatibilidade entre o Spark nativo e os clientes Spark Connect em Python e Scala
  • Melhor capacidade de depuração e tratamento de solicitações para aplicativos clientes (processamento assíncrono, novas tentativas, consultas de longa duração)

Spark SQL​

recurso​

Funções​

fonte de dados​

Otimização de consultas​

Geração de código e execução de consultas​

Outras mudanças notáveis​

PySpark​

recurso​

Outras mudanças notáveis​

Núcleo​

transmissão estruturada​

ML​

UI​

  • Adicionar uma página Spark UI para o Spark Connect SPARK-44394
  • Suporte à coluna Histograma de Heap no executor tab SPARK-44153
  • Mostrar mensagem de erro na interface do usuário para cada consulta falhada SPARK-44367
  • Exibir o tempo de adição/remoção do executor na guia do executor SPARK-44309

Build e outros​

Remoções, mudanças de comportamento e suspensões​

Próxima remoção​

O recurso a seguir será removido na próxima versão principal do site Spark

  • Suporte para Java 8 e Java 11, e a versão mínima suportada do Java será o Java 17
  • Suporte ao Scala 2.12, e a versão mínima suportada do Scala será a 2.13

Guia de migração​

Suporte ao driver ODBC/JDBC da Databricks​

A Databricks é compatível com drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e da atualização do site (download ODBC, download JDBC).

Ambiente do sistema​

  • Sistema operacional : Ubuntu 22.04.3 LTS
  • Java : Zulu 8.70.0.23-CA-linux64
  • Scala : 2.12.15
  • Python : 3.10.12
  • R : 4.3.1
  • Delta Lake : 2.4.0

Instalado Python biblioteca​

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

anyio

3.5.0

argônio-2-cffi

21,3,0

ligações argônio-2-cffi

21.2.0

asttokens

2.0.5

atrai

22.1.0

chamada de volta

0.2.0

linda sopa 4

4.11.1

preto

22.6.0

cândida

4.1.0

pisca-pisca

1.4

boto3

1,24,28

botocore

1,27,96

certifi

2022.12.7

caffi

1.15.1

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.4

comunicações

0.1.2

contornar

1.0.5

criptografia

39,0,1

ciclador

0.11.0

Cython

0,29,32

databricks-sdk

0.1.6

dbus-Python

1.2.18

depurar

1.6.7

decorador

5.1.1

xml desfundido

0.7.1

distlib

0.3.7

docstring-to-markdown

0,11

pontos de entrada

0,4

execução

0,8.3

visão geral das facetas

1.1.1

esquema fastjson

2.18.0

bloqueio de arquivo

3.12.2

ferramentas de fonte

4,25.0

Biblioteca de tempo de execução do GCC

1.10.0

googleapis-common-protos

1,60,0

grócio

1.48,2

status de grpcio

1.48,1

httplib2

0,20.2

Índia

3.4

importlib-metadados

4.6.4

ipykernel

6,25,0

ipython

8.14.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

jedi

0,18.1

jeepney

0.7.1

Jinja 2

3.1.2

jmespath

0.10.0

joblib

1.2.0

esquema json

4.17.3

cliente jupyter

7.3.4

servidor jupyter

1.23,4

jupyter_core

5.2.0

pigmentos jupyterlab

0.1.2

widgets jupyterlab

1.0.0

chaveiro

23,5,0

solucionador de kiwi

1.4.4

launchpadlib

1,10,16

lazr.restfulclient

0,14.4

lazr.uri

1.0.6

lxml

4.9.1

MarkupSafe

2.1.1

Matplotlib

3.7.0

matplotlib-inline

0.1.6

mccabe

0.7.0

confundir

0,8.4

mais ferramentas de iteração

8.10.0

extensões mypy

0.4.3

nbclassic

0.5.2

cliente nb

0,5.13

nbconvert

6.5.4

formato nb

5.7.0

nest-assíncio

1.5.6

nodeenv

1.8.0

notebook

6.5.2

Caderno de anotações

0.2.2

entorpecido

1,23,5

oauthlib

3.2.0

fazendo às malas

22,0

Pandas

1.5.3

filtros pandóicos

1.5.0

parso

0,8.3

especificação do caminho

0.10.3

bode expiatório

0.5.3

esperar

4.8.0

picles

0.7.5

Travesseiro

9.4.0

pip

22.3.1

platformdirs

2.5.2

Plotly

5.9.0

plugado

1.0.0

cliente prometheus

0,14.1

kit de ferramentas de aviso

3,0,36

protobuf

4,24.0

pistila

5.9.0

psycopg2

2.9.3

processo pty

0.7.0

avaliação pura

0.2.2

flecha

8.0.0

pycparser

2,21

pidântico

1.10.6

flocos

3.0.1

Pigmentos

2.11.2

Objeto PYG

3,42,1

PyJWT

2.3.0

pyodbc

4,0,32

análise de pipa

3.0.9

direito autoral

1,1,294

persistente

0,18.0

Python-dateutil

2.8.2

Python-lsp-jsonrpc

1.0.0

Python-lsp-server

1.7.1

pytoolconfig

1.2.5

pytz

2022,7

pizma

23.2,0

pedidos

2.28,1

corda

1.7.0

transferência s3

0.6.1

scikit-learn

1.1.1

marítimo

0.12.2

Armazenamento secreto

3.3.1

Enviar 2 lixeiras

1.8.0

ferramentas de configuração

65,6,3

seis

1,16.0

cheirar

1.2.0

peneira

2.3.2. Postagem 1

ID de importação ssh

5,11

dados de pilha

0.2.0

modelos de estatísticas

0,13.5

tenacidade

8.1.0

terminado

0,17.1

threadpool ctl

2.2.0

minúsculo css2

1.2.1

tokenizar-rt

4.2.1

tomli

2.0.1

tornado

6.1

almôndegas

5.7.1

extensões_de digitação

4.4.0

junhão

5.4.0

atualizações autônomas

0,1

urllib3

1,26,14

ambiente virtual

20,16.7

wadlib

1.3.6

largura do wc

0.2.5

codificações da web

0.5.1

cliente websocket

0,58,0

qual é o patch

1.0.2

Python wheel

0,38,4

extensão widgetsnb

3.6.1

yapf

0,31,0

zíper

1.0.0

Instalou a R biblioteca​

As bibliotecas R são instaladas a partir do pacote Posit Manager CRAN Snapshot em 2023-07-13.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

flecha

12.0.1

askpass

1.1

afirme que

0.2.1

portas traseiras

1.4.1

base

4.3.1

base64enc

0,1-3

pouco

4.0.5

bit64

4.0.5

bolha

1.2.4

inicialização

1,3-28

fermentar

1,0-8

brio

1.1.3

vassoura

1.0.5

babião

0.5.0

cachem

1,0.8

chamador

3.7.3

cursor

6,0-94

guarda de celas

1.1.0

crono

2,3-61

Aula

7,3-22

CLIPE

3.6.1

clipe

0,8.0

relógio

0.7.0

Cluster

2.1.4

ferramentas de código

0,2-19

espaço de cores

2,1-0

marca comum

1.9.0

compilador

4.3.1

configuração

0.3.1

em conflito

1.2.0

cpp11

0.4.4

giz de cera

1.5.2

Credenciais

1.3.2

cacho

5.0.1

data.tabela

1,14.8

conjunto de dados

4.3.1

DBI

1.1.3

dbplyr

2.3.3

desc

1.4.2

ferramentas de desenvolvimento

2.4.5

diagrama

1.6.5

diff

0.3.5

digerir

0,6.33

iluminado

0.4.3

dplyr

1.1.2

dtplyr

1.3.1

e1071

1,7-13

reticências

0.3.2

avalie

0,21

fansi

1.0.4

colorista

2.1.1

mapa rápido

1.1.1

fontawesome

0.5.1

para gatos

1.0.0

para cada um

1.5.2

estrangeira

0,8-82

forjar

0.2.0

fs

1.6.2

futuro

1,33,0

futuro.aplique

1.11.0

gargarejar

1.5.1

genéricas

0.1.3

obter

1.9.2

ggplot2

3.4.2

gh

1.4.0

gitcreds

0.1.2

glmnet

4,1-7

globais

0,16.2

cola

1.6.2

google drive

2.1.1

planilhas do Google 4

1.1.1

goleiro

1.0.1

gráficos

4.3.1

Dispositivos GR

4.3.1

grade

4.3.1

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.3

capacete

1.3.0

refúgio

2.5.3

mais alto

0,10

HMS

1.1.3

ferramentas html

0.5.5

widgets html

1.6.2

http.uv

1.6.11

httr

1.4.6

httr2

0.2.3

IDs

1.0.1

mini

0.3.1

ipred

0,9-14

isóbanda

0.2.7

iteradores

1,0.14

jquerylib

0.1.4

jsonlite

1.8.7

Kern Smooth

2,23-21

tricotar

1,43

rótulo

0.4.2

posteriormente

1.3.1

treliça

0,21-8

lava

1.7.2.1

ciclo de vida

1.0.3

ouvindo

0.9.0

lubrificar

1.9.2

magritter

2.0.3

Markdown

1.7

MASSA

7,3-60

Matriz

1,5-4,1

memoise

2.0.1

métodos

4.3.1

mgcv

1,8-42

mímica

0,12

Mini UI

0.1.1.1

Métricas do modelo

1.2.2.2

modelar

0.1.11

munsell

0.5.0

nome

3,1-162

net

7,3-19

Número Deriv

2016,8-1,1

openssl

2.0.6

paralelo

4.3.1

paralelamente

1,36,0

pilar

1.9.0

pkgbuild

1.4.2

pkgconfig

2.0.3

pkgdown

2.0.7

carregamento de pacotes

1.3.2.1

plogr

0.2.0

plyr

1.8.8

elogio

1.0.0

unidades bonitas

1.1.1

ProC

1,18.4

processa

3.8.2

prodlim

2023,03,31

profvis

0.3.8

progresso

1.2.2

progressista

0,13,0

promessas

1.2.0.1

proto

1.0.0

proxy

0,4-27

ps

1.7.5

ronronar

1.0.1

r2d3

0.2.6

R6

2.5.1

trapo

1.2.5

Floresta aleatória

4,7-1,1

corredeiras

0.3.3

rcmdcheck

1.4.0

Cervejaria RColor

1,1-3

Rcpp

1.0.11

RCP Pegen

0.3.3.9.3

leitor

2.1.4

readxl

1.4.3

receitas

1.0.6

revanche

1.0.1

revanche 2

2.1.2

controles remotos

2.4.2

reprex

2.0.2

remodelar 2

1.4.4

rlang

1.1.1

rmarkdown

2,23

RODBC

1,3-20

roxigênio2

7.2.3

rpartem

4.1.19

rprojroot

2.0.3

Reservar

1,8-11

RSQLite

2.3.1

API do estúdio

0,15.0

reversões

2.1.2

colete

1.0.3

atrevimento

0.4.6

escala

1.2.1

seletor

0,4-2

informações da sessão

1.2.2

forma

1.4.6

brilhante

1.7.4.1

ferramentas de origem

0,1,7-1

Sparklyr

1.8.1

SparkR

3.5.0

espacial

7,3-15

splines

4.3.1

sqldf

0,4-11

QUADRADO

2021,1

estatísticas

4.3.1

estatísticas4

4.3.1

stringi

1.7.12

longarina

1.5.0

sobrevivência

3,5-5

diz

3.4.2

fontes do sistema

1.0.4

tcltk

4.3.1

teste isso

3.1.10

modelagem de texto

0.3.6

petiscar

3.2.1

arrumado

1.3.0

seleção arrumada

1.2.0

tidyverso

2.0.0

mudança de horário

0.2.0

Hora/Data

4022,108

tinytex

0,45

Ferramentas

4.3.1

tzdb

0.4.0

verificador de URL

1.0.1

use isso

2.2.2

utf 8

1.2.3

utilidades

4.3.1

uuid

1,1-0

vctrs

0.6.3

Viridis Lite

0.4.2

vadouro

1.6.3

waldo

0.5.1

bigode

0.4.1

murchar

2.5.0

diversão

0,39

xml2

1.3.5

xopen

1.0.0

x estável

1,8-4

yaml

2.3.7

compactar

2.3.0

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)​

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,12.390

com.amazonaws

formação de nuvem aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-cloudfront

1,12.390

com.amazonaws

aws-java-sdk-cloudhsm

1,12.390

com.amazonaws

aws-java-sdk-cloudsearch

1,12.390

com.amazonaws

aws-java-sdk-cloudtrail

1,12.390

com.amazonaws

aws-java-sdk-cloudwatch

1,12.390

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,12.390

com.amazonaws

aws-java-sdk-codedeploy

1,12.390

com.amazonaws

identidade cognitiva aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-cognitosync

1,12.390

com.amazonaws

aws-java-sdk-config

1,12.390

com.amazonaws

aws-java-sdk-core

1,12.390

com.amazonaws

pipeline de dados aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-conexão direta

1,12.390

com.amazonaws

diretório aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-dynamodb

1,12.390

com.amazonaws

aws-java-sdk-ec2

1,12.390

com.amazonaws

aws-java-sdk-ecs

1,12.390

com.amazonaws

aws-java-sdk-efs

1,12.390

com.amazonaws

aws-java-sdk-elasticache

1,12.390

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,12.390

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,12.390

com.amazonaws

transcodificador elástico aws-java-sdk-

1,12.390

com.amazonaws

aws-java-sdk-emr

1,12.390

com.amazonaws

aws-java-sdk-glacier

1,12.390

com.amazonaws

aws-java-sdk-glue

1,12.390

com.amazonaws

aws-java-sdk-iam

1,12.390

com.amazonaws

aws-java-sdk-importação/exportação

1,12.390

com.amazonaws

aws-java-sdk-kinesis

1,12.390

com.amazonaws

aws-java-sdk-kms

1,12.390

com.amazonaws

aws-java-sdk-lambda

1,12.390

com.amazonaws

aws-java-sdk-logs

1,12.390

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,12.390

com.amazonaws

aws-java-sdk-opsworks

1,12.390

com.amazonaws

aws-java-sdk-rds

1,12.390

com.amazonaws

aws-java-sdk-redshift

1,12.390

com.amazonaws

aws-java-sdk-route53

1,12.390

com.amazonaws

aws-java-sdk-s3

1,12.390

com.amazonaws

aws-java-sdk-ses

1,12.390

com.amazonaws

aws-java-sdk-simpledb

1,12.390

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,12.390

com.amazonaws

aws-java-sdk-sns

1,12.390

com.amazonaws

aws-java-sdk-sqs

1,12.390

com.amazonaws

aws-java-sdk-ssm

1,12.390

com.amazonaws

gateway de armazenamento aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-sts

1,12.390

com.amazonaws

suporte aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,12.390

com.amazonaws

jmespath-java

1,12.390

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

databricks-sdk-java

0.2.0

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.15.2

com.fasterxml.jackson.core

jackson-core

2.15.2

com.fasterxml.jackson.core

vinculação de dados jackson

2.15.2

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.15.2

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.15.2

com.fasterxml.jackson.tipo de dados

jackson-datatype-jsr310

2.15.1

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.15.2

com.fasterxml.jackson.module

jackson-module-Scala.12

2.15.2

com.github.ben-manes.cafeína

cafeína

2.9.3

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java

1.1 - nativos

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1 - nativos

com.github.fommil.netlib

netlib-native_ref-linux-x86_64

1.1 - nativos

com.github.fommil.netlib

netlib-native_system-linux-x86_64

1.1 - nativos

com.github.luben

zstd-jni

1,5,5-4

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.10.1

com.google.crypto.tink

eu acho

1.9.0

com.google.propenso a erros

anotações propensas a erros

2.10.0

com.google.flatbuffers

tampões planos-java

1.12.0

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,55

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-JDBC

11.2.2. jre8

comendo

comprimir-lzf

1.1.2

com.sun.mail

javax.mail

1.5.2

com.sun.xml.bind

jaxb-core

2.2.11

com.sun.xml.bind

jaxb-impl

2.2.11

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0.10.0

com.Twitter

chill_2.12

0.10.0

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.uber

h3

3.7.0

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

4.0.3

comum-CLI

comum-CLI

1.5.0

codec comum

codec comum

1,16.0

coleções comuns

coleções comuns

3.2.2

commons-dbcp

commons-dbcp

1.4

upload de arquivo commons

upload de arquivo commons

1.5

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.13.0

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

comum-pool

comum-pool

1.5.4

dev.ludovic.netlib

mochila

3.0.3

dev.ludovic.netlib

blás

3.0.3

dev.ludovic.netlib

lapack

3.0.3

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,24

io.delta

delta-compartilhamento-spark_2.12

0.7.1

io.dropwizard.métricas

anotação de métricas

4.2.19

io.dropwizard.métricas

núcleo de métricas

4.2.19

io.dropwizard.métricas

métricas-grafite

4.2.19

io.dropwizard.métricas

métricas-healthchecks

4.2.19

io.dropwizard.métricas

métricas-jetty9

4.2.19

io.dropwizard.métricas

métricas-jmx

4.2.19

io.dropwizard.métricas

métricas-JSON

4.2.19

io.dropwizard.métricas

métricas-JVM

4.2.19

io.dropwizard.métricas

métricas-servlets

4.2.19

io.netty

tudo

4.1.93. Final

io.netty

netty-buffer

4.1.93. Final

io.netty

codec netty

4.1.93. Final

io.netty

netty-codec-http

4.1.93. Final

io.netty

netty-codec-http2

4.1.93. Final

io.netty

netty-codec-socks

4.1.93. Final

io.netty

netty-common

4.1.93. Final

io.netty

manipulador de limpeza

4.1.93. Final

io.netty

proxy netty-handler

4.1.93. Final

io.netty

resolvedor de rede

4.1.93. Final

io.netty

transporte de urtigas

4.1.93. Final

io.netty

netty-transport-classes-epoll

4.1.93. Final

io.netty

netty-transport-classes-kqueue

4.1.93. Final

io.netty

netty-transport-native-epoll

4.1.93. Final

io.netty

netty-transport-native-epoll

4.1.93. Final-linux-aarch_64

io.netty

netty-transport-native-epoll

4.1.93. Final-linux-x86_64

io.netty

netty-transport-native-kqueue

4.1.93. Final-OSX-AARCH_64

io.netty

netty-transport-native-kqueue

4.1.93. Final-OSX-x86_64

io.netty

netty-transport-native-unix-common

4.1.93. Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.11

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.12.1

net.java.dev.jna

jna

5.8.0

net.razorvine

salmoura

1.3

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3,13,29

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.9.3

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.16

org.apache.ant

formiga

1.9.16

org.apache.ant

lançador de formigas

1.9.16

org.apache.arrow

formato de seta

12.0.1

org.apache.arrow

núcleo de memória de seta

12.0.1

org.apache.arrow

rede de memória de seta

12.0.1

org.apache.arrow

vetor de seta

12.0.1

org.apache.avro

AVRO

1.11.2

org.apache.avro

avro-ipc

1.11.2

org.apache.avro

mapeado automaticamente

1.11.2

org.apache.commons

commons-collections4

4.4

org.apache.commons

compressa comum

1,23,0

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

texto comum

1.10.0

org.apache.curator

curador-cliente

2.13.0

org.apache.curator

estrutura de curador

2.13.0

org.apache.curator

receitas de curadores

2.13.0

org.apache.datasketches

esboços de dados-java

3.1.0

org.apache.datasketches

memória de esboços de dados

2.0.0

org.apache.derby

derby

10.14.2.0

org.apache.hadoop

tempo de execução do cliente hadoop

3.3.6

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

colmeia-CLI

2.3.9

org.apache.hive

hive-JDBC

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-lap-common

2.3.9

org.apache.hive

colmeia

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

API de armazenamento em nuvem

2.8.1

org.apache.hive.shims

calços de colmeia - 0,23

2.3.9

org.apache.hive.shims

calços de colmeia comuns

2.3.9

org.apache.hive.shims

hive-shims-programador

2.3.9

org.apache.httpcomponents

cliente http

4.5.14

org.apache.httpcomponents

httpcore

4.4.16

org.apache.ivy

hera

2.5.1

org.apache.logging.log4j

log4j-1.2-api

2.20.0

org.apache.logging.log4j

log4j-api

2.20.0

org.apache.logging.log4j

log4j-core

2.20.0

org.apache.logging.log4j

log4j-slf4j2-impl

2.20.0

org.apache.mesos

mesos

Protobuf 1.11.0 sombreado

org.apache.orc

núcleo orc

Protobuf 1.9.0 sombreado

org.apache.orc

orc-mapreduce

Protobuf 1.9.0 sombreado

org.apache.orc

calços de orc

1.9.0

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4,23

org.apache.yetus

audiência-anotação

0,13,0

org.apache.zookeeper

tratador

3.6.3

org.apache.zookeeper

tratador de zoológico - juta

3.6.3

org.checkerframework

xadrez igual

3,31,0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.jetty

jetty-client

9.4.51.v20230217

org.Eclipse.jetty

continuação do cais

9.4.51.v20230217

org.Eclipse.jetty

jetty-http

9.4.51.v20230217

org.Eclipse.jetty

jetty-io

9.4.51.v20230217

org.Eclipse.jetty

jetty-jndi

9.4.51.v20230217

org.Eclipse.jetty

jetty-plus

9.4.51.v20230217

org.Eclipse.jetty

jetty-proxy

9.4.51.v20230217

org.Eclipse.jetty

segurança do cais

9.4.51.v20230217

org.Eclipse.jetty

servidor jetty-server

9.4.51.v20230217

org.Eclipse.jetty

jutty-servlet

9.4.51.v20230217

org.Eclipse.jetty

píer de servlets

9.4.51.v20230217

org.Eclipse.jetty

jetty-util

9.4.51.v20230217

org.Eclipse.jetty

jetty-util-ajax

9.4.51.v20230217

org.Eclipse.jetty

aplicativo web jetty-

9.4.51.v20230217

org.Eclipse.jetty

jetty-xml

9.4.51.v20230217

org.Eclipse.jetty.websocket

API de websoquete

9.4.51.v20230217

org.Eclipse.jetty.websocket

cliente websocket

9.4.51.v20230217

org.Eclipse.jetty.websocket

websocket-comum

9.4.51.v20230217

org.Eclipse.jetty.websocket

servidor websocket

9.4.51.v20230217

org.Eclipse.jetty.websocket

servlet websocket

9.4.51.v20230217

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,40

org.glassfish.jersey.containers

jersey-container-servlet-core

2,40

org.glassfish.jersey.core

cliente de camisa

2,40

org.glassfish.jersey.core

camiseta comum

2,40

org.glassfish.jersey.core

servidor de camisa

2,40

org.glassfish.jersey.inject

camiseta-hk2

2,40

org.hibernate.validator

validador de hibernação

6.1.7. Final

org.ini4j

ini4j

0.5.4

org.javassist

javassist

3,29,2 HA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.jetbrains

anotação

17.0.0

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0-M11

org.json4s

json4s-core_2.12

3,7,0-M11

org.json4s

json4s-jackson_2.12

3,7,0-M11

org.json4s

json4s-scalap_2.12

3,7,0-M11

org.lz4

lz4-java

1.8.0

org.mariadb.JDBC

cliente mariadb-java

2.7.9

org.mlflow

faísca de fluxo

2.2.0

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,6,0

org.roaringbitmap

Mapa de bits estrondoso

0,9,45

org.roaringbitmap

calços

0,9,45

org.rocksdb

rocksdbjni

8.3.2

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.15

org.Scala-lang

Scala-biblioteca.12

2.12.15

org.Scala-lang

Scala-reflect_2.12

2.12.15

org.Scala-lang.modules

Scala-collection-compat_2.12

2.9.0

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.2.15

org.scalanlp

breeze-macros_2.12

2.1.0

org.scalanlp

breeze_2.12

2.1.0

org.scalatest

compatível com scalatest

3.2.15

org.scalatest

scalatest-core_2.12

3.2.15

org.scalatest

diagramas de teste de escala_2.12

3.2.15

org.scalatest

scalatest-featurespec_2.12

3.2.15

org.scalatest

scalatest-flatspec_2.12

3.2.15

org.scalatest

scalatestfreespec_2.12

3.2.15

org.scalatest

scalatest-funspec_2.12

3.2.15

org.scalatest

scalatest-funsuite_2.12

3.2.15

org.scalatest

scalatest-matchers-core_2.12

3.2.15

org.scalatest

scalatest-mustmatchers_2.12

3.2.15

org.scalatest

scalatest-propspec_2.12

3.2.15

org.scalatest

scalatest-refspec_2.12

3.2.15

org.scalatest

scalatest - deve corresponders_2.12

3.2.15

org.scalatest

scalatest-wordspec_2.12

3.2.15

org.scalatest

scalatest_2.12

3.2.15

org.slf4j

jcl-over-slf4j

2.0.7

org.slf4j

jul-a-slf4j

2.0.7

org.slf4j

slf4j-api

2.0.7

org.threeten

treze e mais

1.7.1

org.tukaani

xz

1,9

org.typelevel

álgebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

spire-macros_2.12

0,17.0

org.typelevel

spire-platform_2.12

0,17.0

org.typelevel

spire-util_2.12

0,17.0

org.typelevel

spire_2.12

0,17.0

org.wildfly.openssl

wildfly-openssl

1.1.3. Final

org.xerial

sqlite-JDBC

3,42.0.0

org.xerial.snappy

snappy-java

1.1.10.3

org.yaml

snakeyaml

2,0

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.cryptools

Amazon Correcto Crypto Provider

1.6.1-linux-x86_64

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1

Última atualização em