Databricks Runtime 14,0 (EoS)
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 14.0, alimentado por Apache Spark 3.5.0.
A Databricks lançou essa versão em setembro de 2023.
Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.
Novos recursos e melhorias
- O acompanhamento de linha é GA
- A E/S preditiva para atualizações é GA
- Os vetores de exclusão são GA
- O Spark 3.5.0 é GA
- Visualização pública de funções de tabela definidas pelo usuário para Python
- Pré-visualização pública da simultaneidade em nível de linha
- o diretório de trabalho atual padrão foi alterado
- Problema conhecido com Sparklyr
- Apresentando o Spark Connect na arquitetura de clustering compartilhado
- Lista de versões disponíveis do Spark Atualização da API
O acompanhamento de linha é GA
O acompanhamento de linha para Delta Lake já está disponível para todos os senhores. Consulte Usar acompanhamento de linha para Delta tables.
A E/S preditiva para atualizações é GA
A E/S preditiva para atualizações agora está disponível ao público em geral. Consulte O que é E/S preditiva? .
Os vetores de exclusão são GA
Os vetores de exclusão agora estão geralmente disponíveis. Consulte O que são vetores de exclusão? .
O Spark 3.5.0 é GA
O Apache Spark 3.5.0 já está disponível para todos os usuários. Consulte a versão 3.5.0 do Spark.
Visualização pública de funções de tabela definidas pelo usuário para Python
As funções de tabela definidas pelo usuário (UDTFs) permitem que o senhor registre funções que retornam tabelas em vez de valores escalares. Consulte Funções de tabela definidas pelo usuário (UDTFs) do Python.
Pré-visualização pública da simultaneidade em nível de linha
A simultaneidade no nível da linha reduz os conflitos entre as operações de gravação da concorrente, detectando alterações no nível da linha e resolvendo automaticamente as alterações concorrentes nas gravações da concorrente que atualizam ou excluem linhas diferentes no mesmo arquivo de dados. Consulte Conflitos de gravação com simultaneidade em nível de linha.
o diretório de trabalho atual padrão foi alterado
O default diretório de trabalho atual (CWD) para o código executado localmente agora é o diretório que contém o Notebook ou o script que está sendo executado. Isso inclui códigos como %sh
e Python ou R que não usam o Spark. Consulte Qual é o diretório de trabalho atual do default.
Problema conhecido com Sparklyr
A versão instalada do pacote sparklyr
(versão 1.8.1) não é compatível com o Databricks Runtime 14.0. Para usar o site sparklyr
, instale a versão 1.8.3 ou acima.
Apresentando o Spark Connect na arquitetura de clustering compartilhado
Com o Databricks Runtime 14.0 e o acima, o clustering compartilhado agora usa o Spark Conecte-se com o driver Spark do Python REPL pelo default. As APIs internas do Spark não são mais acessíveis a partir do código do usuário.
O Spark Connect agora interage com o Spark Driver a partir do REPL, em vez da integração com o REPL legado.
Lista de versões disponíveis do Spark Atualização da API
Ative o Photon definindo runtime_engine = PHOTON
e ative aarch64
escolhendo um tipo de instância de graviton. O Databricks define a versão correta do Databricks Runtime. Anteriormente, a API de versão do Spark retornava tempos de execução específicos da implementação para cada versão. Consulte GET /api/2.0/clustering/spark-versions no site REST API Reference.
Alterações importantes
No Databricks Runtime 14.0 e no acima, o clustering com o modo de acesso padrão (antigo modo de acesso compartilhado) usa o Spark Connect para comunicação cliente-servidor. Isso inclui as seguintes alterações.
Para obter mais informações sobre as limitações do modo de acesso padrão, consulte Limitações do modo de acesso de computação para Unity Catalog.
Python em clustering com modo de acesso padrão (anteriormente modo de acesso compartilhado)
-
sqlContext
não está disponível. A Databricks recomenda o uso da variávelspark
para a instânciaSparkSession
. -
Spark O contexto (
sc
) não está mais disponível no Notebook ou ao usar Databricks Connect em um clustering com modo de acesso padrão. As seguintes funçõessc
não estão mais disponíveis:emptyRDD
,range
,init_batched_serializer
,parallelize
,pickleFile
,textFile
,wholeTextFiles
,binaryFiles
,binaryRecords
,sequenceFile
,newAPIHadoopFile
,newAPIHadoopRDD
,hadoopFile
,hadoopRDD
,union
,runJob
,setSystemProperty
,uiWebUrl
,stop
,setJobGroup
,setLocalProperty
,getConf
-
O conjunto de dados Info recurso não é mais suportado.
-
Não há mais dependência do JVM ao consultar o Apache Spark e, como consequência, as APIs internas relacionadas ao JVM, como
_jsc
,_jconf
,_jvm
,_jsparkSession
,_jreader
,_jc
,_jseq
,_jdf
,_jmap
e_jcols
não são mais suportadas. -
Ao acessar valores de configuração usando
spark.conf
, somente valores dinâmicos de configuração de tempo de execução são acessíveis. -
O comando de análise DLT ainda não é compatível com o clustering compartilhado.
Delta em clustering com modo de acesso padrão (anteriormente modo de acesso compartilhado)
- No Python, não há mais dependência do JVM ao consultar o Apache Spark. As APIs internas relacionadas à JVM, como
DeltaTable._jdt
,DeltaTableBuilder._jbuilder
,DeltaMergeBuilder._jbuilder
eDeltaOptimizeBuilder._jbuilder
não são mais compatíveis.
SQL em clustering com modo de acesso padrão (anteriormente modo de acesso compartilhado)
DBCACHE
eDBUNCACHE
comando não são mais suportados.- Casos de uso raros, como
cache table db as show databases
, não são mais suportados.
Atualizações da biblioteca
-
Atualizado Python biblioteca:
- asttokens de 2.2.1 a 2.0.5
- atributos de 21.4.0 a 22.1.0
- botocore de 1.27.28 a 1.27.96
- certificado de 2022.9.14 a 2022.12.7
- criptografia de 37.0.1 a 39.0.1
- debugpy de 1.6.0 a 1.6.7
- docstring-to-markdown de 0.12 para 0.11
- executando de 1.2.0 a 0.8.3
- visão geral de facetas de 1.0.3 a 1.1.1
- googleapis-common-protos de 1.56.4 a 1.60.0
- grpcio de 1.48.1 a 1.48.2
- idna de 3,3 a 3,4
- ipykernel de 6.17.1 a 6.25.0
- ipython de 8.10.0 a 8.14.0
- Jinja2 de 2.11.3 a 3.1.2
- jsonschema de 4.16.0 a 4.17.3
- jupyter_core de 4.11.2 a 5.2.0
- kiwisolver de 1.4.2 a 1.4.4
- MarkupSafe de 2.0.1 a 2.1.1
- matplotlib de 3.5.2 a 3.7.0
- nbconvert de 6.4.4 para 6.5.4
- nbformat de 5.5.0 a 5.7.0
- nest-asyncio de 1.5.5 a 1.5.6
- Notebook da versão 6.4.12 para a 6.5.2
- numpy de 1,21,5 a 1,23,5
- embalagem de 21,3 a 22,0
- Pandas de 1.4.4 para 1.5.3
- pathspec de 0.9.0 a 0.10.3
- bode expiatório de 0.5.2 a 0.5.3
- Almofada de 9.2.0 a 9.4.0
- pip de 22.2.2 a 22.3.1
- protobuf de 3.19.4 a 4.24.0
- pytoolconfig de 1.2.2 a 1.2.5
- pytz de 2022.1 a 2022.7
- s3transfer de 0.6.0 para 0.6.1
- seaborn de 0.11.2 a 0.12.2
- ferramentas de configuração de 63.4.1 a 65.6.3
- soupsieve de 2.3.1 a 2.3.2.post1
- dados de pilha de 0.6.2 a 0.2.0
- modelos estatísticos de 0.13.2 a 0.13.5
- terminado de 0.13.1 a 0.17.1
- tortas de 5.1.1 a 5.7.1
- typing_extensions de 4.3.0 a 4.4.0
- urllib3 de 1.26.11 a 1.26.14
- virtualenv de 20.16.3 a 20.16.7
- roda de 0,37,1 a 0,38,4
-
Biblioteca R atualizada:
- seta de 10.0.1 a 12.0.1
- base de 4.2.2 a 4.3.1
- blob de 1.2.3 a 1.2.4
- vassoura de 1.0.3 a 1.0.5
- bslib de 0.4.2 a 0.5.0
- cachem de 1.0.6 a 1.0.8
- cursor de 6,0-93 a 6,0-94
- crono de 2,3-59 a 2,3-61
- classe de 7,3-21 a 7,3-22
- CLI da versão 3.6.0 para a 3.6.1
- relógio de 0.6.1 a 0.7.0
- marca comum de 1.8.1 a 1.9.0
- compilador de 4.2.2 a 4.3.1
- cpp11 de 0.4.3 a 0.4.4
- curl de 5.0.0 a 5.0.1
- data.table de 1.14.6 a 1.14.8
- conjunto de dados de 4.2.2 para 4.3.1
- dbplyr de 2.3.0 a 2.3.3
- resumo de 0.6.31 a 0.6.33
- downlit de 0.4.2 para 0.4.3
- dplyr a partir de 1.1.0 para 1.1.2
- dtplyr de 1.2.2 a 1.3.1
- avaliar de 0,20 a 0,21
- fastmap a partir de 1.1.0 para 1.1.1
- fontawesome de 0.5.0 a 0.5.1
- fs de 1.6.1 a 1.6.2
- futuro de 1.31.0 a 1.33.0
- future.apply de 1.10.0 a 1.11.0
- gargareje de 1.3.0 a 1.5.1
- ggplot2 de 3.4.0 a 3.4.2
- gh de 1.3.1 a 1.4.0
- glmnet de 4.1-6 a 4.1-7
- googledrive de 2.0.0 a 2.1.1
- googlesheets4 de 1.0.1 a 1.1.1
- gráficos de 4.2.2 a 4.3.1
- GRDevices de 4.2.2 a 4.3.1
- grade de 4.2.2 a 4.3.1
- tabela de 0.3.1 a 0.3.3
- hardhat de 1.2.0 a 1.3.0
- refúgio de 2.5.1 a 2.5.3
- HMS a partir da versão 1.1.2 para 1.1.3
- htmltools de 0.5.4 a 0.5.5
- htmlwidgets de 1.6.1 a 1.6.2
- httpuv de 1.6.8 a 1.6.11
- httr de 1.4.4 a 1.4.6
- ipred de 0,9-13 a 0,9-14
- jsonlite de 1.8.4 a 1.8.7
- KernSmooth de 2,23-20 a 2,23-21
- knitr de 1,42 a 1,43
- mais tarde de 1.3.0 para 1.3.1
- rede de 0,20-45 a 0,21-8
- lava de 1.7.1 a 1.7.2.1
- lubrificar de 1.9.1 a 1.9.2
- redução de 1,5 a 1,7
- MASS de 7,3-58,2 a 7,3-60
- Matriz de 1,5-1 a 1,5-4,1
- métodos de 4.2.2 a 4.3.1
- mgcv de 1,8-41 a 1,8-42
- modelr a partir de 0.1.10 para 0.1.11
- nnet de 7,3-18 a 7,3-19
- openssl de 2.0.5 a 2.0.6
- paralelo de 4.2.2 a 4.3.1
- paralelamente de 1.34.0 a 1.36.0
- pilar de 1.8.1 a 1.9.0
- pkgbuild de 1.4.0 a 1.4.2
- pkgload de 1.3.2 a 1.3.2.1
- ProC de 1.18.0 a 1.18.4
- processos de 3.8.0 a 3.8.2
- prodlim de 13/11/2019 a 31/03/2021
- profvis de 0.3.7 a 0.3.8
- ps de 1.7.2 a 1.7.5
- Rcpp de 1.0.10 a 1.0.11
- leitor a partir de 2.1.3 para 2.1.4
- readxl de 1.4.2 a 1.4.3
- receitas de 1.0.4 a 1.0.6
- rlang de 1.0.6 a 1.1.1
- rmarkdown de 2.20 para 2.23
- Reserve de 1,8-12 a 1,8-11
- RSQLite de 2.2.20 a 2.3.1
- rstudioapi de 0,14 a 0,15
- sass de 0.4.5 a 0.4.6
- brilhante de 1.7.4 a 1.7.4.1
- Sparklyr da versão 1.7.9 para a 1.8.1
- SparkR da versão 3.4.1 para a 3.5.0
- splines de 4.2.2 a 4.3.1
- estatísticas de 4.2.2 a 4.3.1
- stats4 de 4.2.2 a 4.3.1
- sobrevivência de 3,5-3 a 3,5-5
- sys de 3.4.1 a 3.4.2
- tcltk de 4.2.2 a 4.3.1
- testthat a partir de 3.1.6 até 3.1.10
- tibble a partir de 3.1.8 para 3.2.1
- tidyverse de 1.3.2 a 2.0.0
- tinytex de 0,44 a 0,45
- ferramentas de 4.2.2 a 4.3.1
- tzdb de 0.3.0 a 0.4.0
- use isso a partir de 2.1.6 para 2.2.2
- utilitários de 4.2.2 a 4.3.1
- vctrs de 0.5.2 a 0.6.3
- ViridisLite de 0.4.1 a 0.4.2
- vroom de 1.6.1 a 1.6.3
- waldo de 0.4.0 a 0.5.1
- xfun de 0,37 a 0,39
- xml2 de 1.3.3 a 1.3.5
- zip de 2.2.2 a 2.3.0
-
Atualizado Java biblioteca:
- com.fasterxml.jackson.core.jackson-anotação de 2.14.2 a 2.15.2
- com.fasterxml.jackson.core.jackson-core de 2.14.2 a 2.15.2
- com.fasterxml.jackson.core.jackson-databind de 2.14.2 a 2.15.2
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 a 2.15.2
- com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 a 2.15.2
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 a 2.15.1
- com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 a 2.15.2
- com.fasterxml.jackson.module.jackson-module-Scala.12 de 2.14.2 para 2.15.2
- com.github.luben.zstd-jni de 1,5,2-5 a 1,5,5-4
- com.google.code.gson.gson de 2.8.9 a 2.10.1
- com.google.crypto.tink.tink de 1.7.0 a 1.9.0
- commons-codec.commons-codec de 1.15 a 1.16.0
- commons-io.commons-io de 2.11.0 a 2.13.0
- io.airlift.compressor de ar de 0,21 a 0,24
- io.dropwizard.métricas.métricas-core de 4.2.10 a 4.2.19
- io.dropwizard.métricas.métricas-graphite de 4.2.10 a 4.2.19
- io.dropwizard.métricas.métricas-healthchecks de 4.2.10 a 4.2.19
- io.dropwizard.métricas.métricas-jetty9 de 4.2.10 a 4.2.19
- io.dropwizard.métricas.métricas-jmx de 4.2.10 a 4.2.19
- io.dropwizard.métricas.métricas-JSON de 4.2.10 a 4.2.19
- io.dropwizard.métricas.métricas-JVM de 4.2.10 a 4.2.19
- io.dropwizard.métricas.métricas-servlets de 4.2.10 a 4.2.19
- io.netty.netty-all de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-buffer de 4.1.87.Final a 4.1.93.Final
- codec io.netty.netty de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-codec-http de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-codec-http2 de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-codec-socks de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-common de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-handler de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-handler-proxy de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-resolver de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-transport de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-transport-classes-epoll de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-transport-classes-kqueue de 4.1.87.Final a 4.1.93.Final
- io.netty.netty-transport-native-epoll de 4.1.87.final-linux-x86_64 a 4.1.93.final-linux-x86_64
- io.netty.netty-transport-native-kqueue de 4.1.87.final-OSX-x86_64 a 4.1.93.final-OSX-x86_64
- io.netty.netty-transport-native-unix-common de 4.1.87.Final a 4.1.93.Final
- org.apache.arrow.arrow-format de 11.0.0 a 12.0.1
- org.apache.arrow.arrow-memory-core de 11.0.0 a 12.0.1
- org.apache.arrow.arrow-memory-netty de 11.0.0 a 12.0.1
- org.apache.arrow.arrow-vector de 11.0.0 a 12.0.1
- org.apache.avro.avro de 1.11.1 a 1.11.2
- org.apache.avro.avro-ipc de 1.11.1 a 1.11.2
- org.apache.avro.avro-mapred de 1.11.1 a 1.11.2
- org.apache.commons.commons-compress de 1,21 a 1,23,0
- org.apache.hadoop.hadoop-client-runtime de 3.3.4 a 3.3.6
- org.apache.logging.log4j.log4j-1.2-api de 2.19.0 a 2.20.0
- org.apache.logging.log4j.log4j-api de 2.19.0 a 2.20.0
- org.apache.logging.log4j.log4j-core de 2.19.0 a 2.20.0
- org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 a 2.20.0
- org.apache.orc.orc-core de 1.8.4-shaded-protobuf para 1.9.0-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf para 1.9.0-shaded-protobuf
- org.apache.orc.orc-shims de 1.8.4 a 1.9.0
- org.apache.xbean.xbean-asm9-shaded de 4,22 a 4,23
- org.checkerframework.checker-qual de 3.19.0 a 3.31.0
- org.glassfish.jersey.containers.jersey-container-servlet de 2,36 a 2,40
- org.glassfish.jersey.containers.jersey-container-servlet-core de 2,36 a 2,40
- org.glassfish.jersey.core.jersey-client de 2,36 a 2,40
- org.glassfish.jersey.core.jersey-common de 2,36 a 2,40
- org.glassfish.jersey.core.jersey-server de 2,36 a 2,40
- org.glassfish.jersey.inject.jersey-hk2 de 2,36 a 2,40
- org.javassist.javassist de 3.25.0-GA para 3.29.2-GA
- org.mariadb.JDBC.mariadb-java-client de 2.7.4 a 2.7.9
- org.postgresql.postgresql de 42.3.8 a 42.6.0
- org.roaringbitmap.RoaringBitmap de 0.9.39 a 0.9.45
- org.roaringbitmap.shims de 0.9.39 a 0.9.45
- org.rocksdb.rocksdbjni de 7.8.3 a 8.3.2
- org.Scala-lang.modules.Scala-collection-compat_2.12 de 2.4.3 para 2.9.0
- org.slf4j.jcl-sobre-slf4j de 2.0.6 a 2.0.7
- org.slf4j.jul-para-slf4j de 2.0.6 a 2.0.7
- org.slf4j.slf4j-api de 2.0.6 a 2.0.7
- org.xerial.snappy.snappy-java de 1.1.10.1 a 1.1.10.3
- org.yaml.snakeyaml de 1.33 a 2.0
Apache Spark
Databricks Runtime 14.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.3 LTS, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Corrigir as funções aes_decrypt e ln no Connect
- [SPARK-44980] [DBRRM-462][sc-141024][Python][connect] Corrigir namedtuples herdados para que funcionem em createDataFrame
- [SPARK-44795] [DBRRM-462] [sc-139720] [CONNECT] O cache do CodeGenerator deve ser específico do carregador de classes
- [SPARK-44861] [DBRRM-498] [sc-140716] [CONECTAR] json ignora SparkListenerConnectOperationStarted.PlanRequest
- [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Fazer com que as consultas de transmissão funcionem com o gerenciamento de artefatos do Connect
- [SPARK-44791] [DBRRM-462] [sc-139623] [CONNECT] Faça o ArrowDeserializer funcionar com classes geradas por REPL
- [SPARK-44876] [DBRRM-480][sc-140431][Python] Corrigir a otimização da seta Python UDF em Spark Conectar
- [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][Python] Suporte às funções protobuf do Python para o Spark Connect
- [SPARK-44882] [DBRRM-463][sc-140430][Python][connect] Remove function uuid/random/chr from PySpark
- [SPARK-44740] [DBRRM-462] [sc-140320] [CONNECT] [follow] Corrigir valores de metadados para artefatos
- [SPARK-44822] [DBRRM-464][Python][SQL] Tornar Python UDTFs por default não determinístico
- [SPARK-44836] [DBRRM-468][sc-140228][Python] Refatorar a seta Python UDTF
- [SPARK-44738] [DBRRM-462][sc-139347][Python][connect] Adicionar metadados de cliente ausentes às chamadas
- [SPARK-44722] [DBRRM-462] [sc-139306] [CONECTAR] Execute o iterador reconectável PlanResponse. _call_iter: AttributeError: o objeto 'NoneType' não tem atributo 'mensagem'
- [SPARK-44625] [DBRRM-396] [sc-139535] [CONNECT] SparkConnectExecutionManager para rastrear todas as execuções
- [SPARK-44663] [SC-139020][dbrrm-420][Python] Desativar a otimização de seta por default para Python UDTFs
- [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] ExecuteGrpcResponseSender em execução anexável em nova thread para corrigir o controle de fluxo
- [SPARK-44656] [DBRRM-396] [sc-138924] [CONNECT] Faça com que todos os iteradores sejam fechadosIterators
- [SPARK-44671] [DBRRM-396][sc-138929][Python][connect] Retry ExecutePlan in case initial request didn't reach server in Python client
- [SPARK-44624] [DBRRM-396] [sc-138919] [CONNECT] Tente novamente o ExecutePlan caso a solicitação inicial não tenha chegado ao servidor
- [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Os erros que foram movidos para sq/api também devem usar AnalysisException
- [SPARK-44613] [DBRRM-396] [sc-138473] [CONNECT] Adicionar objeto Encoders
- [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Acompanhamento do término da consulta de transmissão quando a sessão do cliente é encerrada por tempo limitado para Spark Connect
- [SPARK-44642] [DBRRM-396] [sc-138882] [CONNECT] ReleaseExecute em ExecutePlanResponseReattachableIterator após receber um erro do servidor
- [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Remover dependência do Connect Client Catalyst
- [SPARK-44664] [DBRRM-396][Python][CONNECT] Liberar a execução ao fechar o iterador no cliente Python
- [SPARK-44631] [DBRRM-396] [sc-138823] [CONECTAR] [núcleo] [14.0.0] Remova o diretório baseado em sessão quando o cache de sessão isolado for removido
- [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
- [SPARK-44636] [DBRRM-396] [sc-138570] [CONNECT] Não deixe iteradores pendentes
- [SPARK-44424] [DBRRM-396][connect][Python][14.0.0] Cliente Python para reanexar a execução existente no Spark Connect
- [SPARK-44637] [SC-138571] Sincronizar acessos ao ExecuteResponseObserver
- [SPARK-44538] [SC-138178][connect][SQL] Reinstate Row.jsonValue and friends
- [SPARK-44421] [SC-138434][spark-44423][CONNECT] Execução reutilizável no Spark Connect
- [SPARK-44418] [SC-136807][Python][CONNECT] Upgrade protobuf from 3.19.5 to 3.20.3
- [SPARK-44587] [SC-138315] [sql] [CONNECT] Aumente o limite de recursão do protobuf marshaller
- [SPARK-44591] [SC-138292][connect][SQL] Adicionar jobTags ao SparkListenerSQLExecutionStart
- [SPARK-44610] [SC-138368] [sql] DeduplicateRelations deve reter os metadados do Alias ao criar uma nova instância
- [SPARK-44542] [SC-138323] [core] Carregue ansiosamente a classe SparkExitCode no manipulador de exceções
- [SPARK-44264] [SC-138143][Python]Teste E2E para Deepspeed
- [SPARK-43997] [SC-138347][connect] Adicionar suporte para UDFs Java
- [SPARK-44507] [SQL][connect][14.x][14.0] Mova a Analysis Exception para sql/api
- [SPARK-44453] [SC-137013][Python] Use difflib para exibir erros em assertDataFrameEqual
- [SPARK-44394] [SC-138291] [conectar] [WEBUI] [14.0] Adicionar uma página Spark UI para o Spark Connect
- [SPARK-44611] [SC-138415][connect] Não exclua Scala-xml
- [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Mova a inferência do codificador para sql/api
- [SPARK-43744] [SC-138289] [conectar] [14,x] [14,0] Corrija o problema de carregamento de classes causado por...
- [SPARK-44590] [SC-138296][sql][CONNECT] Remover o limite de registros de lotes de setas para SqlCommandResult
- [SPARK-43968] [SC-138115][Python] Melhorar as mensagens de erro para Python UDTFs com número errado de saídas
- [SPARK-44432] [SC-138293][ss][CONNECT] Encerrar as consultas de transmissão quando o tempo de uma sessão se esgota em Spark Connect
- [SPARK-44584] [SC-138295][connect] Definir informações client_type para AddArtifactsRequest e ArtifactStatusesRequest em Scala Client
- [SPARK-44552] [14.0][sc-138176][SQL] Remova a definição
private object ParseState
deIntervalUtils
- [SPARK-43660] [SC-136183][connect][PS] Habilite
resample
com o Spark Connect - [SPARK-44287] [SC-136223][sql] Use PartitionEvaluator API em operadores SQL RowToColumnarExec & ColumnarToRowExec.
- [SPARK-39634] [SC-137566] [sql] Permitir a divisão de arquivos em combinação com a geração de índice de linha
- [SPARK-44533] [SC-138058][Python] Adicionar suporte para arquivos acumuladores, de transmissão e Spark na análise do Python UDTF
- [SPARK-44479] [SC-138146][Python] Corrigir o ArrowStreamPandasUDFSerializer para aceitar Pandas sem coluna DataFrame
- [SPARK-44425] [SC-138177] [conectar] Valide se o SessionID fornecido pelo usuário é um UUID
- [SPARK-44535] [SC-138038][connect][SQL] Mover a transmissão necessária API para sql/api
- [SPARK-44264] [SC-136523][ml][Python] Escreva uma classe de aprendizado distribuído DeepspeedTorchDistributor
- [SPARK-42098] [SC-138164] [sql] Corrigir que resolveInlineTables não pode lidar com a expressão runtimeReplaceable
- [SPARK-44060] [SC-135693][sql] Geração de código para hash embaralhado externo do lado da construção join
- [SPARK-44496] [SC-137682] [sql] [CONNECT] Mova as interfaces necessárias pelo SCSC para sql/api
- [SPARK-44532] [SC-137893][connect][SQL] Move ArrowUtils to sql/api
- [SPARK-44413] [SC-137019][Python] Esclarecer o erro do tipo de dados arg não suportado em assertDataFrameEqual
- [SPARK-44530] [SC-138036] [core] [CONNECT] Mova o SparkBuildInfo para common/util
- [SPARK-36612] [SC-133071][sql] Suporte à construção externa esquerda join à esquerda ou externa direita join à direita em hash embaralhado join
- [SPARK-44519] [SC-137728] [connect] SparkConnectServerUtils gerou parâmetros incorretos para jarros
- [SPARK-44449] [SC-137818] [conectar] Transmissão ascendente para desserialização direta de setas
- [SPARK-44131] [SC-136346][sql] Adicionar call_function e depreciar call_udf para a API Scala
- [SPARK-44541] [SQL] Remova a função inútil
hasRangeExprAgainstEventTimeCol
doUnsupportedOperationChecker
- [SPARK-44523] [SC-137859] [sql] A partição maxRows/maxRowsPerPartition do filtro é 0 se a condição for FalseLiteral
- [SPARK-44540] [SC-137873] [ui] Remova a folha de estilo e os arquivos javascript não utilizados do JSONFormatter
- [SPARK-44466] [SC-137856] [sql] Excluir configurações começando com
SPARK_DRIVER_PREFIX
eSPARK_EXECUTOR_PREFIX
de ModifiedConfigs - [SPARK-44477] [SC-137508] [sql] Trate TYPE_CHECK_FAILURE_WITH_HINT como uma subclasse de erro
- [SPARK-44509] [SC-137855][Python][CONNECT] Adicionar cancelamento de trabalho API definido no cliente Spark Connect Python
- [SPARK-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções integradas
- [SPARK-38476] [SC-136448] [core] Use a classe de erro em org.apache.spark.storage
- [SPARK-44486] [SC-137817][Python][CONNECT] Implementar PyArrow
self_destruct
recurso paratoPandas
- [SPARK-44361] [SC-137200][sql] Usar a API PartitionEvaluator no MapInBatchExec
- [SPARK-44510] [SC-137652] [ui] Atualize DataTables para 1.13.5 e remova alguns arquivos png não alcançados
- [SPARK-44503] [SC-137808][sql] Adicionar gramática SQL para as cláusulas PARTITION BY e ORDER BY após os argumentos TABLE para chamadas TVF
- [SPARK-38477] [SC-136319] [core] Use a classe de erro em org.apache.spark.shuffle
- [SPARK-44299] [SC-136088] [sql] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_227 [4-6,8]
- [SPARK-44422] [SC-137567][connect] Interrupção de granulação fina do Spark Connect
- [SPARK-44380] [SC-137415][sql][Python] Suporte para Python UDTF para analisar em Python
- [SPARK-43923] [SC-137020] [conectar] Publique eventos do ListenerBus durante...
- [SPARK-44303] [SC-136108] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [2320-2324]
- [SPARK-44294] [SC-135885] [ui] A coluna Fix HeapHistogram é exibida inesperadamente com seleção de todas as caixas
- [SPARK-44409] [SC-136975][sql] Manipular char/varchar em dataset.to para manter a consistência com outros
- [SPARK-44334] [SC-136576][sql][UI] O status na resposta REST API para uma DDL/DML com falha sem trabalho deve ser FAILED em vez de COMPLETED.
- [SPARK-42309] [SC-136703] [sql] Apresente
INCOMPATIBLE_DATA_TO_TABLE
e subclasses. - [SPARK-44367] [SC-137418] [sql] [UI] Mostrar mensagem de erro na interface do usuário para cada consulta com falha
- [SPARK-44474] [SC-137195] [conectar] Reative o “Teste e observe a resposta” no SparkConnectServiceSuite
- [SPARK-44320] [SC-136446] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [1067,1150,1220,1265,1277]
- [SPARK-44310] [SC-136055][connect] O Connect Server startup log deve exibir o nome do host e a porta
- [SPARK-44309] [SC-136193][ui] Exibir o tempo de adição/remoção do executor na guia executor
- [SPARK-42898] [SC-137556][sql] Marcar que strings/date casts não precisam de id de fuso horário
- [SPARK-44475] [SC-137422] [sql] [CONNECT] Realoque o tipo de dados e o analisador para sql/api
- [SPARK-44484] [SC-137562][ss]Adicionar batchDuration ao método StreamingQueryProgress JSON
- [SPARK-43966] [SC-137559][sql][Python] Suporte a funções não determinísticas com valor de tabela
- [SPARK-44439] [SC-136973] [conectar] [SS] Listeners corrigidos para enviar apenas ids de volta ao cliente
- [SPARK-44341] [SC-137054][sql][Python] Defina a lógica de computação por meio do PartitionEvaluator API e use-a no WindowExec e no WindowInPandasExec
- [SPARK-43839] [SC-132680] [sql] Converter
_LEGACY_ERROR_TEMP_1337
emUNSUPPORTED_FEATURE.TIME_TRAVEL
- [SPARK-44244] [SC-135703] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [2305-2309]
- [SPARK-44201] [SC-136778][connect][SS]Adicionar suporte para Listener de transmissão em Scala para Spark Connect
- [SPARK-44260] [SC-135618] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [1215-1245-2329] & Use checkError () para verificar a exceção em _CharvarChar_Suite
- [SPARK-42454] [SC-136913] [sql] SPJ: encapsula todos os parâmetros relacionados ao SPJ no BatchScanExec
- [SPARK-44292] [SC-135844] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [2315-2319]
- [SPARK-44396] [SC-137221] [conectar] Desserialização direta de seta
- [SPARK-44324] [SC-137172] [sql] [CONNECT] Mova maiúsculas de minúsculas e minúsculas para sql/api
- [SPARK-44395] [SC-136744] [sql] Adicionar teste de volta ao StreamingTableSuite
- [SPARK-44481] [SC-137401][connect][Python] Make PySpark.sql.is_remote an API
- [SPARK-44278] [SC-137400] [conectar] Implemente um interceptor de servidor GRPC que limpe as propriedades locais do thread
- [SPARK-44264] [SC-137211][ml][Python] Suporte ao treinamento distribuído de funções usando o Deepspeed
- [SPARK-44430] [SC-136970] [sql] Adicionar causa a
AnalysisException
quando a opção é inválida - [SPARK-44264] [SC-137167][ml][Python] Incorporando o FunctionPickler ao TorchDistributor
- [SPARK-44216] [SC-137046] [Python] Make assertSchemaEqual API public
- [SPARK-44398] [SC-136720][conectar] API foreachBatch do Scala
- [SPARK-43203] [SC-134528] [sql] Mova todas as maiúsculas e minúsculas do Drop Table para o DataSource V2
- [SPARK-43755] [SC-137171] [conectar] [MINOR] Abra
AdaptiveSparkPlanHelper.allChildren
em vez de usar a cópia emMetricGenerator
- [SPARK-44264] [SC-137187][ml][Python] Refatoração do TorchDistributor para permitir o ponteiro de função "execução" personalizado
- [SPARK-43755] [SC-136838] [connect] Mova a execução do SparkExecutePlanStreamHandler para um thread diferente
- [SPARK-44411] [SC-137198][sql] Use a API PartitionEvaluator em ArrowEvalPythonExec e BatchEvalPythonExec
- [SPARK-44375] [SC-137197][sql] Usar a API PartitionEvaluator no DebugExec
- [SPARK-43967] [SC-137057][Python] Suporte regular a Python UDTFs com valores de retorno vazios
- [SPARK-43915] [SC-134766] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [2438-2445]
- [SPARK-43965] [SC-136929][Python][CONNECT] Suporte Python UDTF em Spark Connect
- [SPARK-44154] [SC-137050] [sql] Adicionou mais testes de unidade ao BitmapExpressionUtilsSuite e fez pequenas melhorias nas expressões agregadas de bitmap
- [SPARK-44169] [SC-135497] [sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP [2300-2304]
- [SPARK-44353] [SC-136578][connect][SQL] Remove StructType.toAttributes
- [SPARK-43964] [SC-136676][sql][Python] Suporte a UDTFs otimizadas por seta Python
- [SPARK-44321] [SC-136308] [conectar] Desacoplar ParseException de Analysis Exception
- [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][Python] Reative o test_artifact com as alterações relevantes
- [SPARK-44145] [SC-136698] [sql] Retorno de chamada quando estiver pronto para execução
- [SPARK-43983] [SC-136404][Python][ML][connect] Enable cross validator estimator test
- [SPARK-44399] [SC-136669][pyhton][CONNECT] Importar SparkSession no Python UDF somente quando useArrow for None
- [SPARK-43631] [SC-135300][connect][PS] Habilitar Series.interpolate com o Spark Connect
- [SPARK-44374] [SC-136544][Python][ML] Adicionar código de exemplo para ML distribuído para spark connect
- [SPARK-44282] [SC-135948][connect] Prepare a análise de DataType para uso no cliente Spark Connect Scala
- [SPARK-44052] [SC-134469][connect][PS] Adicionar utilitário para obter a classe Column ou DataFrame adequada para o Spark Connect.
- [SPARK-43983] [SC-136404][Python][ML][connect] Implementar estimador de validação cruzada
- [SPARK-44290] [SC-136300][connect] Arquivos e arquivos baseados em sessão no Spark Connect
- [SPARK-43710] [SC-134860][ps][CONNECT] Suporte
functions.date_part
para Spark Connect - [SPARK-44036] [SC-134036][connect][PS] Limpeza & consolidar tíquetes para simplificar a tarefa.
- [SPARK-44150] [SC-135790][Python][CONNECT] Explicit Arrow casting for mismatched return type in Arrow Python UDF
- [SPARK-43903] [SC-134754][Python][CONNECT] Aprimorar o suporte à entrada ArrayType no Arrow Python UDF
- [SPARK-44250] [SC-135819][ml][Python][connect] Implementar avaliador de classificação
- [SPARK-44255] [SC-135704] [sql] Realoque o nível de armazenamento para common/utils
- [SPARK-42169] [SC-135735] [SQL] Implementar geração de código para a função to_csv (StructsToCsv)
- [SPARK-44249] [SC-135719][sql][Python] Refatorar o PythonUDTFRunner para enviar seu tipo de retorno separadamente
- [SPARK-43353] [SC-132734][Python] Migrar os erros de sessão restantes para a classe de erro
- [SPARK-44133] [SC-134795][Python] Atualizar o MyPy de 0.920 para 0.982
- [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Série de eventos no formato JSON
- [SPARK-43353] Reverter "[SC-132734][es-729763][Python] Migrar os erros de sessão restantes para a classe de erro".
- [SPARK-44100] [SC-134576][ml][CONNECT][Python] Mover o namespace de
pyspark.mlv2
parapyspark.ml.connect
- [SPARK-44220] [SC-135484] [sql] Mova StringConcat para sql/api
- [SPARK-43992] [SC-133645][sql][Python][connect] Adicionar padrão opcional para Catalog.listFunctions
- [SPARK-43982] [SC-134529][ml][Python][connect] Implementar o estimador pipeline para ML no spark connect
- [SPARK-43888] [SC-132893] [core] Realoque o registro para common/utils
- [SPARK-42941] Reverter "[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Série de eventos no formato JSON".
- [SPARK-43624] [SC-134557] [ps] [CONNECT] Adicione
EWM
ao SparkConnectPlanner. - [SPARK-43981] [SC-134137][Python][ML] Implementação básica de salvamento/carregamento para ML no spark connect
- [SPARK-43205] [SC-133371] [sql] corrige o SQLQueryTestSuite
- [SPARK-43376] Reverter “[SC-130433] [sql] Melhore a reutilização da subconsulta com cache de tabela”
- [SPARK-44040] [SC-134366][sql] Corrigir compute stats quando o nó AggregateExec acima do QueryStageExec
- [SPARK-43919] [SC-133374][sql] Extrair funcionalidade JSON da linha
- [SPARK-42618] [SC-134433][Python][PS] Aviso sobre as mudanças de comportamento relacionadas ao pandas na próxima versão principal
- [SPARK-43893] [SC-133381][Python][CONNECT] Suporte a tipos de dados não atômicos em Python otimizado por setas UDF
- [SPARK-43627] [SC-134290][spark-43626][PS][connect] Habilite
pyspark.pandas.spark.functions.{kurt, skew}
no Spark Connect. - [SPARK-43798] [SC-133990][sql][Python] Suporte a funções de tabela definidas pelo usuário Python
- [SPARK-43616] [SC-133849][ps][CONNECT] Habilitar
pyspark.pandas.spark.functions.mode
no Spark Connect - [SPARK-43133] [SC-133728] Suporte ao cliente Scala DataStreamWriter Foreach
- [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Corrigir
(NullOps|NumOps).(eq|ne)
para Spark Connect. - [SPARK-43645] [SC-134151][spark-43622][PS][connect] Habilitar
pyspark.pandas.spark.functions.{var, stddev}
no Spark Connect - [SPARK-43617] [SC-133893][ps][CONNECT] Habilitar
pyspark.pandas.spark.functions.product
no Spark Connect - [SPARK-43610] [SC-133832][connect][PS] Habilite
InternalFrame.attach_distributed_column
no Spark Connect. - [SPARK-43621] [SC-133852][ps][CONNECT] Habilitar
pyspark.pandas.spark.functions.repeat
no Spark Connect - [SPARK-43921] [SC-133461][protobuf] Gerar arquivos descritores do Protobuf no momento da compilação
- [SPARK-43613] [SC-133727][ps][CONNECT] Habilitar
pyspark.pandas.spark.functions.covar
no Spark Connect - [SPARK-43376] [SC-130433] [sql] Melhore a reutilização da subconsulta com cache de tabela
- [SPARK-43612] [SC-132011][connect][Python] Implementar SparkSession.addArtifact(s) no cliente Python
- [SPARK-43920] [SC-133611] [sql] [CONNECT] Criar módulo sql/api
- [SPARK-43097] [SC-133372][ml] Novo estimador de regressão logística PySpark ML implementado sobre o distribuidor
- [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Tornar o MLv2 (ML no spark connect) compatível com Pandas >= 2.0
- [SPARK-43024] [SC-132716][Python] Atualizar Pandas para 2.0.0
- [SPARK-43881] [SC-133140][sql][Python][connect] Adicionar padrão opcional para Catalog.listDatabases
- [SPARK-39281] [SC-131422][sql] Acelere a inferência do tipo Timestamp com o formato legado em JSON/CSV fonte de dados
- [SPARK-43792] [SC-132887][sql][Python][connect] Adicionar padrão opcional para Catalog.listCatalogs
- [SPARK-43132] [SC-131623] [SS] [CONNECT] API do cliente Python DataStreamWriter foreach()
- [SPARK-43545] [SC-132378][sql][Python] Suporte ao tipo de carimbo de data/hora aninhado
- [SPARK-43353] [SC-132734][Python] Migrar os erros de sessão restantes para a classe de erro
- [SPARK-43304] [SC-129969][connect][Python] Migrar
NotImplementedError
paraPySparkNotImplementedError
- [SPARK-43516] [SC-132202][ml][Python][connect] Interfaces básicas do sparkML para spark3.5: estimador/transformador/modelo/avaliador
- [SPARK-43128] Reverter "[SC-131628][connect][SS] Fazer com que
recentProgress
elastProgress
retornemStreamingQueryProgress
de forma consistente com a Api Scala nativa". - [SPARK-43543] [SC-131839][Python] Corrigir o comportamento do MapType aninhado em Pandas UDF
- [SPARK-38469] [SC-131425] [core] Use a classe de erro em org.apache.spark.network
- [SPARK-43309] [SC-129746] [spark-38461] [CORE] Estenda INTERNAL_ERROR com categorias e adicione a classe de erro INTERNAL_ERROR_BROADCAST
- [SPARK-43265] [SC-129653] Mova a estrutura de erro para um módulo utilitário comum
- [SPARK-43440] [SC-131229][Python][CONNECT] Suporte ao registro de um Python otimizado para Arrow UDF
- [SPARK-43528] [SC-131531][sql][Python] Suporte a nomes de campos duplicados em createDataFrame com Pandas DataFrame
- [SPARK-43412] [SC-130990][Python][CONNECT] Introduzir
SQL_ARROW_BATCHED_UDF
EvalType para Python UDFs otimizados por setas - [SPARK-40912] [SC-130986] [core] Sobrecarga de exceções no KryoDeserializationStream
- [SPARK-39280] [SC-131206][sql] Acelere a inferência do tipo Timestamp com o formato fornecido pelo usuário em JSON/CSV fonte de dados
- [SPARK-43473] [SC-131372][Python] Suporte ao tipo struct em createDataFrame de Pandas DataFrame
- [SPARK-43443] [SC-131024] [sql] Adicionar referência para inferência do tipo Timestamp ao usar valor inválido
- [SPARK-41532] [SC-130523][connect][CLIENT] Adicionar verificação para operações que envolvem vários quadros de dados
- [SPARK-43296] [SC-130627][connect][Python] Migrar os erros da sessão do Spark Connect para a classe de erro
- [SPARK-43324] [SC-130455][sql] Manipular UPDATE comando para fontes baseadas em delta
- [SPARK-43347] [SC-130148][Python] Remover o suporte a Python 3.7
- [SPARK-43292] [SC-130525] [core] [CONNECT] Mova
ExecutorClassLoader
para o módulocore
e simplifiqueExecutor#addReplClassLoaderIfNeeded
- [SPARK-43081] [SC-129900] [ML] [CONNECT] Adicionar carregador de dados do distribuidor da tocha que carrega dados da partição de dados do spark
- [SPARK-43331] [SC-130061][connect] Adicionar Spark Connect SparkSession.interruptAll
- [SPARK-43306] [SC-130320][Python] Migrar
ValueError
dos tipos Spark SQL para a classe de erro - [SPARK-43261] [SC-129674][Python] Migrar
TypeError
dos tipos Spark SQL para a classe de erro. - [SPARK-42992] [SC-129465][Python] Introduzir PySparkRuntimeError
- [SPARK-16484] [SC-129975] [sql] Adicionar suporte para Datasketches HLLSketch
- [SPARK-43165] [SC-128823] [sql] Mover Can Write to DataTypeUtils
- [SPARK-43082] [SC-129112][connect][Python] UDFs de Python otimizados por setas em Spark Connect
- [SPARK-43084] [SC-128654] [SS] Adicionar ApplyInPandas com suporte estadual para Spark Connect
- [SPARK-42657] [SC-128621] [conectar] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
- [SPARK-43098] [SC-77059] [sql] Corrige a correção do erro COUNT quando a subconsulta escalar tem cláusula group by
- [SPARK-42884] [SC-126662] [conectar] Adicionar integração Ammonite REPL
- [SPARK-42994] [SC-128333][ml][CONNECT] PyTorch Suporte ao distribuidor local Mode
- [SPARK-41498] [SC-125343] Reverter ” Propagar metadados por meio do Union”
- [SPARK-42993] [SC-127829][ml][CONNECT] Tornar o distribuidor PyTorch compatível com o Spark Connect
- [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
- [SPARK-42874] [SC-126442][sql] Habilite a nova estrutura de teste do golden file para análise de todos os arquivos de entrada
- [SPARK-42779] [SC-126042] [sql] Permitir gravações V2 para indicar o tamanho recomendado da partição aleatória
- [SPARK-42891] [SC-126458][connect][Python] Implement CoGrouped Map API
- [SPARK-42791] [SC-126134][sql] Criar uma nova estrutura de teste de golden file para análise
- [SPARK-42615] [SC-124237][connect][Python] Refatorar o RPC do AnalyzePlan e adicionar
session.version
- [SPARK-41302] Reverter "[ALL TESTS][sc-122423][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
- [SPARK-40770] [SC-122652][Python] Mensagens de erro aprimoradas para applyInPandas em caso de incompatibilidade de esquema
- [SPARK-40770] Reverter "[ALL TESTS][sc-122652][Python] Mensagens de erro aprimoradas para applyInPandas por incompatibilidade de esquema".
- [SPARK-42398] [SC-123500][sql] Refine default column value DS v2 interface
- [SPARK-40770] [ALL TESTS][sc-122652][Python] Mensagens de erro aprimoradas para applyInPandas em caso de incompatibilidade de esquema
- [SPARK-40770] Reverter "[SC-122652][Python] Mensagens de erro aprimoradas para applyInPandas por incompatibilidade de esquema".
- [SPARK-40770] [SC-122652][Python] Mensagens de erro aprimoradas para applyInPandas em caso de incompatibilidade de esquema
- [SPARK-42038] [TODOS OS TESTES] Reverter “Reverter “[SC-122533] [sql] SPJ: suporte à distribuição parcialmente agrupada””
- [SPARK-42038] Reverter “[SC-122533] [sql] SPJ: suporte à distribuição parcialmente agrupada”
- [SPARK-42038] [SC-122533] [sql] SPJ: Suporte à distribuição parcialmente agrupada
- [SPARK-40550] [SC-120989][sql] DataSource V2: Manipulação do comando DELETE para fontes baseadas em delta
- [SPARK-40770] Reverter "[SC-122652][Python] Mensagens de erro aprimoradas para applyInPandas por incompatibilidade de esquema".
- [SPARK-40770] [SC-122652][Python] Mensagens de erro aprimoradas para applyInPandas em caso de incompatibilidade de esquema
- [SPARK-41302] Reverter “[SC-122423] [sql] Atribuir nome a _LEGACY_ERROR_TEMP_1185”
- [SPARK-40550] Reverter "[SC-120989][sql] DataSource V2: Manipular o comando DELETE para fontes baseadas em delta"
- [SPARK-42123] Reverter "[SC-121453][sql] Incluir valores da coluna default na saída DESCRIBE e SHOW CREATE TABLE "
- [SPARK-42146] [SC-121172][core] Refatorar
Utils#setStringField
para que o Maven build seja aprovado quando o módulo sql usar esse método - [SPARK-42119] Reverter "[SC-121342][sql] Adicionar funções integradas de valor de tabela inline e inline_outer"
Destaques
- Corrija as funções
aes_decryp
t eln
no Connect SPARK-45109 - Corrige tuplas nomeadas herdadas para trabalhar em CreateDataFrame SPARK-44980
- O CodeGenerator Cache agora é específico do carregador de classes [SPARK-44795]
- Adicionado
SparkListenerConnectOperationStarted.planRequest
[SPARK-44861] - Fazer com que as consultas de transmissão funcionem com o gerenciamento de artefatos do Connect [SPARK-44794].
- O ArrowDeserializer funciona com classes geradas pelo REPL [SPARK-44791]
- Corrigido o UDF Python otimizado para Arrow no Spark Connect [SPARK-44876].
- Suporte a clientes Scala e Go no Spark Connect SPARK-42554 SPARK-43351
- Suporte de ML distribuído baseado em PyTorch para Spark Connect SPARK-42471
- transmissão estruturada suporte para Spark Connect em Python e Scala SPARK-42938
- Suporte à API do Pandas para o cliente Python Spark Connect SPARK-42497
- Introduzir as UDFs do Arrow Python SPARK-40307
- Suporte às funções de tabela definidas pelo usuário do Python SPARK-43798
- Migrar erros do PySpark para classes de erro SPARK-42986
- Estrutura de teste do PySpark SPARK-44042
- Adicionar suporte para Datasketches HLLSketch SPARK-16484
- integrada SQL Melhoria da função SPARK-41231
- Cláusula IDENTIFICADORA SPARK-43205
- Adicionar funções SQL à API do Scala, Python e R SPARK-43907
- Adicionar suporte a argumentos nomeados para funções SQL SPARK-43922
- Evite a reexecução desnecessária da tarefa em executor perdido se os dados embaralhados forem migrados SPARK-41469
- ML distribuído <> spark connect SPARK-42471
- Distribuidor DeepSpeed SPARK-44264
- Implementar o checkpointing do changelog para RocksDB armazenamento do estado SPARK-43421
- Introduza a propagação de marcas d'água entre operadores SPARK-42376
- Introduza o Drop Duplicates no Watermark SPARK-42931
- RocksDB armazenamento do estado provider memory management enhancements SPARK-43311
Spark Connect
- Refatoração do módulo sql em sql e sql-api para produzir um conjunto mínimo de dependências que podem ser compartilhadas entre o cliente Scala Spark Connect e o Spark e evitar a extração de todas as dependências transitivas do Spark. SPARK-44273
- Apresentando o cliente Scala para o Spark Connect SPARK-42554
- Suporte à API do Pandas para o cliente Python Spark Connect SPARK-42497
- Suporte de ML distribuído baseado em PyTorch para Spark Connect SPARK-42471
- transmissão estruturada suporte para Spark Connect em Python e Scala SPARK-42938
- Versão inicial do cliente Go SPARK-43351
- Muitas melhorias de compatibilidade entre o Spark nativo e os clientes Spark Connect em Python e Scala
- Melhor capacidade de depuração e tratamento de solicitações para aplicativos clientes (processamento assíncrono, novas tentativas, consultas de longa duração)
Spark SQL
recurso
- Adicionar o início e o comprimento do bloco de arquivo da coluna de metadados SPARK-42423
- Suporte a parâmetros posicionais em Scala/Java sql() SPARK-44066
- Adicione suporte a parâmetros nomeados no analisador para chamadas de função SPARK-43922
- Suporte ao padrão SELECT com ORDER BY, LIMIT, OFFSET para a relação de origem INSERT SPARK-43071
- Adicionar gramática SQL para a cláusula PARTITION BY e ORDER BY após os argumentos TABLE para chamadas TVF SPARK-44503
- Incluir valores da coluna default na saída DESCRIBE e SHOW CREATE TABLE SPARK-42123
- Adicionar padrão opcional para catalog.listCatalogs SPARK-43792
- Adicionar padrão opcional para catalog.listDatabases SPARK-43881
- Retorno de chamada quando estiver pronto para execução SPARK-44145
- Declaração de inserção por nome de suporte SPARK-42750
- Adicionar call_function para a API Scala SPARK-44131
- Aliases de coluna derivados estáveis SPARK-40822
- Suporte a expressões constantes gerais como valores de CREATE/REPLACE TABLE OPTIONS SPARK-43529
- Ofereça suporte a subconsultas com correlação por meio de INTERSECT/EXCEPT SPARK-36124
- Cláusula IDENTIFICADORA SPARK-43205
- MODO ANSI: Conv deve retornar um erro se a conversão interna transbordar SPARK-42427
Funções
- Adicionar suporte para Datasketches HLLSketch SPARK-16484
- Suporta o modo CBC com aes_encrypt () /aes_decrypt () SPARK-43038
- Suporta a regra de análise de argumentos TABLE para tableValuedFunction SPARK-44200
- Implementar funções de bitmap SPARK-44154
- Adicione a função try_aes_decrypt () SPARK-42701
- array_insert deve falhar com o índice 0 SPARK-43011
- Adicione o alias to_varchar para to_char SPARK-43815
- Função de alta ordem: implementação de array_compact SPARK-41235
- Adicionar suporte ao analisador de argumentos nomeados para funções integradas SPARK-44059
- Adicione NULLs para INSERTs com listas especificadas pelo usuário de menos colunas do que a tabela de destino SPARK-42521
- Adiciona suporte para aes_encrypt IVs e AAD SPARK-43290
- A função DECODE retorna resultados errados quando passada NULL SPARK-41668
- Suporte udf 'lun_check' SPARK-42191
- Suporta resolução implícita de alias de coluna lateral no Aggregate SPARK-41631
- Ofereça suporte a alias implícitos de coluna lateral em consultas com o Window SPARK-42217
- Adicione os aliases de função de 3 argumentos DATE_ADD e DATE_DIFF SPARK-43492
fonte de dados
- Suporte a char/varchar para o catálogo JDBC SPARK-42904
- Suporte à obtenção de palavras-chave SQL dinamicamente por meio da API JDBC e TVF SPARK-43119
- DataSource V2: Manipular o comando de mesclagem para fontes baseadas em delta SPARK-43885
- DataSource V2: Manipular comando de mesclagem para fontes baseadas em grupo SPARK-43963
- DataSource V2: Manipular o comando UPDATE para fontes baseadas em grupos SPARK-43975
- DataSource V2: Permitir representar atualizações como exclusões e inserções SPARK-43775
- Permitir que os dialetos JDBC substituam a consulta usada para criar uma tabela SPARK-41516
- SPJ: Suporta distribuição parcialmente agrupada SPARK-42038
- O DSv2 permite que o CTAS/RTAS reserve a nulidade do esquema SPARK-43390
- Adicione spark.sql.files.maxPartitionNum SPARK-44021
- Manipular UPDATE comando para fontes baseadas em delta SPARK-43324
- Permitir que gravações V2 indiquem o tamanho recomendado da partição aleatória SPARK-42779
- Suporte ao codec de compactação lz4raw para o Parquet SPARK-43273
- Avro: escrevendo sindicatos complexos SPARK-25050
- Acelere a inferência do tipo Timestamp com o formato fornecido pelo usuário em JSON/CSV fonte de dados SPARK-39280
- Avro to Support custom decimal type supported by Long SPARK-43901
- Evitar embaralhamento em junções particionadas por armazenamento quando a chave de partição for incompatível, mas as expressões join são compatíveis SPARK-41413
- Alterar o tipo de dados binário para não suportado no formato CSV SPARK-42237
- Permitir que o Avro converta o tipo de união em SQL com nome de campo estável com o tipo SPARK-43333
- Acelerar a inferência do tipo Timestamp com formato legado em JSON/CSV fonte de dados SPARK-39281
Otimização de consultas
- Expressão de atalho de suporte à eliminação de subexpressões SPARK-42815
- Melhore a estimativa das estatísticas do join se um lado puder manter a exclusividade SPARK-39851
- Apresente o limite de grupos do filtro baseado em classificação do Window for Rank para otimizar a computação top-k SPARK-37099
- Corrige o comportamento do IN nulo (lista vazia) nas regras de otimização SPARK-44431
- Inferir e reduzir o limite da janela através da janela se o PartitionSpec estiver vazio SPARK-41171
- Remova o join externo se todas elas forem funções agregadas distintas SPARK-42583
- Recolha duas janelas adjacentes com a mesma partição/ordem na subconsulta SPARK-42525
- Reduzir o limite por meio de UDFs Python SPARK-42115
- Otimize a ordem dos predicados de filtragem SPARK-40045
Geração de código e execução de consultas
- Runtime O filtro deve ser compatível com o embaralhamento em vários níveis join lado como o lado da criação do filtro SPARK-41674
- Suporte Codegen para HiveSimpleUDF SPARK-42052
- Suporte Codegen para HiveGenericUDF SPARK-42051
- Codegen Suporte para hash embaralhado externo do lado da construção join SPARK-44060
- Implemente a geração de código para a função to_csv (structsToCSV) SPARK-42169
- Faça suporte ao AQE em tabelas de memória ScanExec SPARK-42101
- Suporte a join externo esquerdo construir à esquerda ou externo direito join construir à direita no hash embaralhado join SPARK-36612
- Respeito requer distribuição e pedido no CTAS/RTAS SPARK-43088
- Coalesce buckets em join aplicado na transmissão join lado da transmissão SPARK-43107
- Definir corretamente o nullable em join key coalescido em full outer USING join SPARK-44251
- Corrigir a nulidade da subconsulta IN ListQuery SPARK-43413
Outras mudanças notáveis
- Definir corretamente o nullable para a chave em USING join SPARK-43718
- Corrigir COUNT (*) é um bug nulo na subconsulta escalar correlacionada SPARK-43156
- Dataframe.joinWith outer-join deve retornar um valor nulo para uma linha não correspondente SPARK-37829
- Renomear automaticamente colunas de metadados conflitantes SPARK-42683
- Documentar as classes de erro do Spark SQL na documentação voltada para o usuário SPARK-42706
PySpark
recurso
- Suporte a parâmetros posicionais em Python sql() SPARK-44140
- Suporte a SQL parametrizado por sql() SPARK-41666
- Suporte às funções de tabela definidas pelo usuário do Python SPARK-43797
- Suporte para definir o executável Python para UDF e a função Pandas APIs no trabalhador durante o tempo de execução SPARK-43574
- Adicionar DataFrame.offset ao PySpark SPARK-43213
- Implementar dir () em PySpark.sql.dataframe.DataFrame para incluir colunas SPARK-43270
- Adicionar opção para usar vetores de largura variável grande para operações de UDF de seta SPARK-39979
- Faça com que MapInPandas//MapInArrow suporte a execução do modo de barreira SPARK-42896
- Adicionar APIs de JobTag ao PySpark SparkContext SPARK-44194
- Suporte ao Python UDTF para análise no Python SPARK-44380
- Expor TimestampNTZType em PySpark.sql.types SPARK-43759
- Suporta carimbo de data/hora aninhado do tipo SPARK-43545
- Suporte a UserDefinedType em createDataFrame de Pandas DataFrame e toPandas[SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
- Adicionar opção binária descritora a PySpark Protobuf API SPARK-43799
- Aceitar tuplas genéricas como dicas de digitação do Pandas UDF SPARK-43886
- Adicionar a função array_prepend SPARK-41233
- Adicionar assertDataFrameEqual até a função SPARK-44061
- Suporte a UDTFs Python otimizados por seta SPARK-43964
- Permita precisão personalizada para igualdade de fp aproximada SPARK-44217
- Tornar a API assertSchemaEqual pública SPARK-44216
- Suporte fill_value para PS.Series SPARK-42094
- Suporte ao tipo struct em createDataFrame de Pandas DataFrame SPARK-43473
Outras mudanças notáveis
- Adicionar suporte ao autocompletar para df[|] em PySpark.sql.dataframe.DataFrame[SPARK-43892]
- Desprezar e remover o APIs que será removido em Pandas 2.0[SPARK-42593].
- Tornar Python o primeiro tab para exemplos de código - Spark SQL, DataFrames e guia de conjunto de dados SPARK-42493
- Atualização dos exemplos de código da documentação Spark restantes para mostrar Python por default SPARK-42642
- Use nomes de campo desduplicados ao criar o Arrow RecordBatch [SPARK-41971]
- Suporte a nomes de campos duplicados em createDataFrame com Pandas DataFrame [SPARK-43528].
- Permitir parâmetro de colunas ao criar DataFrame com Series[SPARK-42194]
Núcleo
- programar mergeFinalize when push merge shuffleMapStage retry but no running tarefa SPARK-40082
- Introduzir o PartitionEvaluator para a execução do operador SQL SPARK-43061
- Permitir que o ShuffleDriverComponent declare se os dados do shuffle estão armazenados de forma confiável SPARK-42689
- Adicione a limitação máxima de tentativas para estágios para evitar uma possível repetição infinita SPARK-42577
- Suporte à configuração em nível de log com Spark conf estático SPARK-43782
- Otimize o PercentileHeap SPARK-42528
- Adicionar argumento de motivo ao TaskScheduler.cancelTasks SPARK-42602
- Evite a reexecução desnecessária da tarefa em executor perdido se os dados embaralhados forem migrados SPARK-41469
- Correção da subcontagem do acumulador no caso da tarefa de repetição com cache rdd SPARK-41497
- Use RocksDB para spark.história.store.hybridStore.diskBackend por default SPARK-42277
- Wrapper do NonFateSharingCache para o Guava Cache SPARK-43300
- Melhorar o desempenho do MapOutputTracker.updateMapOutput SPARK-43043
- Permitir que os aplicativos controlem se seus metadados são salvos no banco de dados pelo serviço External Shuffle SPARK-43179
- Adicionar a variável de ambiente SPARK_DRIVER_POD_IP aos pods do executor SPARK-42769
- Monta o mapa de configuração do hadoop no pod do executor SPARK-43504
transmissão estruturada
- Adicionar suporte para o uso de memória de blocos de pinos de acompanhamento para RocksDB armazenamento do estado SPARK-43120
- Adicionar RocksDB armazenamento do estado melhorias no gerenciamento de memória do provedor SPARK-43311
- Introduza o Drop Duplicates no Watermark SPARK-42931
- Apresente um novo retorno de chamada onQueryIdle () para StreamingQueryListener SPARK-43183
- Adicionar a opção de ignorar o coordenador de commit como parte da API StreamingWrite para fontes/substitutos DSv2 SPARK-42968
- Apresente um novo retorno de chamada “OnQueryIdle” para StreamingQueryListener SPARK-43183
- Implementar Checkpointing baseado em Changelog para RocksDB armazenamento do estado Provider SPARK-43421
- Adicionar suporte a WRITE_FLUSH_BYTES para RocksDB usado em operadores com estado de transmissão SPARK-42792
- Adicionar suporte para a configuração de max_write_buffer_number e write_buffer_size para RocksDB usado na transmissão SPARK-42819
- A aquisição do bloqueio do RocksDB StateStore deve ocorrer após a obtenção do iterador de entrada do inputRDD SPARK-42566
- Introduza a propagação de marcas d'água entre operadores SPARK-42376
- Limpeza de arquivos órfãos sst e log no diretório de pontos de verificação RocksDB SPARK-42353
- Expanda QueryTerminatedEvent para conter a classe de erro se ela existir na exceção SPARK-43482
ML
- Suporte ao treinamento distribuído de funções usando o Deepspeed SPARK-44264
- Interfaces básicas do SparkML para spark3.5: estimador/transformador/modelo/avaliador SPARK-43516
- Tornar o MLv2 (ML no spark connect) compatível com Pandas >= 2.0 SPARK-43783
- Atualize o MLv2 Transformer interfaces SPARK-43516
- Novo estimador de regressão logística PySpark ML implementado sobre o distribuidor SPARK-43097
- Adicione Classifier.getNumClasses de volta ao SPARK-42526
- Escreva uma aula de aprendizado distribuído Deepspeed DeepSpeedTorchDistributor SPARK-44264
- Implementação básica de salvamento/carregamento para ML no spark connect SPARK-43981
- Melhore o modelo de regressão logística economizando SPARK-43097
- Implementar o estimador de pipeline para ML no spark connect SPARK-43982
- Implemente o estimador de validação cruzada SPARK-43983
- Implemente o avaliador de classificação SPARK-44250
- Tornar o distribuidor PyTorch compatível com o Spark Connect SPARK-42993
UI
- Adicionar uma página Spark UI para o Spark Connect SPARK-44394
- Suporte à coluna Histograma de Heap no executor tab SPARK-44153
- Mostrar mensagem de erro na interface do usuário para cada consulta falhada SPARK-44367
- Exibir o tempo de adição/remoção do executor na guia do executor SPARK-44309
Build e outros
- Remover o suporte ao Python 3.7 SPARK-43347
- Aumente a versão mínima do PyArrow para 4.0.0 SPARK-44183
- Suporte R 4.3.1 SPARK-43447 SPARK-44192
- Adicionar APIs de JobTag ao SparkR SparkContext SPARK-44195
- Adicionar funções matemáticas ao SparkR SPARK-44349
- Atualização do Parquet para a versão 1.13.1 SPARK-43519
- Atualize o ASM para 9.5 SPARK-43537 SPARK-43588
- Atualize rocksdbjni para 8.3.2 SPARK-41569 SPARK-42718 SPARK-43007 SPARK-43436 SPARK-44256
- Atualize o Netty para 4.1.93 SPARK-42218 SPARK-42417 SPARK-42487 SPARK-43609 SPARK-44128
- Atualize zstd-jni para 1.5.5-5 SPARK-42409 SPARK-42625 SPARK-43080 SPARK-43294 SPARK-43737 SPARK-43994 SPARK-44465
- Atualização do dropwizard métricas 4.2.19 SPARK-42654 SPARK-43738 SPARK-44296
- Atualize o GCS-connector para 2.2.14 SPARK-42888 SPARK-43842
- Atualize commons-crypto para 1.2.0 SPARK-42488
- Atualize o site Scala-parser-combinators de 2.1.1 para 2.2.0 SPARK-42489
- Atualize protobuf-java para 3.23.4 SPARK-41711 SPARK-42490 SPARK-42798 SPARK-43899 SPARK-44382
- Atualize o commons-codec para 1.16.0 SPARK-44151
- Atualização do Apache Kafka para a versão 3.4.1 SPARK-42396 SPARK-44181
- Atualize RoaringBitmap para 0.9.45 SPARK-42385 SPARK-43495 SPARK-44221
- Atualize o ORC para a versão 1.9.0 SPARK-42820 SPARK-44053 SPARK-44231
- Atualização para o Avro 1.11.2 SPARK-44277
- Atualize commons-compress para 1.23.0 SPARK-43102
- Atualize o joda-time de 2.12.2 para 2.12.5 SPARK-43008
- Atualize o snappy-java para 1.1.10.3 SPARK-42242 SPARK-43758 SPARK-44070 SPARK-44415 SPARK-44513
- Atualize o mysql-connector-java de 8.0.31 para 8.0.32 SPARK-42717
- Atualização do Apache Arrow para a versão 12.0.1 SPARK-42161 SPARK-43446 SPARK-44094
- Atualize commons-io para 2.12.0 SPARK-43739
- Atualize o Apache commons-io para 2.13.0 SPARK-43739 SPARK-44028
- Atualize FasterXML jackson para 2.15.2 SPARK-42354 SPARK-43774 SPARK-43904
- Atualize log4j2 para 2.20.0 SPARK-42536
- Atualize slf4j para 2.0.7 SPARK-42871
- Atualize o numpy e o Pandas no Dockerfile da versão SPARK-42524
- Atualize a camisa para 2.40 SPARK-44316
- Atualize o H2 do 2.1.214 até 2.2.220 SPARK-44393
- Atualize o opcionador para ^0.9.3 SPARK-44279
- Atualize bcprov-jdk15on e bcpkix-jdk15on para 1.70 SPARK-44441
- Atualize o mlflow para 2.3.1 SPARK-43344
- Atualize o Tink para 1.9.0 SPARK-42780
- Atualize o silenciador para 1.7.13 SPARK-41787 SPARK-44031
- Atualize Ammonite para 2.5.9 SPARK-44041
- Atualize o Scala para a versão 2.12.18 SPARK-43832
- Atualize org.scalatestplus para org.scalatestplus SPARK-41587
- Atualize o minimatch para 3.1.2 SPARK-41634
- Atualize o sbt-assembly de 2.0.0 para 2.1.0 SPARK-41704
- Atualize Maven-checkstyle-plugin a partir da versão 3.1.2 para 3.2.0 SPARK-41714
- Atualize dev.ludovic.netlib para 3.0.3 SPARK-41750
- Atualize hive-storage-api para 2.8.1 SPARK-41798
- Atualizar o Apache httpcore para a versão 4.4.16 SPARK-41802
- Atualize o jetty para 9.4.52.v20230823 SPARK-45052
- Atualize compress-lzf para 1.1.2 SPARK-42274
Remoções, mudanças de comportamento e suspensões
Próxima remoção
O recurso a seguir será removido na próxima versão principal do site Spark
- Suporte para Java 8 e Java 11, e a versão mínima suportada do Java será o Java 17
- Suporte ao Scala 2.12, e a versão mínima suportada do Scala será a 2.13
Guia de migração
- Núcleo Spark
- SQL, conjunto de dados e DataFrame
- Transmissão estruturada
- MLlib (Aprendizado de máquina)
- PySpark (Python no Spark)
- SparkR (R no Spark)
Suporte ao driver ODBC/JDBC da Databricks
A Databricks é compatível com drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e da atualização do site (download ODBC, download JDBC).
Ambiente do sistema
- Sistema operacional : Ubuntu 22.04.3 LTS
- Java : Zulu 8.70.0.23-CA-linux64
- Scala : 2.12.15
- Python : 3.10.12
- R : 4.3.1
- Delta Lake : 2.4.0
Instalado Python biblioteca
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
anyio | 3.5.0 | argônio-2-cffi | 21,3,0 | ligações argônio-2-cffi | 21.2.0 |
asttokens | 2.0.5 | atrai | 22.1.0 | chamada de volta | 0.2.0 |
linda sopa 4 | 4.11.1 | preto | 22.6.0 | cândida | 4.1.0 |
pisca-pisca | 1.4 | boto3 | 1,24,28 | botocore | 1,27,96 |
certifi | 2022.12.7 | caffi | 1.15.1 | chardet | 4.0.0 |
normalizador de conjuntos de caracteres | 2.0.4 | clique | 8.0.4 | comunicações | 0.1.2 |
contornar | 1.0.5 | criptografia | 39,0,1 | ciclador | 0.11.0 |
Cython | 0,29,32 | databricks-sdk | 0.1.6 | dbus-Python | 1.2.18 |
depurar | 1.6.7 | decorador | 5.1.1 | xml desfundido | 0.7.1 |
distlib | 0.3.7 | docstring-to-markdown | 0,11 | pontos de entrada | 0,4 |
execução | 0,8.3 | visão geral das facetas | 1.1.1 | esquema fastjson | 2.18.0 |
bloqueio de arquivo | 3.12.2 | ferramentas de fonte | 4,25.0 | Biblioteca de tempo de execução do GCC | 1.10.0 |
googleapis-common-protos | 1,60,0 | grócio | 1.48,2 | status de grpcio | 1.48,1 |
httplib2 | 0,20.2 | Índia | 3.4 | importlib-metadados | 4.6.4 |
ipykernel | 6,25,0 | ipython | 8.14.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.7.2 | jedi | 0,18.1 | jeepney | 0.7.1 |
Jinja 2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
esquema json | 4.17.3 | cliente jupyter | 7.3.4 | servidor jupyter | 1.23,4 |
jupyter_core | 5.2.0 | pigmentos jupyterlab | 0.1.2 | widgets jupyterlab | 1.0.0 |
chaveiro | 23,5,0 | solucionador de kiwi | 1.4.4 | launchpadlib | 1,10,16 |
lazr.restfulclient | 0,14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
MarkupSafe | 2.1.1 | Matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
mccabe | 0.7.0 | confundir | 0,8.4 | mais ferramentas de iteração | 8.10.0 |
extensões mypy | 0.4.3 | nbclassic | 0.5.2 | cliente nb | 0,5.13 |
nbconvert | 6.5.4 | formato nb | 5.7.0 | nest-assíncio | 1.5.6 |
nodeenv | 1.8.0 | notebook | 6.5.2 | Caderno de anotações | 0.2.2 |
entorpecido | 1,23,5 | oauthlib | 3.2.0 | fazendo às malas | 22,0 |
Pandas | 1.5.3 | filtros pandóicos | 1.5.0 | parso | 0,8.3 |
especificação do caminho | 0.10.3 | bode expiatório | 0.5.3 | esperar | 4.8.0 |
picles | 0.7.5 | Travesseiro | 9.4.0 | pip | 22.3.1 |
platformdirs | 2.5.2 | Plotly | 5.9.0 | plugado | 1.0.0 |
cliente prometheus | 0,14.1 | kit de ferramentas de aviso | 3,0,36 | protobuf | 4,24.0 |
pistila | 5.9.0 | psycopg2 | 2.9.3 | processo pty | 0.7.0 |
avaliação pura | 0.2.2 | flecha | 8.0.0 | pycparser | 2,21 |
pidântico | 1.10.6 | flocos | 3.0.1 | Pigmentos | 2.11.2 |
Objeto PYG | 3,42,1 | PyJWT | 2.3.0 | pyodbc | 4,0,32 |
análise de pipa | 3.0.9 | direito autoral | 1,1,294 | persistente | 0,18.0 |
Python-dateutil | 2.8.2 | Python-lsp-jsonrpc | 1.0.0 | Python-lsp-server | 1.7.1 |
pytoolconfig | 1.2.5 | pytz | 2022,7 | pizma | 23.2,0 |
pedidos | 2.28,1 | corda | 1.7.0 | transferência s3 | 0.6.1 |
scikit-learn | 1.1.1 | marítimo | 0.12.2 | Armazenamento secreto | 3.3.1 |
Enviar 2 lixeiras | 1.8.0 | ferramentas de configuração | 65,6,3 | seis | 1,16.0 |
cheirar | 1.2.0 | peneira | 2.3.2. Postagem 1 | ID de importação ssh | 5,11 |
dados de pilha | 0.2.0 | modelos de estatísticas | 0,13.5 | tenacidade | 8.1.0 |
terminado | 0,17.1 | threadpool ctl | 2.2.0 | minúsculo css2 | 1.2.1 |
tokenizar-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
almôndegas | 5.7.1 | extensões_de digitação | 4.4.0 | junhão | 5.4.0 |
atualizações autônomas | 0,1 | urllib3 | 1,26,14 | ambiente virtual | 20,16.7 |
wadlib | 1.3.6 | largura do wc | 0.2.5 | codificações da web | 0.5.1 |
cliente websocket | 0,58,0 | qual é o patch | 1.0.2 | Python wheel | 0,38,4 |
extensão widgetsnb | 3.6.1 | yapf | 0,31,0 | zíper | 1.0.0 |
Instalou a R biblioteca
As bibliotecas R são instaladas a partir do pacote Posit Manager CRAN Snapshot em 2023-07-13.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
flecha | 12.0.1 | askpass | 1.1 | afirme que | 0.2.1 |
portas traseiras | 1.4.1 | base | 4.3.1 | base64enc | 0,1-3 |
pouco | 4.0.5 | bit64 | 4.0.5 | bolha | 1.2.4 |
inicialização | 1,3-28 | fermentar | 1,0-8 | brio | 1.1.3 |
vassoura | 1.0.5 | babião | 0.5.0 | cachem | 1,0.8 |
chamador | 3.7.3 | cursor | 6,0-94 | guarda de celas | 1.1.0 |
crono | 2,3-61 | Aula | 7,3-22 | CLIPE | 3.6.1 |
clipe | 0,8.0 | relógio | 0.7.0 | Cluster | 2.1.4 |
ferramentas de código | 0,2-19 | espaço de cores | 2,1-0 | marca comum | 1.9.0 |
compilador | 4.3.1 | configuração | 0.3.1 | em conflito | 1.2.0 |
cpp11 | 0.4.4 | giz de cera | 1.5.2 | Credenciais | 1.3.2 |
cacho | 5.0.1 | data.tabela | 1,14.8 | conjunto de dados | 4.3.1 |
DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
ferramentas de desenvolvimento | 2.4.5 | diagrama | 1.6.5 | diff | 0.3.5 |
digerir | 0,6.33 | iluminado | 0.4.3 | dplyr | 1.1.2 |
dtplyr | 1.3.1 | e1071 | 1,7-13 | reticências | 0.3.2 |
avalie | 0,21 | fansi | 1.0.4 | colorista | 2.1.1 |
mapa rápido | 1.1.1 | fontawesome | 0.5.1 | para gatos | 1.0.0 |
para cada um | 1.5.2 | estrangeira | 0,8-82 | forjar | 0.2.0 |
fs | 1.6.2 | futuro | 1,33,0 | futuro.aplique | 1.11.0 |
gargarejar | 1.5.1 | genéricas | 0.1.3 | obter | 1.9.2 |
ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
glmnet | 4,1-7 | globais | 0,16.2 | cola | 1.6.2 |
google drive | 2.1.1 | planilhas do Google 4 | 1.1.1 | goleiro | 1.0.1 |
gráficos | 4.3.1 | Dispositivos GR | 4.3.1 | grade | 4.3.1 |
Grid Extra | 2.3 | gsubfn | 0,7 | mesa | 0.3.3 |
capacete | 1.3.0 | refúgio | 2.5.3 | mais alto | 0,10 |
HMS | 1.1.3 | ferramentas html | 0.5.5 | widgets html | 1.6.2 |
http.uv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
IDs | 1.0.1 | mini | 0.3.1 | ipred | 0,9-14 |
isóbanda | 0.2.7 | iteradores | 1,0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.7 | Kern Smooth | 2,23-21 | tricotar | 1,43 |
rótulo | 0.4.2 | posteriormente | 1.3.1 | treliça | 0,21-8 |
lava | 1.7.2.1 | ciclo de vida | 1.0.3 | ouvindo | 0.9.0 |
lubrificar | 1.9.2 | magritter | 2.0.3 | Markdown | 1.7 |
MASSA | 7,3-60 | Matriz | 1,5-4,1 | memoise | 2.0.1 |
métodos | 4.3.1 | mgcv | 1,8-42 | mímica | 0,12 |
Mini UI | 0.1.1.1 | Métricas do modelo | 1.2.2.2 | modelar | 0.1.11 |
munsell | 0.5.0 | nome | 3,1-162 | net | 7,3-19 |
Número Deriv | 2016,8-1,1 | openssl | 2.0.6 | paralelo | 4.3.1 |
paralelamente | 1,36,0 | pilar | 1.9.0 | pkgbuild | 1.4.2 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | carregamento de pacotes | 1.3.2.1 |
plogr | 0.2.0 | plyr | 1.8.8 | elogio | 1.0.0 |
unidades bonitas | 1.1.1 | ProC | 1,18.4 | processa | 3.8.2 |
prodlim | 2023,03,31 | profvis | 0.3.8 | progresso | 1.2.2 |
progressista | 0,13,0 | promessas | 1.2.0.1 | proto | 1.0.0 |
proxy | 0,4-27 | ps | 1.7.5 | ronronar | 1.0.1 |
r2d3 | 0.2.6 | R6 | 2.5.1 | trapo | 1.2.5 |
Floresta aleatória | 4,7-1,1 | corredeiras | 0.3.3 | rcmdcheck | 1.4.0 |
Cervejaria RColor | 1,1-3 | Rcpp | 1.0.11 | RCP Pegen | 0.3.3.9.3 |
leitor | 2.1.4 | readxl | 1.4.3 | receitas | 1.0.6 |
revanche | 1.0.1 | revanche 2 | 2.1.2 | controles remotos | 2.4.2 |
reprex | 2.0.2 | remodelar 2 | 1.4.4 | rlang | 1.1.1 |
rmarkdown | 2,23 | RODBC | 1,3-20 | roxigênio2 | 7.2.3 |
rpartem | 4.1.19 | rprojroot | 2.0.3 | Reservar | 1,8-11 |
RSQLite | 2.3.1 | API do estúdio | 0,15.0 | reversões | 2.1.2 |
colete | 1.0.3 | atrevimento | 0.4.6 | escala | 1.2.1 |
seletor | 0,4-2 | informações da sessão | 1.2.2 | forma | 1.4.6 |
brilhante | 1.7.4.1 | ferramentas de origem | 0,1,7-1 | Sparklyr | 1.8.1 |
SparkR | 3.5.0 | espacial | 7,3-15 | splines | 4.3.1 |
sqldf | 0,4-11 | QUADRADO | 2021,1 | estatísticas | 4.3.1 |
estatísticas4 | 4.3.1 | stringi | 1.7.12 | longarina | 1.5.0 |
sobrevivência | 3,5-5 | diz | 3.4.2 | fontes do sistema | 1.0.4 |
tcltk | 4.3.1 | teste isso | 3.1.10 | modelagem de texto | 0.3.6 |
petiscar | 3.2.1 | arrumado | 1.3.0 | seleção arrumada | 1.2.0 |
tidyverso | 2.0.0 | mudança de horário | 0.2.0 | Hora/Data | 4022,108 |
tinytex | 0,45 | Ferramentas | 4.3.1 | tzdb | 0.4.0 |
verificador de URL | 1.0.1 | use isso | 2.2.2 | utf 8 | 1.2.3 |
utilidades | 4.3.1 | uuid | 1,1-0 | vctrs | 0.6.3 |
Viridis Lite | 0.4.2 | vadouro | 1.6.3 | waldo | 0.5.1 |
bigode | 0.4.1 | murchar | 2.5.0 | diversão | 0,39 |
xml2 | 1.3.5 | xopen | 1.0.0 | x estável | 1,8-4 |
yaml | 2.3.7 | compactar | 2.3.0 |
Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)
ID do grupo | ID do artefato | Versão |
---|---|---|
chifre | chifre | 2.7.7 |
com.amazonaws | Amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscale | 1,12.390 |
com.amazonaws | formação de nuvem aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1,12.390 |
com.amazonaws | métricas aws-java-sdk-cloudwatch | 1,12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1,12.390 |
com.amazonaws | identidade cognitiva aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1,12.390 |
com.amazonaws | aws-java-sdk-config | 1,12.390 |
com.amazonaws | aws-java-sdk-core | 1,12.390 |
com.amazonaws | pipeline de dados aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-conexão direta | 1,12.390 |
com.amazonaws | diretório aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1,12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1,12.390 |
com.amazonaws | aws-java-sdk-ecs | 1,12.390 |
com.amazonaws | aws-java-sdk-efs | 1,12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1,12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1,12.390 |
com.amazonaws | balanceamento de carga elástico aws-java-sdk | 1,12.390 |
com.amazonaws | transcodificador elástico aws-java-sdk- | 1,12.390 |
com.amazonaws | aws-java-sdk-emr | 1,12.390 |
com.amazonaws | aws-java-sdk-glacier | 1,12.390 |
com.amazonaws | aws-java-sdk-glue | 1,12.390 |
com.amazonaws | aws-java-sdk-iam | 1,12.390 |
com.amazonaws | aws-java-sdk-importação/exportação | 1,12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1,12.390 |
com.amazonaws | aws-java-sdk-kms | 1,12.390 |
com.amazonaws | aws-java-sdk-lambda | 1,12.390 |
com.amazonaws | aws-java-sdk-logs | 1,12.390 |
com.amazonaws | aws-java-sdk - aprendizado de máquina | 1,12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1,12.390 |
com.amazonaws | aws-java-sdk-rds | 1,12.390 |
com.amazonaws | aws-java-sdk-redshift | 1,12.390 |
com.amazonaws | aws-java-sdk-route53 | 1,12.390 |
com.amazonaws | aws-java-sdk-s3 | 1,12.390 |
com.amazonaws | aws-java-sdk-ses | 1,12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1,12.390 |
com.amazonaws | aws-java-sdk - fluxo de trabalho simples | 1,12.390 |
com.amazonaws | aws-java-sdk-sns | 1,12.390 |
com.amazonaws | aws-java-sdk-sqs | 1,12.390 |
com.amazonaws | aws-java-sdk-ssm | 1,12.390 |
com.amazonaws | gateway de armazenamento aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-sts | 1,12.390 |
com.amazonaws | suporte aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-swf-biblioteca | 1.11.22 |
com.amazonaws | aws-java-sdk-workspace | 1,12.390 |
com.amazonaws | jmespath-java | 1,12.390 |
com.clearspring.analítica | transmissão | 2.9.6 |
com.databricks | Reservar | 1,8-3 |
com.databricks | databricks-sdk-java | 0.2.0 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | plugin_2.12 do compilador | 0,4,15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0,4,15-10 |
com.esotérico software | crio-sombreado | 4.0.2 |
com.esotérico software | minlog | 1.3.0 |
com.fasterxml | colega de classe | 1.3.4 |
com.fasterxml.jackson.core | jackson-anotação | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | vinculação de dados jackson | 2.15.2 |
formato de dados com.fasterxml.jackson. | formato de dados jackson-cbor | 2.15.2 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-jsr310 | 2.15.1 |
com.fasterxml.jackson.module | parâmetro do módulo jackson | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-Scala.12 | 2.15.2 |
com.github.ben-manes.cafeína | cafeína | 2.9.3 |
com.github.fommil | descarregador | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 - nativos |
com.github.fommil.netlib | sistema_nativo-java | 1.1 |
com.github.fommil.netlib | sistema_nativo-java | 1.1 - nativos |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 - nativos |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 - nativos |
com.github.luben | zstd-jni | 1,5,5-4 |
com.github.wendykierp | JTransforma | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | eu acho | 1.9.0 |
com.google.propenso a erros | anotações propensas a erros | 2.10.0 |
com.google.flatbuffers | tampões planos-java | 1.12.0 |
com.google.goiaba | goiaba | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | perfilador | 1.1.1 |
com.jcraft | jsch | 0,1,55 |
com.jolbox | bonecp | VERSÃO 0.8.0. |
com.lihaoyi | código-fonte_2.12 | 0.1.9 |
com.microsoft.azure | azure-data lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-JDBC | 11.2.2. jre8 |
comendo | comprimir-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.trunning | JSON | 1,8 |
com.thoughtworks.paranamer | paranâmero | 2.8 |
com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
com.Twitter | chill-java | 0.10.0 |
com.Twitter | chill_2.12 | 0.10.0 |
com.Twitter | util-app_2.12 | 7.1.0 |
com.Twitter | util-core_2.12 | 7.1.0 |
com.Twitter | função-útil_2.12 | 7.1.0 |
com.Twitter | util-jvm_2.12 | 7.1.0 |
com.Twitter | util-lint_2.12 | 7.1.0 |
com.Twitter | util-registry_2.12 | 7.1.0 |
com.Twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuração | 1.2.1 |
com.typesafe.Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocidade | analisadores de univocidade | 2.9.1 |
com.zaxxer | HikaricP | 4.0.3 |
comum-CLI | comum-CLI | 1.5.0 |
codec comum | codec comum | 1,16.0 |
coleções comuns | coleções comuns | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
upload de arquivo commons | upload de arquivo commons | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
linguagem comum | linguagem comum | 2.6 |
registro de bens comuns | registro de bens comuns | 1.1.3 |
comum-pool | comum-pool | 1.5.4 |
dev.ludovic.netlib | mochila | 3.0.3 |
dev.ludovic.netlib | blás | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io. airlift | compressor de ar | 0,24 |
io.delta | delta-compartilhamento-spark_2.12 | 0.7.1 |
io.dropwizard.métricas | anotação de métricas | 4.2.19 |
io.dropwizard.métricas | núcleo de métricas | 4.2.19 |
io.dropwizard.métricas | métricas-grafite | 4.2.19 |
io.dropwizard.métricas | métricas-healthchecks | 4.2.19 |
io.dropwizard.métricas | métricas-jetty9 | 4.2.19 |
io.dropwizard.métricas | métricas-jmx | 4.2.19 |
io.dropwizard.métricas | métricas-JSON | 4.2.19 |
io.dropwizard.métricas | métricas-JVM | 4.2.19 |
io.dropwizard.métricas | métricas-servlets | 4.2.19 |
io.netty | tudo | 4.1.93. Final |
io.netty | netty-buffer | 4.1.93. Final |
io.netty | codec netty | 4.1.93. Final |
io.netty | netty-codec-http | 4.1.93. Final |
io.netty | netty-codec-http2 | 4.1.93. Final |
io.netty | netty-codec-socks | 4.1.93. Final |
io.netty | netty-common | 4.1.93. Final |
io.netty | manipulador de limpeza | 4.1.93. Final |
io.netty | proxy netty-handler | 4.1.93. Final |
io.netty | resolvedor de rede | 4.1.93. Final |
io.netty | transporte de urtigas | 4.1.93. Final |
io.netty | netty-transport-classes-epoll | 4.1.93. Final |
io.netty | netty-transport-classes-kqueue | 4.1.93. Final |
io.netty | netty-transport-native-epoll | 4.1.93. Final |
io.netty | netty-transport-native-epoll | 4.1.93. Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.93. Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.93. Final-OSX-AARCH_64 |
io.netty | netty-transport-native-kqueue | 4.1.93. Final-OSX-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.93. Final |
io. prometheus | cliente simples | 0.7.0 |
io. prometheus | simpleclient_common | 0.7.0 |
io. prometheus | simpleclient_dropwizard | 0.7.0 |
io. prometheus | gateway client_push simples | 0.7.0 |
io. prometheus | client_servlet simples | 0.7.0 |
io.prometheus.jmx | coletor | 0.12.0 |
jakarta.anotação | jakarta.anotação-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validação | jakarta.validação-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.ativação | ativação | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | API de transação | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolução | javolução | 5.5.1 |
junte-se | junte-se | 2.14.6 |
hora do dia | hora do dia | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | salmoura | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | supercsv | 2.2.0 |
net.snowflake | SDK de ingestão de flocos de neve | 0.9.6 |
net.snowflake | floco de neve-JDBC | 3,13,29 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | chá remoto - oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | modelo de string | 3.2.1 |
org.apache.ant | formiga | 1.9.16 |
org.apache.ant | formiga | 1.9.16 |
org.apache.ant | lançador de formigas | 1.9.16 |
org.apache.arrow | formato de seta | 12.0.1 |
org.apache.arrow | núcleo de memória de seta | 12.0.1 |
org.apache.arrow | rede de memória de seta | 12.0.1 |
org.apache.arrow | vetor de seta | 12.0.1 |
org.apache.avro | AVRO | 1.11.2 |
org.apache.avro | avro-ipc | 1.11.2 |
org.apache.avro | mapeado automaticamente | 1.11.2 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | compressa comum | 1,23,0 |
org.apache.commons | criptomoeda comum | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | texto comum | 1.10.0 |
org.apache.curator | curador-cliente | 2.13.0 |
org.apache.curator | estrutura de curador | 2.13.0 |
org.apache.curator | receitas de curadores | 2.13.0 |
org.apache.datasketches | esboços de dados-java | 3.1.0 |
org.apache.datasketches | memória de esboços de dados | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | tempo de execução do cliente hadoop | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | colmeia-CLI | 2.3.9 |
org.apache.hive | hive-JDBC | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-lap-common | 2.3.9 |
org.apache.hive | colmeia | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | API de armazenamento em nuvem | 2.8.1 |
org.apache.hive.shims | calços de colmeia - 0,23 | 2.3.9 |
org.apache.hive.shims | calços de colmeia comuns | 2.3.9 |
org.apache.hive.shims | hive-shims-programador | 2.3.9 |
org.apache.httpcomponents | cliente http | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | hera | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
org.apache.logging.log4j | log4j-api | 2.20.0 |
org.apache.logging.log4j | log4j-core | 2.20.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
org.apache.mesos | mesos | Protobuf 1.11.0 sombreado |
org.apache.orc | núcleo orc | Protobuf 1.9.0 sombreado |
org.apache.orc | orc-mapreduce | Protobuf 1.9.0 sombreado |
org.apache.orc | calços de orc | 1.9.0 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4,23 |
org.apache.yetus | audiência-anotação | 0,13,0 |
org.apache.zookeeper | tratador | 3.6.3 |
org.apache.zookeeper | tratador de zoológico - juta | 3.6.3 |
org.checkerframework | xadrez igual | 3,31,0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | compilador common | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | núcleo de dados-api-jdo | 4.2.4 |
org.datanucleus | núcleo de dados | 4.1.17 |
org.datanucleus | núcleo de dados-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3,2,0-m3 |
org.Eclipse.jetty | jetty-client | 9.4.51.v20230217 |
org.Eclipse.jetty | continuação do cais | 9.4.51.v20230217 |
org.Eclipse.jetty | jetty-http | 9.4.51.v20230217 |
org.Eclipse.jetty | jetty-io | 9.4.51.v20230217 |
org.Eclipse.jetty | jetty-jndi | 9.4.51.v20230217 |
org.Eclipse.jetty | jetty-plus | 9.4.51.v20230217 |
org.Eclipse.jetty | jetty-proxy | 9.4.51.v20230217 |
org.Eclipse.jetty | segurança do cais | 9.4.51.v20230217 |
org.Eclipse.jetty | servidor jetty-server | 9.4.51.v20230217 |
org.Eclipse.jetty | jutty-servlet | 9.4.51.v20230217 |
org.Eclipse.jetty | píer de servlets | 9.4.51.v20230217 |
org.Eclipse.jetty | jetty-util | 9.4.51.v20230217 |
org.Eclipse.jetty | jetty-util-ajax | 9.4.51.v20230217 |
org.Eclipse.jetty | aplicativo web jetty- | 9.4.51.v20230217 |
org.Eclipse.jetty | jetty-xml | 9.4.51.v20230217 |
org.Eclipse.jetty.websocket | API de websoquete | 9.4.51.v20230217 |
org.Eclipse.jetty.websocket | cliente websocket | 9.4.51.v20230217 |
org.Eclipse.jetty.websocket | websocket-comum | 9.4.51.v20230217 |
org.Eclipse.jetty.websocket | servidor websocket | 9.4.51.v20230217 |
org.Eclipse.jetty.websocket | servlet websocket | 9.4.51.v20230217 |
org.fusesource.leveldbjni | leveldbjni-tudo | 1,8 |
org.glassfish.hk2 | API hk2 | 2.6.1 |
org.glassfish.hk2 | localizador hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-recurso-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance - reembalado | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | servlet de contêiner de camisa | 2,40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2,40 |
org.glassfish.jersey.core | cliente de camisa | 2,40 |
org.glassfish.jersey.core | camiseta comum | 2,40 |
org.glassfish.jersey.core | servidor de camisa | 2,40 |
org.glassfish.jersey.inject | camiseta-hk2 | 2,40 |
org.hibernate.validator | validador de hibernação | 6.1.7. Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3,29,2 HA |
org.jboss.logging | registro de jboss-logging | 3.3.2. Final |
org.jdbi | jdbi | 2.63,1 |
org.jetbrains | anotação | 17.0.0 |
org.joda | conversor de joda | 1.7 |
org.jodd | núcleo nodular | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3,7,0-M11 |
org.json4s | json4s-core_2.12 | 3,7,0-M11 |
org.json4s | json4s-jackson_2.12 | 3,7,0-M11 |
org.json4s | json4s-scalap_2.12 | 3,7,0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.JDBC | cliente mariadb-java | 2.7.9 |
org.mlflow | faísca de fluxo | 2.2.0 |
org.objenesis | objênese | 2.5.1 |
org.postgresql | PostgreSQL | 42,6,0 |
org.roaringbitmap | Mapa de bits estrondoso | 0,9,45 |
org.roaringbitmap | calços | 0,9,45 |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.rEngine | Motor | 2.1.0 |
org.Scala-lang | Scala-compiler_2.12 | 2.12.15 |
org.Scala-lang | Scala-biblioteca.12 | 2.12.15 |
org.Scala-lang | Scala-reflect_2.12 | 2.12.15 |
org.Scala-lang.modules | Scala-collection-compat_2.12 | 2.9.0 |
org.Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
org.Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
org.Scala-sbt | interface de teste | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | compatível com scalatest | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | diagramas de teste de escala_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatestfreespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest - deve corresponders_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-a-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.threeten | treze e mais | 1.7.1 |
org.tukaani | xz | 1,9 |
org.typelevel | álgebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0,17.0 |
org.typelevel | spire-platform_2.12 | 0,17.0 |
org.typelevel | spire-util_2.12 | 0,17.0 |
org.typelevel | spire_2.12 | 0,17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3. Final |
org.xerial | sqlite-JDBC | 3,42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2,0 |
oro | oro | 2.0.8 |
pt.edu.icm | Matrizes JLarge | 1.5 |
software.Amazon.cryptools | Amazon Correcto Crypto Provider | 1.6.1-linux-x86_64 |
software.Amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |