Databricks Runtime 13,2 (EoS)
O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.
As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 13.2, alimentado por Apache Spark 3.4.0.
A Databricks lançou essa versão em julho de 2023.
Novos recursos e melhorias
- Checkpointing do changelog para RocksDB armazenamento do estado
- Confiabilidade aprimorada para vacuum com clone raso em Unity Catalog.
- Suporte para UDFs do Python no SQL
- O Delta Lake UniForm para Iceberg está em visualização pública
- O clustering líquido do Delta Lake está em visualização pública
- Suporte de arquivamento em Databricks
- Suporte à cláusula IDENTIFIER
- Suporte do Unity Catalog para funções definidas pelo usuário (UDFs) Python e Pandas
- Compartilhar esquemas usando o Delta Sharing
- Correções de bugs
Checkpointing do changelog para RocksDB armazenamento do estado
O senhor pode ativar o checkpointing de changelog para reduzir a duração do checkpoint e a latência de ponta a ponta para cargas de trabalho de transmissão estruturada com estado. Databricks recomenda habilitar o checkpointing do changelog para todas as consultas stateful de transmissão estruturada. Consulte Habilitar o checkpoint do registro de alterações.
Confiabilidade aprimorada para vacuum com clone raso em Unity Catalog.
Quando o senhor usar Unity Catalog gerenciar tabelas para a origem e o destino de uma operação de clone raso, Unity Catalog gerenciar os arquivos de dados subjacentes para melhorar a confiabilidade da origem e do destino das operações de clone. Executar VACUUM
na origem de um clone superficial não quebra a tabela clonada. Consulte vacuum e Unity Catalog clones rasos.
Suporte para UDFs do Python no SQL
Agora o senhor pode declarar funções definidas pelo usuário usando Python nas instruções SQL CREATE FUNCTION
no Unity Catalog. Consulte Funções definidas pelo usuário (UDFs) no Unity Catalog.
O Delta Lake UniForm para Iceberg está em visualização pública
O Delta Lake Universal Format (UniForm) permite que o senhor leia tabelas Delta com clientes Iceberg. Veja as tabelas Ler Delta com clientes Iceberg.
O clustering líquido do Delta Lake está em visualização pública
Delta Lake liquid clustering substitui o particionamento de tabelas e ZORDER
para simplificar as decisões de disposição de dados e otimizar o desempenho das consultas. Consulte Usar clustering líquido para tabelas Delta.
Suporte de arquivamento no Databricks
O suporte a arquivamento no Databricks apresenta um conjunto de recursos que permitem que o senhor use políticas de ciclo de vida baseadas em nuvem no armazenamento de objetos em nuvem contendo tabelas Delta para mover arquivos para níveis de armazenamento de arquivamento. Consulte Suporte de arquivamento em Databricks.
Suporte à cláusula IDENTIFIER
Use o site IDENTIFIER(:mytable)
para parametrizar com segurança nomes de tabelas, colunas, funções e esquemas em muitas instruções SQL.
Suporte do Unity Catalog para funções definidas pelo usuário (UDFs) Python e Pandas
Em Databricks Runtime 13.2 e acima, as funções definidas pelo usuário (UDFs) escritas em Python são suportadas em clusters que usam o modo de acesso padrão (anteriormente modo de acesso compartilhado) em um workspace habilitado para o Unity Catalog. Isso inclui UDFs do Python e do Pandas. Para obter detalhes sobre as UDFs do Python, consulte Funções escalares definidas pelo usuário - Python.
Compartilhar esquemas usando o Delta Sharing
Databricks Runtime A versão 13.2 adiciona a capacidade de usar ALTER SHARE <share-name> ADD SCHEMA <schema-name>
para compartilhar um esquema inteiro usando Delta Sharing, dando ao destinatário acesso a todas as tabelas e visualizações do esquema no momento em que o senhor o compartilha, juntamente com todas as tabelas e visualizações que forem adicionadas ao esquema no futuro. Consulte Adicionar esquemas a um compartilhamento e ALTER SHARE.
Correções de bugs
- Foi corrigido um erro no leitor JSON, em que os registros eram analisados no modo
PERMISSIVE
sefailOnUnknownFieldsmode
estivesse ativado. Os registros agora são descartados no modoDROPMALFORMEDparser
ou gravados embadRecordsPath
, se alguma dessas opções estiver definida.FAILFAST
gera um erro se um tipo de coluna não corresponder.
Atualizações da biblioteca
-
Atualizado Python biblioteca:
- nodeenv de 1.7.0 a 1.8.0
-
Biblioteca R atualizada:
-
Atualizado Java biblioteca:
- io.delta.delta-compartilhamento-spark_2.12 de 0.6.7 para 0.7.0
Apache Spark
O Databricks Runtime 13.2 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-42750] [SC-133452] [dbrrm-273] Suporte à instrução Inserir por nome
- [SPARK-43133] [SC-133728] Suporte ao cliente Scala DataStreamWriter Foreach
- [SPARK-43663] [SC-134135] [conectar] [PS] Ativar
SeriesParityTests.test_compare
- [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Corrigir
(NullOps|NumOps).(eq|ne)
para Spark Connect. - [SPARK-44021] [SC-134109] [sql] Adicionar spark.sql.files.maxPartitionNum
- [SPARK-43910] [SC-132936] [sql] Retire
__auto_generated_subquery_name
dos ids em caso de erros - [SPARK-43976] [SC-133375][core] Trata o caso em que modifiedConfigs não existe no evento logs
- [SPARK-32559] [SC-133992] [sql] Corrige a lógica de corte que não manipulava caracteres de controle ASCII corretamente
- [SPARK-43421] [SC-132930][ss] Implementar Checkpointing baseado em Changelog para RocksDB armazenamento do estado Provider
- [SPARK-43594] [SC-133851] [sql] Adicionar LocalDateTime ao AnyToMicros
- [SPARK-43884] [SC-133867] Marcadores de parâmetros em DDL
- [SPARK-43398] [SC-133894][core] O tempo limite do executor deve ser o máximo do tempo limite do parado shuffle e do rdd
- [SPARK-43610] [SC-133892][connect][PS] Habilite
InternalFrame.attach_distributed_column
no Spark Connect. - [SPARK-43971] [SC-133826][connect][Python] Suporte a Python's createDataFrame na forma de transmissão
- [SPARK-44006] [SC-133652][connect][Python] Suporte a artefatos de cache
- [SPARK-43790] [SC-133468][Python][CONNECT][ml] Add
copyFromLocalToFs
API - [SPARK-43921] [SC-133461][protobuf] Gerar arquivos descritores do Protobuf no momento da compilação
- [SPARK-43906] [SC-133638][sc-133404][Python][connect] Implementar o suporte a arquivos em SparkSession.addArtifacts
- [SPARK-44010] [SC-133744][Python][SS][minor] Python Correção do tipo StreamingQueryProgress rowsPerSecond
- [SPARK-43768] [SC-132398][Python][CONNECT] Python suporte ao gerenciamento de dependências em Python Spark Connect
- [SPARK-43979] [13.X] Reverter "[SC-133456][sql] CollectedMetrics deve ser tratado como o mesmo para autojoin"
- [SPARK-42290] [SC-133696] [sql] Corrige o erro OOM que não pode ser relatado quando o AQE está ativado
- [SPARK-43943] [SC-133648][sql][Python][connect] Adicione as funções matemáticas de SQL a Scala e Python
- [SPARK-43747] [SC-132047][Python][CONNECT] Implementar o suporte a pyfile em SparkSession.addArtifacts
- [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Habilite
TimedeltaOps.(sub|rsub)
com o Spark Connect - [SPARK-43712] [SC-133641] [spark-43713] [CONNECT] [ps] Habilitar teste de paridade:
test_line_plot
,test_pie_plot
. - [SPARK-43867] [SC-132895] [sql] Melhore os candidatos sugeridos para atributos não resolvidos
- [SPARK-43901] [SC-133454][sql] Avro para suportar o tipo decimal personalizado apoiado por Long
- [SPARK-43267] [SC-133024][JDBC] Manipular coluna desconhecida definida pelo usuário do postgres como cadeias de caracteres na matriz
- [SPARK-43935] [SC-133637][sql][Python][connect] Adicionar funções xpath_* a Scala e Python
- [SPARK-43916] [SC-133647][sql][Python][connect] Adicionar percentil a Scala e Python API
- [SPARK-43717] [SC-133455][connect] Scala client reduce agg cannot handle null partitions for Scala primitive inputs
- [SPARK-43984] [SC-133469] [sql] [PROTOBUF] Altere para usar
foreach
quandomap
não produz resultados - [SPARK-43612] [SC-132011][connect][Python] Implementar SparkSession.addArtifact(s) no cliente Python
- [SPARK-44002] [SC-133606] [conectar] Corrija o manipulador de status do artefato
- [SPARK-43933] [SC-133470][sql][Python][connect] Adicionar funções agregadas de regressão linear a Scala e Python
- [SPARK-43920] [SC-133614] [sql] [CONNECT] Criar módulo sql/api
- [SPARK-43979] [SC-133456][sql] O CollectedMetrics deve ser tratado como o mesmo para o self-join
- [SPARK-43977] [SC-133373] [conectar] Corrige o resultado inesperado da verificação de
dev/connect-jvm-client-mima-check
- [SPARK-43985] [SC-133412] [protobuf] spark protobuf: corrija enums como bug ints
- [SPARK-43930] [SC-133406][sql][Python][connect] Adicionar funções unix_* a Scala e Python
- [SPARK-43807] [SC-132545] [sql] Migrar _LEGACY_ERROR_TEMP_1269 para PARTITION_SCHEMA_IS_EMPTY
- [SPARK-43956] [SC-133123] [sql] Corrige o bug que não exibe o sql da coluna para o percentil [Cont|Disc]
- [SPARK-42626] [SC-133248] [conectar] Adicionar iterador destrutivo para SparkResult
- [SPARK-43333] [SC-132898][sql] Permitir que o Avro converta o tipo de união em SQL com o nome do campo estável com o tipo
- [SPARK-43953] [SC-133134] [conectar] Remover
pass
- [SPARK-43970] [SC-133403][Python][CONNECT] Ocultar métodos de dataframe sem suporte do preenchimento automático
- [SPARK-43973] [SC-133272][ss][UI] transmissão estructurada A UI deve exibir corretamente as consultas com falha
- [SPARK-42577] [SC-125445] [core] Adicione a limitação máxima de tentativas para estágios para evitar possíveis repetições infinitas
- [SPARK-43841] [SC-132699] [sql] Manipule atributos candidatos sem prefixo em
StringUtils#orderSuggestedIdentifiersBySimilarity
- [SPARK-41497] [SC-124795] [core] [Acompanhamento] Modifique a versão de suporte da configuração
spark.rdd.cache.visibilityTracking.enabled
para 3.5.0 - [SPARK-37942] [SC-130983][core][SQL] Migrar classes de erro
- [SPARK-43898] [SC-132926][core] Registro automático de
immutable.ArraySeq$ofRef
paraKryoSerializer
em Scala 2.13 - [SPARK-43775] [SC-132891] [sql] DataSource V2: Permitir representar atualizações como exclusões e inserções
- [SPARK-43817] [SC-132662][spark-43702][Python] Suporte a UserDefinedType em createDataFrame de Pandas DataFrame e toPandas
- [SPARK-43418] [SC-132753][sc-130685][CONNECT] Adicionar SparkSession.Builder.getOrCreate
- [SPARK-43549] [SC-132383] [sql] Converta _LEGACY_ERROR_TEMP_0036 em INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN
- [SPARK-41497] [SC-124644][core] Correção da subcontagem do acumulador no caso da tarefa de repetição com cache rdd
- [SPARK-43892] [SC-133006][Python] Adicionar suporte de autocompletar para
df[|]
empyspark.sql.dataframe.DataFrame
- [SPARK-43881] [SC-133140][sql][Python][connect] Adicionar padrão opcional para Catalog.listDatabases
- [SPARK-43205] [SC-132623] Cláusula IDENTIFIER
- [SPARK-43545] [SC-132378][sql][Python] Suporte ao tipo de carimbo de data/hora aninhado
- [SPARK-43949] [SC-133048][Python] Atualize o cloudpickle para a versão 2.2.1
- [SPARK-43760] [SC-132809] [sql] Nulabilidade dos resultados da subconsulta escalar
- [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Corrigir
TimedeltaOps
para o Spark Connect - [SPARK-43895] [SC-132897][connect][GO] Preparar o caminho do pacote go
- [SPARK-43894] [SC-132892][Python] Corrigir bug em df.cache()
- [SPARK-43509] [SC-131625][connect] Suporte à criação de várias sessões do Spark Connect
- [SPARK-43882] [SC-132888] [sql] Atribuir nome a _LEGACY_ERROR_TEMP_2122
- [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Corrigir
NumOps
para o Spark Connect - [SPARK-43604] [SC-132165] [sql] Refatore
INVALID_SQL_SYNTAX
para evitar incorporar o texto do erro no código-fonte - [SPARK-43859] [SC-132883] [sql] Substituir para string na referência de alias de coluna lateral
- [SPARK-43792] [SC-132939][sql][Python][connect] Adicionar padrão opcional para Catalog.listCatalogs
- [SPARK-43353] Reverter "[SC-132734][Python] Migrar os erros de sessão restantes para a classe de erro".
- [SPARK-43375] [SC-130309] [connect] Melhore as mensagens de erro para INVALID_CONNECT_URL
- [SPARK-43863] [SC-132721][connect] Remover
toSeq
redundante deSparkConnectPlanner
para Scala 2.13 - [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Corrigir
DatetimeOps
para o Spark Connect - [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Corrigir
BinaryOps
para o Spark Connect - [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Corrigir
NullOps
para o Spark Connect - [SPARK-43782] [SC-132885][core] Suporte à configuração de nível log com Spark conf estático
- [SPARK-43132] [SC-131623] [SS] [CONNECT] API do cliente Python DataStreamWriter foreach()
- [SPARK-43290] [SC-131961] [sql] Adiciona suporte a AES IV e AAD ao ExpressionImplutils
- [SPARK-43795] [SC-132532] [conectar] Remover parâmetros não usados para o SparkConnectPlanner
- [SPARK-42317] [SC-129194] [sql] Atribuir nome a _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
- [SPARK-43597] [SC-131960] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_0017
- [SPARK-43834] [SC-132679] [sql] Use classes de erro nos erros de compilação do
ResolveDefaultColumns
- [SPARK-43749] [SC-132423][spark-43750][SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_240[4-5]
- [SPARK-43576] [SC-132533] [core] Remover declarações não utilizadas do módulo Core
- [SPARK-43314] [SC-129970][connect][Python] Migrar os erros do cliente Spark Connect para a classe de erro
- [SPARK-43799] [SC-132715][Python] Adicionar opção binária de descritor a PySpark Protobuf API
- [SPARK-43837] [SC-132678] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_103 [1-2]
- [SPARK-43862] [SC-132750] [sql] Atribua um nome à classe de erro LEGACY_ERROR_TEMP (1254 & 1315)
- [SPARK-43886] [SC-132808][Python] Aceitar a tupla de genéricos como dicas de digitação de Pandas UDF
- [SPARK-43530] [SC-132653] [protobuf] Leia o arquivo do descritor somente uma vez
- [SPARK-43820] [SC-132676] [spark-43822] [SPARK-43823] [spark-43826] [SPARK-43827] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_241 [1-7]
- [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Corrigir
CategoricalOps
para o Spark Connect - [SPARK-39979] [SC-132685][sql] Adicionar opção para usar vetores de largura variável grande para operações UDF de seta
- [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Corrigir
StringOps
para o Spark Connect - [SPARK-43353] [SC-132734][Python] Migrar os erros de sessão restantes para a classe de erro
- [SPARK-43815] [SC-132781] [sql] Adicione o alias
to_varchar
parato_char
- [SPARK-43543] [13.x][sc-131839][Python] Corrigir o comportamento do MapType aninhado no Pandas UDF
- [SPARK-43361] [SC-131789] [protobuf] atualiza a documentação para erros relacionados à serialização de enumerações
- [SPARK-43740] [SC-132035][Python][CONNECT] Ocultar métodos
session
não suportados do preenchimento automático - [SPARK-43022] [SC-131681][connect] Suporte a funções protobuf para o cliente Scala
- [SPARK-43304] [13.x][sc-129969][CONNECT][Python] Migrar
NotImplementedError
paraPySparkNotImplementedError
- [SPARK-43860] [SC-132713] [sql] Habilite a recursão de cauda sempre que possível
- [SPARK-42421] [SC-132695] [core] Use os utilitários para obter o switch para alocação dinâmica usado no ponto de verificação local
- [SPARK-43590] [SC-132012] [connect] Faça
connect-jvm-client-mima-check
para suportar a verificação mima com o móduloprotobuf
- [SPARK-43315] [13.x][connect][Python][ss] Migrar os erros restantes do DataFrame(Reader|Writer) para a classe de erro
- [SPARK-43361] [SC-130980] [protobuf] spark-protobuf: permite sere com enum como ints
- [SPARK-43789] [SC-132397][r] Usa 'spark.sql.execution.arrow.maxRecordsPerBatch' em R createDataFrame com Arrow by default
- [SPARK-43596] [SC-126994] [sql] Manipule o predicado IsNull em RewriteDomainJoins
- [SPARK-42249] [SC-122565] [sql] Refinando o link html para documentação em mensagens de erro.
- [SPARK-43128] [SC-131628][connect][SS] Fazer com que
recentProgress
elastProgress
retornemStreamingQueryProgress
de forma consistente com a Api Scala nativa - [SPARK-43387] [SC-130448] [sql] Forneça um código de erro legível por humanos para _LEGACY_ERROR_TEMP_1168.
- [SPARK-43334] [SC-132358] [UI] Corrigir erro ao serializar ExecutorPeakMetricsDistributions na resposta da API
- [SPARK-42958] [SC-131475] [conectar] Refatore
connect-jvm-client-mima-check
para suportar a verificação mima com o módulo avro - [SPARK-43591] [SC-131977] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_0013
- [SPARK-38464] [SC-132211] [core] Use classes de erro em org.apache.spark.io
- [SPARK-43759] [SC-132189][sql][Python] Expor TimestampNTZType em PySpark.sql.types
- [SPARK-43649] [SC-132036] [spark-43650 ] [SPARK-43651] [sql] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_240 [1-3]
- [SPARK-43719] [SC-132016] [webui] Manipular campo
missing row.excludedInStages
- [SPARK-42956] [SC-127257][connect] Suporte a funções avro para o cliente Scala
- [SPARK-43487] [SC-131975] [sql] Corrigir mensagem de erro Nested CTE
- [SPARK-43265] [SC-129653] Mova a estrutura de erro para um módulo utilitário comum
- [SPARK-40912] [SC-131547] [core] Sobrecarga de exceções no KryoDeserializationStream
- [SPARK-43583] [SC-131976] [core] obtenha MergedBlockedMetaReqHandler do delegado em vez da instância SaslRpcHandler
- [SPARK-42996] [SC-131997] [connect] [PS] [ml] Create & atribui tíquetes JIRA adequados para todos os testes que falharam.
- [SPARK-38469] [SC-131425] [core] Use a classe de erro em org.apache.spark.network
- [SPARK-43718] [SC-132014][sql] Definir corretamente o nullable para a chave na união USING
- [SPARK-43502] [SC-131419][Python][CONNECT]
DataFrame.drop
should accept empty column - [SPARK-43743] [SC-132038] [sql] Porta HIVE-12188 (o DoAS não funciona corretamente em HS2 protegido sem kerberos)
- [SPARK-43598] [SC-131929] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2400
- [SPARK-43138] [SC-131031] [core] Corrigir ClassNotFoundException durante a migração
- [SPARK-43360] [SC-131526][ss][CONNECT] Cliente Scala StreamingQueryManager
- [SPARK-38467] [SC-131025] [core] Use classes de erro em org.apache.spark.memory
- [SPARK-43345] [SC-131790][spark-43346][SQL] Renomear as classes de erro LEGACY_ERROR_TEMP [0041|1206]
- [SPARK-42815] [SC-126450] [sql] Expressão de atalho de suporte à eliminação de subexpressões
- [SPARK-38462] [SC-130449] [core] Adicionar classe de erro INTERNAL_ERROR_EXECUTOR
- [SPARK-43589] [SC-131798] [sql] Corrija
cannotBroadcastTableOverMaxTableBytesError
para usarbytesToString
- [SPARK-43539] [SC-131830] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_0003
- [SPARK-43157] [SC-131688] [sql] Clone o plano em cache do InMemoryRelation para evitar que o plano clonado faça referência aos mesmos objetos
- [SPARK-43309] [SC-129746] [spark-38461] [CORE] Estenda INTERNAL_ERROR com categorias e adicione a classe de erro INTERNAL_ERROR_BROADCAST
- [SPARK-43281] [SC-131370][sql] Corrigir o gravador de concorrente que não atualiza as métricas do arquivo
- [SPARK-43383] [SC-130660] [sql] Adicionar estatísticas
rowCount
ao LocalRelation - [SPARK-43574] [SC-131739][Python][SQL] Suporte para definir Python executável para UDF e Pandas função APIs no trabalhador durante o tempo de execução
- [SPARK-43569] [SC-131694] [sql] Remova a solução alternativa para o HADOOP-14067
- [SPARK-43183] [SC-128938] [ss] [13.x] Apresente um novo retorno de chamada “onQueryIdle” para StreamingQueryListener
- [SPARK-43528] [SC-131531][sql][Python] Suporte a nomes de campos duplicados em createDataFrame com Pandas DataFrame
- [SPARK-43548] [SC-131686] [ss] Remova a solução alternativa para o HADOOP-16255
- [SPARK-43494] [SC-131272] [core] Chame diretamente
replicate()
paraHdfsDataOutputStreamBuilder
em vez de refletir emSparkHadoopUtil#createFile
- [SPARK-43471] [SC-131063] [core] Processar propriedades e métricas ausentes do Hadoop
- [SPARK-42899] [SC-126456] [sql] Corrigir Dataframe.to (esquema) para lidar com o caso em que há um campo aninhado não anulável em um campo anulável
- [SPARK-43302] [SC-129747][sql] Tornar o Python UDAF uma AggregateFunction
- [SPARK-43223] [SC-131270] [conectar] Agg digitado, funções de redução, RelationalGroupedDataset #as
- [SPARK-43482] [SC-131375] [ss] Expanda QueryTerminatedEvent para conter a classe de erro se ela existir em uma exceção
- [SPARK-43359] [SC-131463][sql] A exclusão da tabela Hive deve lançar "UNSUPPORTED_FEATURE.TABLE_OPERATION"
- [SPARK-43284] [SC-130313] Voltar a usar strings codificadas por url
- [SPARK-43492] [SC-131227] [sql] Adicione os aliases de função de 3 argumentos
DATE_ADD
eDATE_DIFF
- [SPARK-43473] [SC-131372][Python] Suporte ao tipo struct em createDataFrame de Pandas DataFrame
- [SPARK-43386] [SC-131110] [sql] Melhore a lista de colunas/atributos sugeridos na classe de erro
UNRESOLVED_COLUMN.WITH_SUGGESTION
- [SPARK-43443] [SC-131332] [sql] Adicionar referência para inferência do tipo Timestamp ao usar valor inválido
- [SPARK-43518] [SC-131420] [sql] Converter
_LEGACY_ERROR_TEMP_2029
em INTERNAL_ERROR - [SPARK-42604] [SC-130648] [conectar] Implemente functions.typedlit
- [SPARK-42323] [ES-669513] Reverter “[SC-123479] [sql] Atribuir nome a
_LEGACY_ERROR_TEMP_2332
” - [SPARK-43357] [SC-130649] [sql] Tipo de data do filtro data da cotação
- [SPARK-43410] [SC-130526] [sql] Melhore o loop vetorizado para Packed SkipValues
- [SPARK-43441] [SC-130995] [core]
makeDotNode
não deve falhar quando DeterministicLevel está ausente - [SPARK-43324] [SC-130455][sql] Manipular UPDATE comando para fontes baseadas em delta
- [SPARK-43272] [SC-131168] [core] Chame diretamente
createFile
em vez de reflexão - [SPARK-43296] [13.x][sc-130627][CONNECT][Python] Migrar os erros de sessão do Spark Connect para a classe de erro
- [SPARK-43405] [SC-130987] [sql] Remova o método inútil
getRowFormatSQL
,inputRowFormatSQL
,outputRowFormatSQL
- [SPARK-43447] [SC-131017] [r] Suporte R 4.3.0
- [SPARK-43425] [SC-130981] [sql] Adicionar
TimestampNTZType
aColumnarBatchRow
- [SPARK-41532] [SC-130523][connect][CLIENT] Adicionar verificação para operações que envolvem vários quadros de dados
- [SPARK-43262] [SC-129270][connect][SS][Python] Migrar erros de transmissão estruturada do Spark Connect para a classe de erro
- [SPARK-42992] [13.x][sc-129465][Python] Introduzir PySpark RuntimeError
- [SPARK-43422] [SC-130982] [sql] Mantenha as tags em LogicalRelation com a saída de metadados
- [SPARK-43390] [SC-130646] [sql] DSv2 permite que o CTAS/RTAS reserve a nulidade do esquema
- [SPARK-43430] [SC-130989] [connect] [PROTO] ExecutePlanRequest suporta opções de solicitação arbitrárias.
- [SPARK-43313] [SC-130254][sql] Adição de valores padrão de coluna ausentes para ações de mesclagem INSERT
- [SPARK-42842] [SC-130438][sql] mesclar a classe de erro _LEGACY_ERROR_TEMP_2006 em REGEX_GROUP_INDEX
- [SPARK-43377] [SC-130405][sql] Habilitar
spark.sql.thriftServer.interruptOnCancel
by default - [SPARK-43292] [SC-130525] [core] [CONNECT] Mova
ExecutorClassLoader
para o módulocore
e simplifiqueExecutor#addReplClassLoaderIfNeeded
- [SPARK-43040] [SC-130310][sql] Melhorar o suporte ao tipo TimestampNTZ em JDBC fonte de dados
- [SPARK-43343] [SC-130629] [ss] FileStreamSource deve desativar uma verificação global de arquivos extra ao criar DataSource
- [SPARK-43312] [SC-130294][protobuf] Opção para converter campos Any em JSON
- [SPARK-43404] [SC-130586][ss] Ignorar a reutilização do arquivo sst para a mesma versão do RocksDB armazenamento do estado para evitar erro de incompatibilidade de id
- [SPARK-43397] [SC-130614][core] log executor decommission duração in
executorLost
method - [SPARK-42388] [SC-128568][sql] Evite Parquet leituras de rodapé duas vezes no leitor vetorizado
- [SPARK-43306] [13.x][sc-130320][Python] Migrar ValueError dos tipos Spark SQL para a classe de erro
- [SPARK-43337] [SC-130353] [ui] [3,4] Os ícones de seta ASC/Desc para classificar a coluna não são exibidos na coluna da tabela
- [SPARK-43279] [SC-130351] [core] Limpe membros não utilizados de
SparkHadoopUtil
- [SPARK-43250] [SC-130147] [sql] Substitua a classe de erro
_LEGACY_ERROR_TEMP_2014
por um erro interno - [SPARK-43363] [SC-130299][sql][Python] Fazer a chamada
astype
para o tipo de categoria somente quando o tipo de seta não for fornecido - [SPARK-43261] [SC-130154][Python] Migrar
TypeError
dos tipos Spark SQL para a classe de erro - [SPARK-41971] [SC-130230][sql][Python] Adicionar uma configuração para a conversão Pandas como lidar com tipos de estrutura
- [SPARK-43381] [SC-130464] [conectar] Torne 'transformStatCov' preguiçoso
- [SPARK-43362] [SC-130481][sql] Tratamento especial do tipo JSON para o conector MySQL
- [SPARK-42843] [SC-130196] [sql] Atualize a classe de erro _LEGACY_ERROR_TEMP_2007 para REGEX_GROUP_INDEX
- [SPARK-42585] [SC-129968][connect] transmissão de relações locais
- [SPARK-43181] [SC-130476][sql] Mostrar WebURL da interface do usuário no shell
spark-sql
- [SPARK-43051] [SC-130194][connect] Adicionar opção para emitir valores de default
- [SPARK-43204] [SC-129296][sql] Alinhar atribuições de mesclagem com atributos de tabela
- [SPARK-43348] [SC-130082][Python] Suporte
Python 3.8
no PyPy3 - [SPARK-42845] [SC-130078] [sql] Atualize a classe de erro _LEGACY_ERROR_TEMP_2010 para InternalError
- [SPARK-43211] [SC-128978] [hive] Remova o suporte ao Hadoop2 no IsolatedClientLoader
Ambiente do sistema
- Sistema operacional : Ubuntu 22.04.2 LTS
- Java : Zulu 8.70.0.23-CA-linux64
- Scala : 2.12.15
- Python : 3.10.12
- R : 4.2.2
- Delta Lake : 2.4.0
Instalado Python biblioteca
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
apronta | 1.4.4 | argônio-2-cffi | 21,3,0 | ligações argônio-2-cffi | 21.2.0 |
asttokens | 2.2.1 | atrai | 21,4,0 | chamada de volta | 0.2.0 |
linda sopa 4 | 4.11.1 | preto | 22.6.0 | cândida | 4.1.0 |
pisca-pisca | 1.4 | boto3 | 1,24,28 | botocore | 1,27,28 |
certifi | 2022.9.14 | caffi | 1.15.1 | chardet | 4.0.0 |
normalizador de conjuntos de caracteres | 2.0.4 | clique | 8.0.4 | criptografia | 37,0.1 |
ciclador | 0.11.0 | Cython | 0,29,32 | databricks-sdk | 0.1.6 |
dbus-Python | 1.2.18 | depurar | 1.5.1 | decorador | 5.1.1 |
xml desfundido | 0.7.1 | distlib | 0.3.6 | docstring-to-markdown | 0,12 |
pontos de entrada | 0,4 | execução | 1.2.0 | visão geral das facetas | 1.0.3 |
esquema fastjson | 2.16.3 | bloqueio de arquivo | 3.12.0 | ferramentas de fonte | 4,25.0 |
googleapis-common-protos | 1.56,4 | grócio | 1.48,1 | status de grpcio | 1.48,1 |
httplib2 | 0,20.2 | Índia | 3.3 | importlib-metadados | 4.6.4 |
ipykernel | 6.17.1 | ipython | 8.10.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.7.2 | jedi | 0,18.1 | jeepney | 0.7.1 |
Jinja 2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.2.0 |
esquema json | 4.16.0 | cliente jupyter | 7.3.4 | jupyter_core | 4.11.2 |
pigmentos jupyterlab | 0.1.2 | widgets jupyterlab | 1.0.0 | chaveiro | 23,5,0 |
solucionador de kiwi | 1.4.2 | launchpadlib | 1,10,16 | lazr.restfulclient | 0,14.4 |
lazr.uri | 1.0.6 | MarkupSafe | 2.0.1 | Matplotlib | 3.5.2 |
matplotlib-inline | 0.1.6 | mccabe | 0.7.0 | confundir | 0,8.4 |
mais ferramentas de iteração | 8.10.0 | extensões mypy | 0.4.3 | cliente nb | 0,5.13 |
nbconvert | 6.4.4 | formato nb | 5.5.0 | nest-assíncio | 1.5.5 |
nodeenv | 1.8.0 | notebook | 6.4,12 | entorpecido | 1,21,5 |
oauthlib | 3.2.0 | fazendo às malas | 21,3 | Pandas | 1.4.4 |
filtros pandóicos | 1.5.0 | parso | 0,8.3 | especificação do caminho | 0.9.0 |
bode expiatório | 0.5.2 | esperar | 4.8.0 | picles | 0.7.5 |
Travesseiro | 9.2.0 | pip | 22.2.2 | platformdirs | 2.5.2 |
Plotly | 5.9.0 | plugado | 1.0.0 | cliente prometheus | 0,14.1 |
kit de ferramentas de aviso | 3,0,36 | protobuf | 3.19.4 | pistila | 5.9.0 |
psycopg2 | 2.9.3 | processo pty | 0.7.0 | avaliação pura | 0.2.2 |
flecha | 8.0.0 | pycparser | 2,21 | pidântico | 1.10.6 |
flocos | 3.0.1 | Pigmentos | 2.11.2 | Objeto PYG | 3,42,1 |
PyJWT | 2.3.0 | pyodbc | 4,0,32 | análise de pipa | 3.0.9 |
direito autoral | 1,1,294 | persistente | 0,18.0 | Python-dateutil | 2.8.2 |
Python-lsp-jsonrpc | 1.0.0 | Python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 |
pytz | 2022,1 | pizma | 23.2,0 | pedidos | 2.28,1 |
corda | 1.7.0 | transferência s3 | 0.6.0 | scikit-learn | 1.1.1 |
pegajoso | 1.9.1 | marítimo | 0.11.2 | Armazenamento secreto | 3.3.1 |
Enviar 2 lixeiras | 1.8.0 | ferramentas de configuração | 63,4.1 | seis | 1,16.0 |
peneira | 2.3.1 | ID de importação ssh | 5,11 | dados de pilha | 0.6.2 |
modelos de estatísticas | 0,13.2 | tenacidade | 8.1.0 | terminado | 0.13.1 |
caminho de teste | 0.6.0 | threadpool ctl | 2.2.0 | tokenizar-rt | 4.2.1 |
tomli | 2.0.1 | tornado | 6.1 | almôndegas | 5.1.1 |
extensões_de digitação | 4.3.0 | junhão | 5.4.0 | atualizações autônomas | 0,1 |
urllib3 | 1,26.11 | ambiente virtual | 20.16.3 | wadlib | 1.3.6 |
largura do wc | 0.2.5 | codificações da web | 0.5.1 | qual é o patch | 1.0.2 |
Python wheel | 0,37,1 | extensão widgetsnb | 3.6.1 | yapf | 0,31,0 |
zíper | 1.0.0 |
Instalou a R biblioteca
As bibliotecas R são instaladas a partir do Snapshot Microsoft CRAN em 2023-02-10.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
flecha | 10.0.1 | askpass | 1.1 | afirme que | 0.2.1 |
portas traseiras | 1.4.1 | base | 4.2.2 | base64enc | 0,1-3 |
pouco | 4.0.5 | bit64 | 4.0.5 | bolha | 1.2.3 |
inicialização | 1,3-28 | fermentar | 1,0-8 | brio | 1.1.3 |
vassoura | 1.0.3 | babião | 0.4.2 | cachem | 1.0.6 |
chamador | 3.7.3 | cursor | 6,0-93 | guarda de celas | 1.1.0 |
crono | 2,3-59 | Aula | 7,3-21 | CLIPE | 3.6.0 |
clipe | 0,8.0 | relógio | 0.6.1 | Cluster | 2.1.4 |
ferramentas de código | 0,2-19 | espaço de cores | 2,1-0 | marca comum | 1.8.1 |
compilador | 4.2.2 | configuração | 0.3.1 | cpp11 | 0.4.3 |
giz de cera | 1.5.2 | Credenciais | 1.3.2 | cacho | 5.0.0 |
data.tabela | 1,14.6 | conjunto de dados | 4.2.2 | DBI | 1.1.3 |
dbplyr | 2.3.0 | desc | 1.4.2 | ferramentas de desenvolvimento | 2.4.5 |
diff | 0.3.5 | digerir | 0.6.31 | iluminado | 0.4.2 |
dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1,7-13 |
reticências | 0.3.2 | avalie | 0,20 | fansi | 1.0.4 |
colorista | 2.1.1 | mapa rápido | 1.1.0 | fontawesome | 0.5.0 |
para gatos | 1.0.0 | para cada um | 1.5.2 | estrangeira | 0,8-82 |
forjar | 0.2.0 | fs | 1.6.1 | futuro | 1,31,0 |
futuro.aplique | 1.10.0 | gargarejar | 1.3.0 | genéricas | 0.1.3 |
obter | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
gitcreds | 0.1.2 | glmnet | 4,1-6 | globais | 0,16.2 |
cola | 1.6.2 | google drive | 2.0.0 | planilhas do Google 4 | 1.0.1 |
goleiro | 1.0.1 | gráficos | 4.2.2 | Dispositivos GR | 4.2.2 |
grade | 4.2.2 | Grid Extra | 2.3 | gsubfn | 0,7 |
mesa | 0.3.1 | capacete | 1.2.0 | refúgio | 2.5.1 |
mais alto | 0,10 | HMS | 1.1.2 | ferramentas html | 0.5.4 |
widgets html | 1.6.1 | http.uv | 1.6.8 | httr | 1.4.4 |
IDs | 1.0.1 | mini | 0.3.1 | ipred | 0,9-13 |
isóbanda | 0.2.7 | iteradores | 1,0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.4 | Kern Smooth | 2,23-20 | tricotar | 1,42 |
rótulo | 0.4.2 | posteriormente | 1.3.0 | treliça | 0,20-45 |
lava | 1.7.1 | ciclo de vida | 1.0.3 | ouvindo | 0.9.0 |
lubrificar | 1.9.1 | magritter | 2.0.3 | Markdown | 1.5 |
MASSA | 7,3-58,2 | Matriz | 1,5-1 | memoise | 2.0.1 |
métodos | 4.2.2 | mgcv | 1,8-41 | mímica | 0,12 |
Mini UI | 0.1.1.1 | Métricas do modelo | 1.2.2.2 | modelar | 0.1.10 |
munsell | 0.5.0 | nome | 3,1-162 | net | 7,3-18 |
Número Deriv | 2016,8-1,1 | openssl | 2.0.5 | paralelo | 4.2.2 |
paralelamente | 1,34,0 | pilar | 1.8.1 | pkgbuild | 1.4.0 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | carregamento de pacotes | 1.3.2 |
plogr | 0.2.0 | plyr | 1.8.8 | elogio | 1.0.0 |
unidades bonitas | 1.1.1 | ProC | 1,18.0 | processa | 3.8.0 |
prodlim | 13/11/2019 | profvis | 0.3.7 | progresso | 1.2.2 |
progressista | 0,13,0 | promessas | 1.2.0.1 | proto | 1.0.0 |
proxy | 0,4-27 | ps | 1.7.2 | ronronar | 1.0.1 |
r2d3 | 0.2.6 | R6 | 2.5.1 | trapo | 1.2.5 |
Floresta aleatória | 4,7-1,1 | corredeiras | 0.3.3 | rcmdcheck | 1.4.0 |
Cervejaria RColor | 1,1-3 | Rcpp | 1.0.10 | RCP Pegen | 0.3.3.9.3 |
leitor | 2.1.3 | readxl | 1.4.2 | receitas | 1.0.4 |
revanche | 1.0.1 | revanche 2 | 2.1.2 | controles remotos | 2.4.2 |
reprex | 2.0.2 | remodelar 2 | 1.4.4 | rlang | 1.0.6 |
rmarkdown | 2,20 | RODBC | 1,3-20 | roxigênio2 | 7.2.3 |
rpartem | 4.1.19 | rprojroot | 2.0.3 | Reservar | 1,8-12 |
RSQLite | 2.2.20 | API do estúdio | 0,14 | reversões | 2.1.2 |
colete | 1.0.3 | atrevimento | 0.4.5 | escala | 1.2.1 |
seletor | 0,4-2 | informações da sessão | 1.2.2 | forma | 1.4.6 |
brilhante | 1.7.4 | ferramentas de origem | 0,1,7-1 | Sparklyr | 1.7.9 |
SparkR | 3.4.0 | espacial | 7,3-15 | splines | 4.2.2 |
sqldf | 0,4-11 | QUADRADO | 2021,1 | estatísticas | 4.2.2 |
estatísticas4 | 4.2.2 | stringi | 1.7.12 | longarina | 1.5.0 |
sobrevivência | 3,5-3 | diz | 3.4.1 | fontes do sistema | 1.0.4 |
tcltk | 4.2.2 | teste isso | 3.1.6 | modelagem de texto | 0.3.6 |
petiscar | 3.1.8 | arrumado | 1.3.0 | seleção arrumada | 1.2.0 |
tidyverso | 1.3.2 | mudança de horário | 0.2.0 | Hora/Data | 4022,108 |
tinytex | 0,44 | Ferramentas | 4.2.2 | tzdb | 0.3.0 |
verificador de URL | 1.0.1 | use isso | 2.1.6 | utf 8 | 1.2.3 |
utilidades | 4.2.2 | uuid | 1,1-0 | vctrs | 0.5.2 |
Viridis Lite | 0.4.1 | vadouro | 1.6.1 | waldo | 0.4.0 |
bigode | 0.4.1 | murchar | 2.5.0 | diversão | 0,37 |
xml2 | 1.3.3 | xopen | 1.0.0 | x estável | 1,8-4 |
yaml | 2.3.7 | compactar | 2.2.2 |
Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)
ID do grupo | ID do artefato | Versão |
---|---|---|
chifre | chifre | 2.7.7 |
com.amazonaws | Amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscale | 1,12.390 |
com.amazonaws | formação de nuvem aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1,12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1,12.390 |
com.amazonaws | métricas aws-java-sdk-cloudwatch | 1,12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1,12.390 |
com.amazonaws | identidade cognitiva aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1,12.390 |
com.amazonaws | aws-java-sdk-config | 1,12.390 |
com.amazonaws | aws-java-sdk-core | 1,12.390 |
com.amazonaws | pipeline de dados aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-conexão direta | 1,12.390 |
com.amazonaws | diretório aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1,12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1,12.390 |
com.amazonaws | aws-java-sdk-ecs | 1,12.390 |
com.amazonaws | aws-java-sdk-efs | 1,12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1,12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1,12.390 |
com.amazonaws | balanceamento de carga elástico aws-java-sdk | 1,12.390 |
com.amazonaws | transcodificador elástico aws-java-sdk- | 1,12.390 |
com.amazonaws | aws-java-sdk-emr | 1,12.390 |
com.amazonaws | aws-java-sdk-glacier | 1,12.390 |
com.amazonaws | aws-java-sdk-glue | 1,12.390 |
com.amazonaws | aws-java-sdk-iam | 1,12.390 |
com.amazonaws | aws-java-sdk-importação/exportação | 1,12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1,12.390 |
com.amazonaws | aws-java-sdk-kms | 1,12.390 |
com.amazonaws | aws-java-sdk-lambda | 1,12.390 |
com.amazonaws | aws-java-sdk-logs | 1,12.390 |
com.amazonaws | aws-java-sdk - aprendizado de máquina | 1,12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1,12.390 |
com.amazonaws | aws-java-sdk-rds | 1,12.390 |
com.amazonaws | aws-java-sdk-redshift | 1,12.390 |
com.amazonaws | aws-java-sdk-route53 | 1,12.390 |
com.amazonaws | aws-java-sdk-s3 | 1,12.390 |
com.amazonaws | aws-java-sdk-ses | 1,12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1,12.390 |
com.amazonaws | aws-java-sdk - fluxo de trabalho simples | 1,12.390 |
com.amazonaws | aws-java-sdk-sns | 1,12.390 |
com.amazonaws | aws-java-sdk-sqs | 1,12.390 |
com.amazonaws | aws-java-sdk-ssm | 1,12.390 |
com.amazonaws | gateway de armazenamento aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-sts | 1,12.390 |
com.amazonaws | suporte aws-java-sdk | 1,12.390 |
com.amazonaws | aws-java-sdk-swf-biblioteca | 1.11.22 |
com.amazonaws | aws-java-sdk-workspace | 1,12.390 |
com.amazonaws | jmespath-java | 1,12.390 |
com.clearspring.analítica | transmissão | 2.9.6 |
com.databricks | Reservar | 1,8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | plugin_2.12 do compilador | 0,4,15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0,4,15-10 |
com.esotérico software | crio-sombreado | 4.0.2 |
com.esotérico software | minlog | 1.3.0 |
com.fasterxml | colega de classe | 1.3.4 |
com.fasterxml.jackson.core | jackson-anotação | 2.14.2 |
com.fasterxml.jackson.core | jackson-core | 2.14.2 |
com.fasterxml.jackson.core | vinculação de dados jackson | 2.14.2 |
formato de dados com.fasterxml.jackson. | formato de dados jackson-cbor | 2.14.2 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-joda | 2.14.2 |
com.fasterxml.jackson.tipo de dados | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | parâmetro do módulo jackson | 2.14.2 |
com.fasterxml.jackson.module | jackson-module-Scala.12 | 2.14.2 |
com.github.ben-manes.cafeína | cafeína | 2.9.3 |
com.github.fommil | descarregador | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 - nativos |
com.github.fommil.netlib | sistema_nativo-java | 1.1 |
com.github.fommil.netlib | sistema_nativo-java | 1.1 - nativos |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 - nativos |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 - nativos |
com.github.luben | zstd-jni | 1,5,2-5 |
com.github.wendykierp | JTransforma | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.9 |
com.google.crypto.tink | eu acho | 1.7.0 |
com.google.propenso a erros | anotações propensas a erros | 2.10.0 |
com.google.flatbuffers | tampões planos-java | 1.12.0 |
com.google.goiaba | goiaba | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
banco de dados com.h2 | h2 | 2.1.214 |
com.helger | perfilador | 1.1.1 |
com.jcraft | jsch | 0,1,55 |
com.jolbox | bonecp | VERSÃO 0.8.0. |
com.lihaoyi | código-fonte_2.12 | 0.1.9 |
com.microsoft.azure | azure-data lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-JDBC | 11.2.2. jre8 |
comendo | comprimir-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.trunning | JSON | 1,8 |
com.thoughtworks.paranamer | paranâmero | 2.8 |
com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
com.Twitter | chill-java | 0.10.0 |
com.Twitter | chill_2.12 | 0.10.0 |
com.Twitter | util-app_2.12 | 7.1.0 |
com.Twitter | util-core_2.12 | 7.1.0 |
com.Twitter | função-útil_2.12 | 7.1.0 |
com.Twitter | util-jvm_2.12 | 7.1.0 |
com.Twitter | util-lint_2.12 | 7.1.0 |
com.Twitter | util-registry_2.12 | 7.1.0 |
com.Twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuração | 1.2.1 |
com.typesafe.Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocidade | analisadores de univocidade | 2.9.1 |
com.zaxxer | HikaricP | 4.0.3 |
comum-CLI | comum-CLI | 1.5.0 |
codec comum | codec comum | 1,15 |
coleções comuns | coleções comuns | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
upload de arquivo commons | upload de arquivo commons | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
linguagem comum | linguagem comum | 2.6 |
registro de bens comuns | registro de bens comuns | 1.1.3 |
comum-pool | comum-pool | 1.5.4 |
dev.ludovic.netlib | mochila | 3.0.3 |
dev.ludovic.netlib | blás | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io. airlift | compressor de ar | 0,21 |
io.delta | delta-compartilhamento-spark_2.12 | 0.7.0 |
io.dropwizard.métricas | núcleo de métricas | 4.2.10 |
io.dropwizard.métricas | métricas-grafite | 4.2.10 |
io.dropwizard.métricas | métricas-healthchecks | 4.2.10 |
io.dropwizard.métricas | métricas-jetty9 | 4.2.10 |
io.dropwizard.métricas | métricas-jmx | 4.2.10 |
io.dropwizard.métricas | métricas-JSON | 4.2.10 |
io.dropwizard.métricas | métricas-JVM | 4.2.10 |
io.dropwizard.métricas | métricas-servlets | 4.2.10 |
io.netty | tudo | 4.1.87. Final |
io.netty | netty-buffer | 4.1.87. Final |
io.netty | codec netty | 4.1.87. Final |
io.netty | netty-codec-http | 4.1.87. Final |
io.netty | netty-codec-http2 | 4.1.87. Final |
io.netty | netty-codec-socks | 4.1.87. Final |
io.netty | netty-common | 4.1.87. Final |
io.netty | manipulador de limpeza | 4.1.87. Final |
io.netty | proxy netty-handler | 4.1.87. Final |
io.netty | resolvedor de rede | 4.1.87. Final |
io.netty | transporte de urtigas | 4.1.87. Final |
io.netty | netty-transport-classes-epoll | 4.1.87. Final |
io.netty | netty-transport-classes-kqueue | 4.1.87. Final |
io.netty | netty-transport-native-epoll | 4.1.87. Final |
io.netty | netty-transport-native-epoll | 4.1.87. Final-Linux-AARCH_64 |
io.netty | netty-transport-native-epoll | 4.1.87. Final-Linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.87. Final-OSX-AARCH_64 |
io.netty | netty-transport-native-kqueue | 4.1.87. Final-OSX-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.87. Final |
io. prometheus | cliente simples | 0.7.0 |
io. prometheus | simpleclient_common | 0.7.0 |
io. prometheus | simpleclient_dropwizard | 0.7.0 |
io. prometheus | gateway client_push simples | 0.7.0 |
io. prometheus | client_servlet simples | 0.7.0 |
io.prometheus.jmx | coletor | 0.12.0 |
jakarta.anotação | jakarta.anotação-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validação | jakarta.validação-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.ativação | ativação | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | API de transação | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolução | javolução | 5.5.1 |
junte-se | junte-se | 2.14.6 |
hora do dia | hora do dia | 2.12.1 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | salmoura | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | supercsv | 2.2.0 |
net.snowflake | SDK de ingestão de flocos de neve | 0.9.6 |
net.snowflake | floco de neve-JDBC | 3,13,29 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | chá remoto - oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | modelo de string | 3.2.1 |
org.apache.ant | formiga | 1.9.16 |
org.apache.ant | formiga | 1.9.16 |
org.apache.ant | lançador de formigas | 1.9.16 |
org.apache.arrow | formato de seta | 11.0.0 |
org.apache.arrow | núcleo de memória de seta | 11.0.0 |
org.apache.arrow | rede de memória de seta | 11.0.0 |
org.apache.arrow | vetor de seta | 11.0.0 |
org.apache.avro | AVRO | 1.11.1 |
org.apache.avro | avro-ipc | 1.11.1 |
org.apache.avro | mapeado automaticamente | 1.11.1 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | compressa comum | 1,21 |
org.apache.commons | criptomoeda comum | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | texto comum | 1.10.0 |
org.apache.curator | curador-cliente | 2.13.0 |
org.apache.curator | estrutura de curador | 2.13.0 |
org.apache.curator | receitas de curadores | 2.13.0 |
org.apache.datasketches | esboços de dados-java | 3.1.0 |
org.apache.datasketches | memória de esboços de dados | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | tempo de execução do cliente hadoop | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | colmeia-CLI | 2.3.9 |
org.apache.hive | hive-JDBC | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-lap-common | 2.3.9 |
org.apache.hive | colmeia | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | API de armazenamento em nuvem | 2.8.1 |
org.apache.hive.shims | calços de colmeia - 0,23 | 2.3.9 |
org.apache.hive.shims | calços de colmeia comuns | 2.3.9 |
org.apache.hive.shims | hive-shims-programador | 2.3.9 |
org.apache.httpcomponents | cliente http | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | hera | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
org.apache.logging.log4j | log4j-api | 2.19.0 |
org.apache.logging.log4j | log4j-core | 2.19.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
org.apache.mesos | mesos | Protobuf 1.11.0 sombreado |
org.apache.orc | núcleo orc | Protobuf 1.8.3 sombreado |
org.apache.orc | orc-mapreduce | Protobuf 1.8.3 sombreado |
org.apache.orc | calços de orc | 1.8.3 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4,22 |
org.apache.yetus | audiência-anotação | 0,13,0 |
org.apache.zookeeper | tratador | 3.6.3 |
org.apache.zookeeper | tratador de zoológico - juta | 3.6.3 |
org.checkerframework | xadrez igual | 3.19.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | compilador common | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | núcleo de dados-api-jdo | 4.2.4 |
org.datanucleus | núcleo de dados | 4.1.17 |
org.datanucleus | núcleo de dados-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3,2,0-m3 |
org.Eclipse.jetty | jetty-client | 9.4.50.v 20221201 |
org.Eclipse.jetty | continuação do cais | 9.4.50.v 20221201 |
org.Eclipse.jetty | jetty-http | 9.4.50.v 20221201 |
org.Eclipse.jetty | jetty-io | 9.4.50.v 20221201 |
org.Eclipse.jetty | jetty-jndi | 9.4.50.v 20221201 |
org.Eclipse.jetty | jetty-plus | 9.4.50.v 20221201 |
org.Eclipse.jetty | jetty-proxy | 9.4.50.v 20221201 |
org.Eclipse.jetty | segurança do cais | 9.4.50.v 20221201 |
org.Eclipse.jetty | servidor jetty-server | 9.4.50.v 20221201 |
org.Eclipse.jetty | jutty-servlet | 9.4.50.v 20221201 |
org.Eclipse.jetty | píer de servlets | 9.4.50.v 20221201 |
org.Eclipse.jetty | jetty-util | 9.4.50.v 20221201 |
org.Eclipse.jetty | jetty-util-ajax | 9.4.50.v 20221201 |
org.Eclipse.jetty | aplicativo web jetty- | 9.4.50.v 20221201 |
org.Eclipse.jetty | jetty-xml | 9.4.50.v 20221201 |
org.Eclipse.jetty.websocket | API de websoquete | 9.4.50.v 20221201 |
org.Eclipse.jetty.websocket | cliente websocket | 9.4.50.v 20221201 |
org.Eclipse.jetty.websocket | websocket-comum | 9.4.50.v 20221201 |
org.Eclipse.jetty.websocket | servidor websocket | 9.4.50.v 20221201 |
org.Eclipse.jetty.websocket | servlet websocket | 9.4.50.v 20221201 |
org.fusesource.leveldbjni | leveldbjni-tudo | 1,8 |
org.glassfish.hk2 | API hk2 | 2.6.1 |
org.glassfish.hk2 | localizador hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-recurso-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance - reembalado | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | servlet de contêiner de camisa | 2,36 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2,36 |
org.glassfish.jersey.core | cliente de camisa | 2,36 |
org.glassfish.jersey.core | camiseta comum | 2,36 |
org.glassfish.jersey.core | servidor de camisa | 2,36 |
org.glassfish.jersey.inject | camiseta-hk2 | 2,36 |
org.hibernate.validator | validador de hibernação | 6.1.7. Final |
org.javassist | javassist | 3,25,0 GA |
org.jboss.logging | registro de jboss-logging | 3.3.2. Final |
org.jdbi | jdbi | 2.63,1 |
org.jetbrains | anotação | 17.0.0 |
org.joda | conversor de joda | 1.7 |
org.jodd | núcleo nodular | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3,7,0-M11 |
org.json4s | json4s-core_2.12 | 3,7,0-M11 |
org.json4s | json4s-jackson_2.12 | 3,7,0-M11 |
org.json4s | json4s-scalap_2.12 | 3,7,0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.JDBC | cliente mariadb-java | 2.7.4 |
org.mlflow | faísca de fluxo | 2.2.0 |
org.objenesis | objênese | 2.5.1 |
org.postgresql | PostgreSQL | 42,3,8 |
org.roaringbitmap | Mapa de bits estrondoso | 0,9,39 |
org.roaringbitmap | calços | 0,9,39 |
org.rocksdb | rocksdbjni | 7.8.3 |
org.rosuda.rEngine | Motor | 2.1.0 |
org.Scala-lang | Scala-compiler_2.12 | 2.12.15 |
org.Scala-lang | Scala-biblioteca.12 | 2.12.15 |
org.Scala-lang | Scala-reflect_2.12 | 2.12.15 |
org.Scala-lang.modules | Scala-collection-compat_2.12 | 2.4.3 |
org.Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
org.Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
org.Scala-sbt | interface de teste | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | compatível com scalatest | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | diagramas de teste de escala_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatestfreespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest - deve corresponders_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.6 |
org.slf4j | jul-a-slf4j | 2.0.6 |
org.slf4j | slf4j-api | 2.0.6 |
org.threeten | treze e mais | 1.7.1 |
org.tukaani | xz | 1,9 |
org.typelevel | álgebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0,17.0 |
org.typelevel | spire-platform_2.12 | 0,17.0 |
org.typelevel | spire-util_2.12 | 0,17.0 |
org.typelevel | spire_2.12 | 0,17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3. Final |
org.xerial | sqlite-JDBC | 3,42.0.0 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1,33 |
oro | oro | 2.0.8 |
pt.edu.icm | Matrizes JLarge | 1.5 |
software.Amazon.cryptools | Amazon Correcto Crypto Provider | 1.6.1-linux-x86_64 |
software.Amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |