Pular para o conteúdo principal

Databricks Runtime 13,1 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 13.1, alimentado por Apache Spark 3.4.0.

A Databricks lançou essa versão em maio de 2023.

nota

Estas notas sobre a versão podem incluir referências a recursos que não estão disponíveis no Google Cloud a partir desta versão.

Novos recursos e melhorias

suporte a clustering para JDK 17 (visualização pública)

Databricks agora oferece suporte a clustering para o Java Development Kit (JDK) 17. Consulte Databricks SDK para Java.

Adicionar, alterar ou excluir dados nas tabelas de transmissão

Agora o senhor pode usar instruções DML para modificar tabelas de transmissão publicadas em Unity Catalog pelo pipeline DLT. Consulte Adicionar, alterar ou excluir dados em uma tabela de transmissão e Adicionar, alterar ou excluir dados em uma tabela de transmissão de destino. O senhor também pode usar instruções DML para modificar tabelas de transmissão criadas no Databricks SQL.

Ler o Kafka com SQL

Agora o senhor pode usar a função read_kafka SQL para ler os dados do Kafka. A transmissão com SQL é suportada somente em DLT ou com tabelas de transmissão em Databricks SQL. Veja read_kafka função com valor de tabela.

Novas funções do SQL integrado

As seguintes funções foram adicionadas:

Unity Catalog suporte para escopo de cluster biblioteca Python

O Unity Catalog tem algumas limitações quanto ao uso da biblioteca. Em Databricks Runtime 13.1 e acima, há suporte para Python biblioteca com escopo de cluster, incluindo arquivos Python wheel que são carregados como arquivos workspace. Não há suporte para biblioteca referenciada usando caminhos de arquivo DBFS, seja no site DBFS root ou em um local externo montado em DBFS. Não há suporte paraPython biblioteca. Ver biblioteca de agrupamento.

Em Databricks Runtime 13.0 e abaixo, não há suporte para biblioteca com escopo de cluster em clusters que usam o modo de acesso padrão (anteriormente modo de acesso compartilhado) em um Catálogo Unity habilitado workspace.

Capacitação ampliada do site default para gravações otimizadas em Unity Catalog

O suporte padrão de gravação otimizada para tabelas Delta registradas em Unity Catalog foi ampliado para incluir CTAS declarações e INSERT operações para tabelas particionadas. Esse comportamento se alinha ao padrão no armazém SQL. Consulte Gravações otimizadas para Delta Lake em Databricks.

Suporte avançado para operadores com estado em cargas de trabalho de transmissão estruturada

Agora é possível encadear vários operadores com estado, o que significa que o senhor pode alimentar a saída de uma operação, como uma agregação com janela, com outra operação com estado, como join. Consulte O que é transmissão stateful?

O clone Delta para o Unity Catalog está em visualização pública

Agora, o senhor pode usar o shallow clone para criar novas tabelas gerenciar Unity Catalog a partir de tabelas gerenciar Unity Catalog existentes. Consulte Shallow clone para tabelas do Unity Catalog.

Suporte Pub/Sub para transmissão estruturada

Agora o senhor pode usar um conector integrado para assinar o Google Pub/Sub com transmissão estruturada. Consulte Inscrever-se no Google Pub/Sub.

Eliminar duplicatas em marcas d'água na transmissão estruturada

Agora é possível usar o site dropDuplicatesWithinWatermark em combinação com um limite de marca d'água especificado para deduplicar registros na transmissão estruturada. Consulte Eliminar duplicatas dentro da marca d'água.

Suporte ampliado para conversões Delta de tabelas Iceberg com colunas de partição truncadas

Agora o senhor pode usar CLONE e CONVERT TO DELTA com tabelas Iceberg que tenham partições definidas em colunas truncadas dos tipos int, long e string. Colunas truncadas do tipo decimal não são suportadas.

mudanças no esquema de transmissão com mapeamento de coluna em Delta Lake

Agora o senhor pode fornecer um local de acompanhamento de esquema para permitir a transmissão de Delta tabelas com mapeamento de coluna ativado. Veja a transmissão com mapeamento de colunas e alterações no esquema.

Remover começar VERSION

START VERSION agora está obsoleto para ALTER SHARE.

Novas expressões H3 disponíveis com Python

As expressões h3_coverash3 e h3_coverash3string estão disponíveis no Python.

Correções de bugs

O Parquet failOnUnknownFields não mais elimina silenciosamente os dados em caso de incompatibilidade de tipo

Se um arquivo Parquet foi lido apenas com a opção failOnUnknownFields ou com o Auto Loader no modo de evolução do esquema failOnNewColumns, as colunas que têm tipos de dados diferentes agora falham e recomendam o uso do rescuedDataColumn. O Auto Loader agora lê corretamente e não resgata mais os tipos Integer, Short ou Byte se um desses tipos de dados for fornecido. O arquivo Parquet sugere um dos outros dois tipos.

Alterações importantes

Atualize a versão do sqlite-JDBC para 3.42.0.0 para resolver o problema CVE-2023-32697

Atualize a versão do sqlite-JDBC de 3.8.11.2 para 3.42.0.0. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a versão 3.8.11.2. Se estiver usando o sqlite-JDBC em seu código, verifique o relatório de compatibilidade do sqlite-JDBC para obter detalhes. Se você migrar para 13.1 e usar o sqlite, confirme seus métodos e digite de retorno na versão 3.42.0.0.

Atualizações da biblioteca

  • Atualizado Python biblioteca:

    • visão geral de facetas de 1.0.2 a 1.0.3
    • filelock de 3.10.7 a 3.12.0
    • pyarrow de 7.0.0 a 8.0.0
    • tenacidade de 8.0.1 a 8.1.0
  • Biblioteca R atualizada:

  • Atualizado Java biblioteca:

    • com.github.ben-manes.caffeine.caffeine de 2.3.4 a 2.9.3
    • io.delta.delta-compartilhamento-spark_2.12 de 0.6.8 para 0.6.4
    • net.snowflake.snowflake-JDBC de 3.13.29 para 3.13.22
    • org.checkerframework.checker-qual de 3.5.0 a 3.19.0
    • org.scalactic.scalactic_2.12 de 3.0.8 a 3.2.15
    • org.scalatest.scalatest_2.12 de 3.0.8 a 3.2.15
    • org.xerial.sqlite-JDBC de 3.8.11.2 a 3.42.0.0

Apache Spark

O Databricks Runtime 13.1 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-42719] [DBRRM-199] [sc-131578] Reverter “[SC-125225] `MapOutputTracker #getMap...
  • [SPARK-39696] [DBRRM-166] [sc-130056] [CORE] Reverter [SC-127830]/
  • [SPARK-43331] [SC-130064][connect] Adicionar Spark Connect SparkSession.interruptAll
  • [SPARK-43332] [SC-130051][connect][Python] Possibilitar a extensão do ChannelBuilder para o SparkConnectClient
  • [SPARK-43323] [SC-129966][sql][Python] Corrigir DataFrame.toPandas com Arrow habilitado para tratar corretamente as exceções
  • [SPARK-42940] [SC-129896][ss][CONNECT] Melhorar o gerenciamento de sessões para consultas de transmissão
  • [SPARK-43032] [SC-125756] [CONNECT][ss] Adicionar gerenciador de consultas de transmissão
  • [SPARK-16484] [SC-129975] [sql] Adicionar suporte para Datasketches HLLSketch
  • [SPARK-43260] [SC-129281][Python] Migrar os erros do tipo seta Spark SQL Pandas para a classe de erro.
  • [SPARK-41766] [SC-129964][core] Manipula a solicitação de desativação enviada antes do registro do executor
  • [SPARK-43307] [SC-129971][Python] Migrar erros de valor do PandasUDF para a classe de erro
  • [SPARK-43206] [SC-129903] [SS] [CONNECT] A exceção StreamingQuery () inclui rastreamento de pilha
  • [SPARK-43311] [SC-129905][ss] Adicionar RocksDB armazenamento do estado melhorias no gerenciamento de memória do provedor
  • [SPARK-43237] [SC-129898][core] Manipular mensagem de exceção nula no evento log
  • [SPARK-43320] [SC-129899][sql][HIVE] Chamar diretamente o Hive 2.3.9 API
  • [SPARK-43270] [SC-129897][Python] Implementar __dir__() em pyspark.sql.dataframe.DataFrame para incluir colunas
  • [SPARK-43183] Reverter “[SC-128938] [ss] Introduzir um novo retorno de chamada “...
  • [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
  • [SPARK-43257] [SC-129675] [sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2022 por um erro interno
  • [SPARK-43198] [SC-129470] [conectar] Corrige o erro “Não foi possível inicializar a classe amonite...” ao usar o filtro
  • [SPARK-43165] [SC-129777] [sql] Mover Can Write to DataTypeUtils
  • [SPARK-43298] [SC-129729][Python][ML] predict_batch_udf with scalar input fails with lotes size of one
  • [SPARK-43298] [SC-129700]Reverter "[Python][ml] predict_batch_udf with scalar input fails with lotes size of one"
  • [SPARK-43052] [SC-129663][core] Manipular stacktrace com nome de arquivo nulo no evento log
  • [SPARK-43183] [SC-128938] [ss] Apresente um novo retorno de chamada “onQueryIdle” para StreamingQueryListener
  • [SPARK-43209] [SC-129190][connect][Python] Migrar erros de expressão para a classe de erro
  • [SPARK-42151] [SC-128754][sql] Alinhar atribuições de UPDATE com atributos de tabela
  • [SPARK-43134] [SC-129468] [CONNECT] [SS] API StreamingQuery exception() do cliente JVM
  • [SPARK-43298] [SC-129699][Python][ML] predict_batch_udf with scalar input fails with lotes size of one
  • [SPARK-43248] [SC-129660] [sql] Serialização/desserialização desnecessária do caminho em estatísticas de partição de coleta paralela
  • [SPARK-43274] [SC-129464][spark-43275][Python][connect] Introduzir PySparkNotImplementedError
  • [SPARK-43146] [SC-128804][connect][Python] Implementar avaliação ansiosa para repr e repr_html
  • [SPARK-42953] [SC-129469][connect][Followup] Corrigir a construção do teste Maven para os testes Scala do cliente UDF
  • [SPARK-43144] [SC-129280] API do cliente Scala DataStreamReader table()
  • [SPARK-43136] [SC-129358] [conectar] Adicionando funções GroupByKey + MapGroup + CoGroup
  • [SPARK-43156] [SC-129672][sc-128532][SQL] Corrige o bug COUNT(*) is null em subconsultas escalares correlacionadas
  • [SPARK-43046] [SC-129110] [SS] [Connect] Implementou a API Python dropDuplicatesWithinWatermark para o Spark Connect
  • [SPARK-43199] [SC-129467] [sql] Torne o InLinecte idempotente
  • [SPARK-43293] [SC-129657] [sql] __qualified_access_only deve ser ignorado em colunas normais
  • [SPARK-43276] [SC-129461][connect][Python] Migrar os erros do Spark Connect Window para a classe de erro
  • [SPARK-43174] [SC-129109] [sql] Corrige o completador do driver SparkSqlClid
  • [SPARK-43084] [SC-128654] [SS] Adicionar ApplyInPandas com suporte estadual para Spark Connect
  • [SPARK-43119] [SC-129040][sql] Suporte para obter palavras-chave SQL dinamicamente por meio da API JDBC e TVF
  • [SPARK-43082] [SC-129112][connect][Python] UDFs de Python otimizados por setas em Spark Connect
  • [SPARK-43085] [SC-128432][sql] Suporte à atribuição padrão de colunas para nomes de tabelas com várias partes
  • [SPARK-43226] [LC-671] Definir extratores para metadados constantes de arquivo
  • [SPARK-43210] [SC-129189][connect][Python] Introduzir PySparkAssertionError
  • [SPARK-43214] [SC-129199][sql] Publicar métricas do lado do driver para LocalTableScanExec/CommandResultExec
  • [SPARK-43285] [SC-129347] Corrige falhas consistentes do Reple2esuite com o JDK 17
  • [SPARK-43268] [SC-129249] [sql] Use classes de erro apropriadas quando exceções são construídas com uma mensagem
  • [SPARK-43142] [SC-129299] Corrige expressões DSL em atributos com caracteres especiais
  • [SPARK-43129] [SC-128896] Scala core API para transmissão Spark Connect
  • [SPARK-43233] [SC-129250] [SS] Adicionar registro para Kafka lotes Leitura para partição de tópico, intervalo de deslocamento e ID de tarefa
  • [SPARK-43249] [SC-129195][connect] Corrigir estatísticas ausentes para o comando SQL
  • [SPARK-42945] [SC-129188][connect] Suporte a PYSPARK_JVM_STACKTRACE_ENABLED no Spark Connect
  • [SPARK-43178] [SC-129197][connect][Python] Migrar erros de UDF para a estrutura de erros de PySpark
  • [SPARK-43123] [SC-128494] [sql] Os metadados do campo interno não devem vazar para os catálogos
  • [SPARK-43217] [SC-129205] Repetir corretamente em mapas/matrizes aninhados em FindNestedField
  • [SPARK-43243] [SC-129294][Python][CONNECT] Adicionar parâmetro de nível ao printSchema para Python
  • [SPARK-43230] [SC-129191] [conectar] Simplificar DataFrameNaFunctions.fillna
  • [SPARK-43088] [SC-128403] [sql] O respeito exige distribuição e ordenação em CTAS/RTAS
  • [SPARK-43234] [SC-129192][connect][Python] Migrar ValueError do Conect DataFrame para a classe de erro
  • [SPARK-43212] [SC-129187][ss][Python] Migrar erros de transmissão estruturada para a classe de erro
  • [SPARK-43239] [SC-129186] [ps] Remover null_counts das informações ()
  • [SPARK-43190] [SC-128930] [sql] ListQuery.childOutput deve ser consistente com a saída secundária
  • [SPARK-43191] [SC-128924][core] Substitua a reflexão por uma chamada direta para o Hadoop CallerContext
  • [SPARK-43193] [SC-129042] [ss] Remova a solução alternativa para o HADOOP-12074
  • [SPARK-42657] [SC-128621] [conectar] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
  • [SPARK-43098] [SC-77059] [sql] Corrige a correção do erro COUNT quando a subconsulta escalar tem cláusula group by
  • [SPARK-43213] [SC-129062][Python] Add DataFrame.offset to vanilla PySpark
  • [SPARK-42982] [SC-128400][connect][Python] Corrigir o createDataFrame para respeitar o ddl do esquema fornecido
  • [SPARK-43124] [SC-129011][sql] dataset.show projects CommandResults localmente
  • [SPARK-42998] [SC-127422][connect][Python] Corrigir DataFrame.collect com estrutura nula
  • [SPARK-41498] [SC-125343] Reverter ” Propagar metadados por meio do Union”
  • [SPARK-42960] [SC-129010] [CONNECT] [SS] Adicionar await_termination() e exception() API para a transmissão Query in Python
  • [SPARK-42552] [SC-128824] [sql] Corrija a estratégia de análise de dois estágios do analisador antlr
  • [SPARK-43207] [SC-128937] [conectar] Adicione funções auxiliares para extrair valor da expressão literal
  • [SPARK-43186] [SC-128841] [sql] [HIVE] Remova a solução alternativa para FileSinkDesc
  • [SPARK-43107] [SC-128533][sql] Coalesce buckets em join aplicado na transmissão join lado da transmissão
  • [SPARK-43195] [SC-128922] [core] Remova o invólucro serializável desnecessário no HadoopFSUtils
  • [SPARK-43137] [SC-128828] [sql] Melhore ArrayInsert se a posição for dobrável e positiva.
  • [SPARK-37829] [SC-128827][sql] Dataframe.joinWith outer-join deve retornar um valor nulo para a linha não correspondente
  • [SPARK-43042] [SC-128602] [SS] [Connect] Adicionar suporte à API table() para DataStreamReader
  • [SPARK-43153] [SC-128753][connect] Pular a execução do Spark quando o dataframe for local
  • [SPARK-43064] [SC-128496][sql] Spark SQL CLI SQL tab só deve mostrar uma declaração uma vez
  • [SPARK-43126] [SC-128447][sql] Marcar duas expressões Hive UDF como stateful
  • [SPARK-43111] [SC-128750][ps][CONNECT][Python] mesclar declarações if aninhadas em declarações if únicas
  • [SPARK-43113] [SC-128749][sql] Avaliar variáveis do lado da transmissão ao gerar código para uma condição vinculada
  • [SPARK-42895] [SC-127258][connect] Melhorar as mensagens de erro para sessões Spark interrompidas
  • [SPARK-42884] [SC-126662] [conectar] Adicionar integração Ammonite REPL
  • [SPARK-43168] [SC-128674] [sql] Remova o método get PhysicalDataType da classe Datatype
  • [SPARK-43121] [SC-128455] [sql] Use BytesWritable.copyBytes em vez da cópia manual em `HiveInspectors
  • [SPARK-42916] [SC-128389] [sql] JdbcTableCatalog mantém a meta Char/Varchar no lado de leitura
  • [SPARK-43050] [SC-128550] [sql] Corrige a construção de expressões agregadas substituindo funções de agrupamento
  • [SPARK-43095] [SC-128549][sql] Evite que a idempotência da estratégia Once seja quebrada para lotes: Infer Filters
  • [SPARK-43130] [SC-128597] [sql] Mover tipo interno para tipo de dados físico
  • [SPARK-43105] [SC-128456][connect] Abreviar bytes e strings na mensagem proto
  • [SPARK-43099] [SC-128596][sql] Use getName em vez de getCanonicalName para obter o nome da classe do construtor ao registrar o udf no FunctionRegistry
  • [SPARK-42994] [SC-128586][ml][CONNECT] PyTorch Suporte ao distribuidor local Mode
  • [SPARK-42859] Reverter "[SC-127935][connect][PS] Suporte básico para Pandas API em Spark Connect"
  • [SPARK-43021] [SC-128472] [sql] CoalesceBucketsInJoin não funciona ao usar o AQE
  • [SPARK-43125] [SC-128477] [conectar] Corrigir que o Connect Server não consegue lidar com exceção com mensagem nula
  • [SPARK-43147] [SC-128594] corrige o lint flake8 para verificação local
  • [SPARK-43031] [SC-128360] [SS] [Connect] Habilitar teste de unidade e doctest para transmissão
  • [SPARK-43039] [LC-67] Ofereça suporte a campos personalizados na coluna _metadata da fonte do arquivo.
  • [SPARK-43120] [SC-128407][ss] Adicionar suporte para acompanhamento de blocos de pinos de uso de memória para RocksDB armazenamento do estado
  • [SPARK-43110] [SC-128381] [sql] Mover como integral para o tipo de dados físicos
  • [SPARK-43118] [SC-128398] [ss] Remova a declaração desnecessária para UninterruptibleThread no KafkaMicrobatchStream
  • [SPARK-43055] [SC-128331][connect][Python] Suporte a nomes de campos aninhados duplicados
  • [SPARK-42437] [SC-128339][Python][CONNECT] PySpark catalog.cacheTable permitirá especificar o nível de armazenamento
  • [SPARK-42985] [SC-128332][connect][Python] Corrigir createDataFrame para respeitar as configurações de SQL
  • [SPARK-39696] [SC-127830] [core] Corrige a corrida de dados no acesso a taskmetrics.externalAccums
  • [SPARK-43103] [SC-128335] [sql] Movendo integral para o tipo de dados físico
  • [SPARK-42741] [SC-125547] [sql] Não desembrulhe conversões na comparação binária quando o literal é nulo
  • [SPARK-43057] [SC-127948][connect][Python] Migrar os erros da coluna Spark Connect para a classe de erro
  • [SPARK-42859] [SC-127935][connect][PS] Suporte básico para Pandas API em Spark Connect
  • [SPARK-43013] [SC-127773][Python] Migrar ValueError de DataFrame para PySparkValueError.
  • [SPARK-43089] [SC-128051][connect] Reduzir as cadeias de depuração na interface do usuário
  • [SPARK-43028] [SC-128070] [sql] Adicionar classe de erro SQL_CONF_NOT_FOUND
  • [SPARK-42999] [SC-127842][connect] dataset#foreach, foreachPartition
  • [SPARK-43066] [SC-127937] [sql] Adicionar teste para DropDuplicates no JavaDataSetSuite
  • [SPARK-43075] [SC-127939] [connect] Altere gRPC para grpcio quando não estiver instalado.
  • [SPARK-42953] [SC-127809] [conectar] Filtro digitado, mapa, FlatMap, MapPartitions
  • [SPARK-42597] [SC-125506] [sql] Suporta o tipo de data de desembrulho para o tipo de carimbo de data/hora
  • [SPARK-42931] [SC-127933] [ss] Introduzir duplicatas dentro do Watermark
  • [SPARK-43073] [SC-127943] [conectar] Adicionar constantes de tipos de dados proto
  • [SPARK-43077] [SC-128050] [sql] Melhore a mensagem de erro de UNRECOGNIZED_SQL_TYPE
  • [SPARK-42951] [SC-128030][ss][Connect] APIs do DataStreamReader
  • [SPARK-43049] [SC-127846][sql] Use CLOB em vez de VARCHAR(255) para StringType para Oracle JDBC
  • [SPARK-43018] [SC-127762][sql] Correção de bug no comando INSERT com literais de timestamp
  • [SPARK-42855] [SC-127722] [sql] Use verificações nulas em tempo de execução no TableOutputResolver
  • [SPARK-43030] [SC-127847] [sql] Desduplicar relações com colunas de metadados
  • [SPARK-42993] [SC-127829][ml][CONNECT] Tornar o distribuidor PyTorch compatível com o Spark Connect
  • [SPARK-43058] [SC-128072] [sql] Mover dados numéricos e fracionários para tipos de dados físicos
  • [SPARK-43056] [SC-127946][ss] RocksDB armazenamento do estado commit deve continuar o trabalho em segundo plano somente se sua pausa
  • [SPARK-43059] [SC-127947][connect][Python] Migrar TypeError de DataFrame(Reader|Writer) para a classe de erro
  • [SPARK-43071] [SC-128018][sql] Suporte ao padrão SELECT com ORDER BY, LIMIT, OFFSET para relação de origem INSERT
  • [SPARK-43061] [SC-127956][core][SQL] Introduzir o PartitionEvaluator para a execução do operador SQL
  • [SPARK-43067] [SC-127938][ss] Corrigir o local do arquivo de recurso da classe de erro no conector Kafka
  • [SPARK-43019] [SC-127844] [sql] Mover a ordenação para o tipo de dados físico
  • [SPARK-43010] [SC-127759][Python] Migrar erros de coluna para a classe de erro
  • [SPARK-42840] [SC-127782] [sql] Altere o erro _LEGACY_ERROR_TEMP_2004 para erro interno
  • [SPARK-43041] [SC-127765][sql] Restaurar construtores de exceções para compatibilidade na API do conector
  • [SPARK-42939] [SC-127761][ss][CONNECT] Transmissão do núcleo Python API para Spark Connect
  • [SPARK-42844] [SC-127766] [sql] Atualize a classe de erro _LEGACY_ERROR_TEMP_2008 para INVALID_URL
  • [SPARK-42316] [SC-127720] [sql] Atribuir nome a _LEGACY_ERROR_TEMP_2044
  • [SPARK-42995] [SC-127723][connect][Python] Migrar os erros do Spark Connect DataFrame para a classe de erro
  • [SPARK-42983] [SC-127717][connect][Python] Corrigir o createDataFrame para lidar corretamente com a matriz numpy de 0 dígitos
  • [SPARK-42955] [SC-127476] [sql] Ignore ClassifyException e envolva AnalysisException para SparkThrowable
  • [SPARK-42949] [SC-127255] [sql] Simplifique o código para NAAJ
  • [SPARK-43011] [SC-127577] [sql] array_insert deve falhar com o índice 0
  • [SPARK-42974] [SC-127487] [core] Restaure Utils.createTempDir para usar o método ShutdownHookManager e limpar JavaUtils.createTempDir.
  • [SPARK-42964] [SC-127585] [sql] PostgresDialect '42P07' também significa que a tabela já existe
  • [SPARK-42978] [SC-127351] [sql] Derby & PG: RENAME não pode qualificar um novo nome de tabela com um nome de esquema
  • [SPARK-37980] [SC-127668] [sql] Acesse row_index via _metadata se possível em testes
  • [SPARK-42655] [SC-127591] [sql] Erro de referência de coluna ambígua incorreto
  • [SPARK-43009] [SC-127596] [sql] sql() parametrizado com constantes Any
  • [SPARK-43026] [SC-127590] [sql] Aplique o AQE com cache de tabela que não seja do Exchange
  • [SPARK-42963] [SC-127576] [sql] Estenda SparkSessionExtensions para injetar regras no otimizador de estágio de consulta AQE
  • [SPARK-42918] [SC-127357] Generalizar o tratamento de atributos de metadados em FileSourceStrategy
  • [SPARK-42806] [SC-127452] [spark-42811] [CONNECT] Adicionar suporte Catalog
  • [SPARK-42997] [SC-127535] [sql] TableOutputResolver deve usar caminhos de coluna corretos em mensagens de erro para matrizes e mapas
  • [SPARK-43006] [SC-127486][PySpark] Corrigir erro de digitação em StorageLevel eq ()
  • [SPARK-43005] [SC-127485][PySpark] Corrigir erro de digitação em PySpark/Pandas/config.py
  • [SPARK-43004] [SC-127457] [core] Corrigir erro de digitação em ResourceRequest.equals ()
  • [SPARK-42907] [SC-126984][connect][Python] Implementar funções Avro
  • [SPARK-42979] [SC-127272] [sql] Defina construtores literais como palavras-chave
  • [SPARK-42946] [SC-127252] [sql] Edite dados confidenciais que são aninhados pela substituição de variáveis
  • [SPARK-42952] [SC-127260] [sql] Simplifique o parâmetro da regra do analisador: pré-processo/criação de tabela e análise da fonte de dados
  • [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
  • [SPARK-42853] [SC-126101] [acompanhamento] Corrigir conflitos
  • [SPARK-42929] [SC-126748] [conectar] faça com que MapInPandas /MapInarrow suporte “is_barrier”
  • [SPARK-42968] [SC-127271][ss] Adicionar opção para ignorar o coordenador de commit como parte da API StreamingWrite para fontes/suportes DSv2
  • [SPARK-42954] [SC-127261][Python][CONNECT] Add YearMonthIntervalType to PySpark and Spark Connect Python Client
  • [SPARK-41359] [SC-127256] [sql] Use PhysicalDataType em vez de DataType em UnsafeRow
  • [SPARK-42873] [SC-127262][sql] Definir tipos Spark SQL como palavras-chave
  • [SPARK-42808] [SC-126302] [core] Evite disponibilizar processadores sempre que quiser MapOutputTrackerMaster#getStatistics
  • [SPARK-42937] [SC-126880] [sql] PlanSubqueries deve definir InSubqueryExec#shouldBroadcast como verdadeiro
  • [SPARK-42896] [SC-126729][sql][Python] Make mapInPandas / mapInArrow suportem a execução no modo de barreira
  • [SPARK-42874] [SC-126442][sql] Habilite a nova estrutura de teste do golden file para análise de todos os arquivos de entrada
  • [SPARK-42922] [SC-126850] [sql] Mover de Aleatório para SecureRandom
  • [SPARK-42753] [SC-126369] ReusedExchange se refere a nós inexistentes
  • [SPARK-40822] [SC-126274] [sql] Aliases de coluna derivados estáveis
  • [SPARK-42908] [SC-126856][Python] Raise RuntimeError when SparkContext is required but not initialized
  • [SPARK-42779] [SC-126042] [sql] Permitir gravações V2 para indicar o tamanho recomendado da partição aleatória
  • [SPARK-42914] [SC-126727][Python] Reutilizar transformUnregisteredFunction para DistributedSequenceID.
  • [SPARK-42878] [SC-126882][connect] A API da tabela no DataFrameReader também poderia aceitar opções
  • [SPARK-42927] [SC-126883] [core] Altere o escopo de acesso de o.a.spark.util.Iterators#size para private[util]
  • [SPARK-42943] [SC-126879][sql] Use LONGTEXT em vez de TEXT para StringType para obter um comprimento efetivo
  • [SPARK-37677] [SC-126855] [core] Unzip pode manter as permissões do arquivo
  • [SPARK-42891] [13.x][sc-126458][CONNECT][Python] Implementar a API CoGrouped Map
  • [SPARK-41876] [SC-126849][connect][Python] Implementar DataFrame.toLocalIterator
  • [SPARK-42930] [SC-126761][core][SQL] Altere o escopo de acesso das implementações relacionadas ao ProtobufSerDe para private[protobuf]
  • [SPARK-42819] [SC-125879][ss] Adicionar suporte para definir max_write_buffer_number e write_buffer_size para RocksDB usado na transmissão
  • [SPARK-42924] [SC-126737][sql][CONNECT][Python] Esclarecer o comentário dos args parametrizados de SQL
  • [SPARK-42748] [SC-126455] [conectar] Gerenciamento de artefatos do lado do servidor
  • [SPARK-42816] [SC-126365] [conectar] Suporta tamanho máximo de mensagem de até 128 MB
  • [SPARK-42850] [SC-126109] [sql] Remova a regra duplicada CombineFilters no Optimizer
  • [SPARK-42662] [SC-126355][connect][PS] Adicionar mensagem proto para Pandas API no índice Spark default
  • [SPARK-42720] [SC-126136][ps][SQL] Usa a expressão para o índice de sequência distribuída default em vez do plano
  • [SPARK-42790] [SC-126174][sql] Abstraia o método excluído para um melhor teste para JDBC Docker testes.
  • [SPARK-42900] [SC-126473][connect][Python] Corrigir createDataFrame para respeitar a inferência e os nomes das colunas
  • [SPARK-42917] [SC-126657] [sql] Corrija a consulta de nulidade GetUpdateColumnColumnpara DerbyDialect
  • [SPARK-42684] [SC-125157][sql] O catálogo v2 não deve permitir a coluna default value by default
  • [SPARK-42861] [SC-126635][sql] Use private[sql] em vez de protected[sql] para evitar a geração de um documento de API
  • [SPARK-42920] [SC-126728][connect][Python] Habilitar testes para UDF com UDT
  • [SPARK-42791] [SC-126617][sql] Criar uma nova estrutura de teste de golden file para análise
  • [SPARK-42911] [SC-126652][Python] Introduzir mais exceções básicas
  • [SPARK-42904] [SC-126634][sql] Suporte a char/varchar para o catálogo JDBC
  • [SPARK-42901] [SC-126459][connect][Python] Mover StorageLevel para um arquivo separado para evitar possíveis file recursively imports
  • [SPARK-42894] [SC-126451][connect] Suporte cache/persist/unpersist/storageLevel para Spark connect JVM client
  • [SPARK-42792] [SC-125852][ss] Adicionar suporte para WRITE_FLUSH_BYTES para RocksDB usado em operadores com estado de transmissão
  • [SPARK-41233] [SC-126441][connect][Python] Adicionar array_prepend a Spark Conectar cliente Python
  • [SPARK-42681] [SC-125149][sql] Relaxar a restrição de ordem para o descritor de coluna ALTER TABLE ADD|REPLACE
  • [SPARK-42889] [SC-126367][connect][Python] Implementar cache, persist, unpersist e storageLevel
  • [SPARK-42824] [SC-125985][connect][Python] Fornecer uma mensagem de erro clara para atributos JVM não suportados
  • [SPARK-42340] [SC-126131][connect][Python] Implementar mapa agrupado API
  • [SPARK-42892] [SC-126454] [sql] Mova o SameType e os métodos relevantes para fora do DataType
  • [SPARK-42827] [SC-126126][connect] Suporte functions#array_prepend para o cliente Scala connect
  • [SPARK-42823] [SC-125987][sql] O shell spark-sql suporta namespaces de várias partes para inicialização
  • [SPARK-42817] [SC-125960][core] Registrando o nome do serviço shuffle uma vez no ApplicationMaster
  • [SPARK-42786] [SC-126438] [conectar] Seleção digitada
  • [SPARK-42800] [SC-125868][connect][Python][ml] Implementar função ml {array_to_vector, vector_to_array}
  • [SPARK-42052] [SC-126439] [sql] Suporte do Codegen para HiveSimpleUDF
  • [SPARK-41233] [SC-126110][sql][Python] Adicionar função array_prepend
  • [SPARK-42864] [SC-126268] [ml] [3,4] Torne IsotonicRegression.PointsAccumulator privado
  • [SPARK-42876] [SC-126281] [sql] O tipo de dados físico do tipo de dados deve ser privado [sql]
  • [SPARK-42101] [SC-125437] [sql] Faça suporte ao AQE no MemoryTables ScanExec
  • [SPARK-41290] [SC-124030] [sql] Suporte a expressões GENERATED ALWAYS AS para colunas em instruções de criar/substituir tabelas
  • [SPARK-42870] [SC-126220] [conectar] Mova toCatalystValue para connect-common
  • [SPARK-42247] [SC-126107][connect][Python] Corrigir UserDefinedFunction para que tenha returnType
  • [SPARK-42875] [SC-126258][connect][Python] Corrigir o toPandas para que ele manipule corretamente o fuso horário e os tipos de mapa
  • [SPARK-42757] [SC-125626] [conectar] Implementar arquivo de texto para DataFrameReader
  • [SPARK-42803] [SC-126081][core][SQL][ml] Usar a função getParameterCount em vez de getParameterTypes.length
  • [SPARK-42833] [SC-126043] [sql] Refatora applyExtensions em SparkSession
  • [SPARK-41765] Reverter "[SC-123550][sql] Extrair métricas de gravação v1...
  • [SPARK-42848] [SC-126105][connect][Python] Implementar DataFrame.registerTempTable
  • [SPARK-42020] [SC-126103][connect][Python] Suporte a UserDefinedType em Spark Connect
  • [SPARK-42818] [SC-125861][connect][Python] Implementar DataFrameReader/Writer.JDBC
  • [SPARK-42812] [SC-125867] [conectar] Adicionar client_type à mensagem do protobuf AddArtifactsRequest
  • [SPARK-42772] [SC-125860][sql] Altere o valor default de JDBC options about push down para true
  • [SPARK-42771] [SC-125855] [sql] Refatore o UDF genérico do Hive
  • [SPARK-25050] [SC-123839][sql] Avro: escrevendo uniões complexas
  • [SPARK-42765] [SC-125850][connect][Python] Habilitar a importação de pandas_udf do pyspark.sql.connect.functions
  • [SPARK-42719] [SC-125225] [core] MapOutputTracker#getMapLocation deve respeitar spark.shuffle.reduceLocality.enabled
  • [SPARK-42480] [SC-125173][sql] Melhorar o desempenho das partições suspensas
  • [SPARK-42689] [SC-125195] [core] [SHUFFLE] Permitir que o ShuffleDriverComponent declare se os dados do shuffle estão armazenados de forma confiável
  • [SPARK-42726] [SC-125279][connect][Python] Implementar DataFrame.mapInArrow
  • [SPARK-41765] [SC-123550][sql] Extrair métricas de gravação v1 para WriteFiles
  • [SPARK-41171] [SC-124191] [sql] Inferir e reduzir o limite da janela pela janela se o PartitionSpec estiver vazio
  • [SPARK-42686] [SC-125292] [core] Adiar a formatação para mensagens de depuração no TaskMemoryManager
  • [SPARK-42756] [SC-125443][connect][Python] Função auxiliar para converter literal proto em valor no cliente Python
  • O módulo [SPARK-42793] [SC-125627] [connect] connect requer build_profile_flags
  • [SPARK-42701] [SC-125192] [sql] Adicione a função try_aes_decrypt()
  • [SPARK-42679] [SC-125438][connect][Python] createDataFrame não funciona com um esquema não nulo
  • [SPARK-42733] [SC-125542] [conectar] [Acompanhamento] Escrever sem caminho ou tabela
  • [SPARK-42777] [SC-125525] [sql] Suporte à conversão de estatísticas do catálogo TimestampNTZ em estatísticas do plano
  • [SPARK-42770] [SC-125558][connect] Adicionar truncatedTo(ChronoUnit.MICROS) para fazer SQLImplicitsTestSuite em Java 17 teste diário de aprovação da tarefa GA
  • [SPARK-42752] [SC-125550][PySpark][SQL] Tornar as exceções do PySpark imprimíveis durante a inicialização
  • [SPARK-42732] [SC-125544][PySpark][CONNECT] Suporte ao método getActiveSession da sessão spark connect
  • [SPARK-42755] [SC-125442] [conectar] Fatore a conversão de valor literal para connect-common
  • [SPARK-42747] [SC-125399] [ml] Corrige o status interno incorreto de LoR e AFT
  • [SPARK-42740] [SC-125439][sql] Corrigir o bug de que o deslocamento pushdown ou a paginação são inválidos para alguns dialetos integrados
  • [SPARK-42745] [SC-125332] [sql] O AliasAwareOutputExpression aprimorado funciona com DSv2
  • [SPARK-42743] [SC-125330] [sql] Suporte para analisar colunas TimestampNTZ
  • [SPARK-42721] [SC-125371] [conectar] Interceptor de registro RPC
  • [SPARK-42691] [SC-125397][connect][Python] Implement dataset.semanticHash
  • [SPARK-42688] [SC-124922] [conectar] Renomear Connect proto Solicitar client_id para session_id
  • [SPARK-42310] [SC-122792] [sql] Atribuir nome a _LEGACY_ERROR_TEMP_1289
  • [SPARK-42685] [SC-125339] [core] Otimize utils.bytesToString rotinas
  • [SPARK-42725] [SC-125296][connect][Python] Make LiteralExpression support array params
  • [SPARK-42702] [SC-125293][spark-42623][SQL] Suporte a consultas parametrizadas em subconsultas e CTE
  • [SPARK-42697] [SC-125189][webui] Corrigir /api/v1/applications para retornar o tempo total de atividade em vez de 0 para o campo de duração
  • [SPARK-42733] [SC-125278][connect][Python] Corrigir DataFrameWriter.save para funcionar sem o parâmetro path
  • [SPARK-42376] [SC-124928] [ss] Introduzir a propagação de marcas d'água entre operadores
  • [SPARK-42710] [SC-125205][connect][Python] Renomear FrameMap proto para MapPartitions
  • [SPARK-37099] [SC-123542] [sql] Introduza o limite de grupo do Window para filtro baseado em classificação para otimizar a computação top-k
  • [SPARK-42630] [SC-125207][connect][Python] Introduzir UnparsedDataType e atrasar a análise de strings DDL até que o SparkConnectClient esteja disponível
  • [SPARK-42690] [SC-125193][connect] Implementar funções de análise CSV/JSON para o cliente Scala
  • [SPARK-42709] [SC-125172][Python] Remover a suposição de que __file__ está disponível
  • [SPARK-42318] [SC-122648][spark-42319][SQL] Atribuir nome a LEGACY_ERROR_TEMP (2123|2125)
  • [SPARK-42723] [SC-125183][sql] Suporte ao tipo de dados do analisador JSON "timestamp_ltz" como TimestampType
  • [SPARK-42722] [SC-125175][connect][Python] Python Connect def schema() não deve armazenar o esquema em cache
  • [SPARK-42643] [SC-125152][connect][Python] registro Java (aggregate) user-defined functions
  • [SPARK-42656] [SC-125177] [conectar] [Acompanhamento] Corrija o script spark-connect
  • [SPARK-41516] [SC-123899] [SQL] Permitir que os dialetos JDBC substituam a consulta usada para criar uma tabela
  • [SPARK-41725] [SC-124396] [connect] Execução rápida de DF.sql ()
  • [SPARK-42687] [SC-124896][ss] Melhor mensagem de erro para a falta de suporte pivot operações in transmission
  • [SPARK-42676] [SC-124809][ss] Gravar pontos de verificação temporários para consultas de transmissão no sistema de arquivos local, mesmo que default FS esteja definido de forma diferente
  • [SPARK-42303] [SC-122644] [sql] Atribuir nome a _LEGACY_ERROR_TEMP_1326
  • [SPARK-42553] [SC-124560] [sql] Garanta pelo menos uma unidade de tempo após o “intervalo”
  • [SPARK-42649] [SC-124576][core] Remova o cabeçalho padrão da Licença Apache da parte superior dos arquivos de código-fonte de terceiros
  • [SPARK-42611] [SC-124395] [sql] Insira verificações de comprimento de char/varchar para campos internos durante a resolução
  • [SPARK-42419] [SC-124019][connect][Python] Migrar para a estrutura de erros para Spark Conectar a coluna API.
  • [SPARK-42637] [SC-124522][connect] Adicionar SparkSession.stop()
  • [SPARK-42647] [SC-124647][Python] Alterar o alias dos tipos depreciados e removidos do numpy
  • [SPARK-42616] [SC-124389] [sql] O SparkSQLCLIDriver só deve fechar o SessionState da colmeia começar
  • [SPARK-42593] [SC-124405][ps] Desprezar e remover o APIs que será removido em Pandas 2.0.
  • [SPARK-41870] [SC-124402][connect][Python] Corrigir createDataFrame para lidar com nomes de colunas duplicados
  • [SPARK-42569] [SC-124379][connect] Lança exceções para API de sessão não suportada
  • [SPARK-42631] [SC-124526][connect] Suporte a extensões personalizadas no cliente Scala
  • [SPARK-41868] [SC-124387][connect][Python] Corrigir createDataFrame para suportar a duração
  • [SPARK-42572] [SC-124171] [sql] [SS] Corrigir comportamento para StateStoreProvider.validateStateRowFormat

Atualizações de manutenção

Consulte as atualizações de manutenção do Databricks Runtime 13.1.

Ambiente do sistema

  • Sistema operacional : Ubuntu 22.04.2 LTS
  • Java : Zulu 8.70.0.23-CA-linux64
  • Scala : 2.12.15
  • Python : 3.10.12
  • R : 4.2.2
  • Delta Lake : 2.4.0

Instalado Python biblioteca

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

apronta

1.4.4

argônio-2-cffi

21,3,0

ligações argônio-2-cffi

21.2.0

asttokens

2.2.1

atrai

21,4,0

chamada de volta

0.2.0

linda sopa 4

4.11.1

preto

22.6.0

cândida

4.1.0

pisca-pisca

1.4

boto3

1,24,28

botocore

1,27,28

certifi

2022.9.14

caffi

1.15.1

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.4

criptografia

37,0.1

ciclador

0.11.0

Cython

0,29,32

dbus-Python

1.2.18

depurar

1.5.1

decorador

5.1.1

xml desfundido

0.7.1

distlib

0.3.6

docstring-to-markdown

0,12

pontos de entrada

0,4

execução

1.2.0

visão geral das facetas

1.0.3

esquema fastjson

2.16.3

bloqueio de arquivo

3.12.0

ferramentas de fonte

4,25.0

googleapis-common-protos

1.56,4

grócio

1.48,1

status de grpcio

1.48,1

httplib2

0,20.2

Índia

3.3

importlib-metadados

4.6.4

ipykernel

6.17.1

ipython

8.10.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

jedi

0,18.1

jeepney

0.7.1

Jinja 2

2.11.3

jmespath

0.10.0

joblib

1.2.0

esquema json

4.16.0

cliente jupyter

7.3.4

jupyter_core

4.11.2

pigmentos jupyterlab

0.1.2

widgets jupyterlab

1.0.0

chaveiro

23,5,0

solucionador de kiwi

1.4.2

launchpadlib

1,10,16

lazr.restfulclient

0,14.4

lazr.uri

1.0.6

MarkupSafe

2.0.1

Matplotlib

3.5.2

matplotlib-inline

0.1.6

mccabe

0.7.0

confundir

0,8.4

mais ferramentas de iteração

8.10.0

extensões mypy

0.4.3

cliente nb

0,5.13

nbconvert

6.4.4

formato nb

5.5.0

nest-assíncio

1.5.5

nodeenv

1.7.0

notebook

6.4,12

entorpecido

1,21,5

oauthlib

3.2.0

fazendo às malas

21,3

Pandas

1.4.4

filtros pandóicos

1.5.0

parso

0,8.3

especificação do caminho

0.9.0

bode expiatório

0.5.2

esperar

4.8.0

picles

0.7.5

Travesseiro

9.2.0

pip

22.2.2

platformdirs

2.5.2

Plotly

5.9.0

plugado

1.0.0

cliente prometheus

0,14.1

kit de ferramentas de aviso

3,0,36

protobuf

3.19.4

pistila

5.9.0

psycopg2

2.9.3

processo pty

0.7.0

avaliação pura

0.2.2

flecha

8.0.0

pycparser

2,21

pidântico

1.10.6

flocos

3.0.1

Pigmentos

2.11.2

Objeto PYG

3,42,1

PyJWT

2.3.0

pyodbc

4,0,32

análise de pipa

3.0.9

direito autoral

1,1,294

persistente

0,18.0

Python-dateutil

2.8.2

Python-lsp-jsonrpc

1.0.0

Python-lsp-server

1.7.1

pytoolconfig

1.2.2

pytz

2022,1

pizma

23.2,0

pedidos

2.28,1

corda

1.7.0

transferência s3

0.6.0

scikit-learn

1.1.1

pegajoso

1.9.1

marítimo

0.11.2

Armazenamento secreto

3.3.1

Enviar 2 lixeiras

1.8.0

ferramentas de configuração

63,4.1

seis

1,16.0

peneira

2.3.1

ID de importação ssh

5,11

dados de pilha

0.6.2

modelos de estatísticas

0,13.2

tenacidade

8.1.0

terminado

0.13.1

caminho de teste

0.6.0

threadpool ctl

2.2.0

tokenizar-rt

4.2.1

tomli

2.0.1

tornado

6.1

almôndegas

5.1.1

extensões_de digitação

4.3.0

junhão

5.4.0

atualizações autônomas

0,1

urllib3

1,26.11

ambiente virtual

20.16.3

wadlib

1.3.6

largura do wc

0.2.5

codificações da web

0.5.1

qual é o patch

1.0.2

Python wheel

0,37,1

extensão widgetsnb

3.6.1

yapf

0,31,0

zíper

1.0.0

Instalada a R biblioteca

As bibliotecas R são instaladas a partir do Snapshot Microsoft CRAN em 2023-02-10.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

flecha

10.0.1

askpass

1.1

afirme que

0.2.1

portas traseiras

1.4.1

base

4.2.2

base64enc

0,1-3

pouco

4.0.5

bit64

4.0.5

bolha

1.2.3

inicialização

1,3-28

fermentar

1,0-8

brio

1.1.3

vassoura

1.0.3

babião

0.4.2

cachem

1.0.6

chamador

3.7.3

cursor

6,0-93

guarda de celas

1.1.0

crono

2,3-59

Aula

7,3-21

CLIPE

3.6.0

clipe

0,8.0

relógio

0.6.1

Cluster

2.1.4

ferramentas de código

0,2-19

espaço de cores

2,1-0

marca comum

1.8.1

compilador

4.2.2

configuração

0.3.1

cpp11

0.4.3

giz de cera

1.5.2

Credenciais

1.3.2

cacho

5.0.0

data.tabela

1,14.6

conjunto de dados

4.2.2

DBI

1.1.3

dbplyr

2.3.0

desc

1.4.2

ferramentas de desenvolvimento

2.4.5

diff

0.3.5

digerir

0.6.31

iluminado

0.4.2

dplyr

1.1.0

dtplyr

1.2.2

e1071

1,7-13

reticências

0.3.2

avalie

0,20

fansi

1.0.4

colorista

2.1.1

mapa rápido

1.1.0

fontawesome

0.5.0

para gatos

1.0.0

para cada um

1.5.2

estrangeira

0,8-82

forjar

0.2.0

fs

1.6.1

futuro

1,31,0

futuro.aplique

1.10.0

gargarejar

1.3.0

genéricas

0.1.3

obter

1.9.2

ggplot2

3.4.0

gh

1.3.1

gitcreds

0.1.2

glmnet

4,1-6

globais

0,16.2

cola

1.6.2

google drive

2.0.0

planilhas do Google 4

1.0.1

goleiro

1.0.1

gráficos

4.2.2

Dispositivos GR

4.2.2

grade

4.2.2

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.1

capacete

1.2.0

refúgio

2.5.1

mais alto

0,10

HMS

1.1.2

ferramentas html

0.5.4

widgets html

1.6.1

http.uv

1.6.8

httr

1.4.4

IDs

1.0.1

mini

0.3.1

ipred

0,9-13

isóbanda

0.2.7

iteradores

1,0.14

jquerylib

0.1.4

jsonlite

1.8.4

Kern Smooth

2,23-20

tricotar

1,42

rótulo

0.4.2

posteriormente

1.3.0

treliça

0,20-45

lava

1.7.1

ciclo de vida

1.0.3

ouvindo

0.9.0

lubrificar

1.9.1

magritter

2.0.3

Markdown

1.5

MASSA

7,3-58,2

Matriz

1,5-1

memoise

2.0.1

métodos

4.2.2

mgcv

1,8-41

mímica

0,12

Mini UI

0.1.1.1

Métricas do modelo

1.2.2.2

modelar

0.1.10

munsell

0.5.0

nome

3,1-162

net

7,3-18

Número Deriv

2016,8-1,1

openssl

2.0.5

paralelo

4.2.2

paralelamente

1,34,0

pilar

1.8.1

pkgbuild

1.4.0

pkgconfig

2.0.3

pkgdown

2.0.7

carregamento de pacotes

1.3.2

plogr

0.2.0

plyr

1.8.8

elogio

1.0.0

unidades bonitas

1.1.1

ProC

1,18.0

processa

3.8.0

prodlim

13/11/2019

profvis

0.3.7

progresso

1.2.2

progressista

0,13,0

promessas

1.2.0.1

proto

1.0.0

proxy

0,4-27

ps

1.7.2

ronronar

1.0.1

r2d3

0.2.6

R6

2.5.1

trapo

1.2.5

Floresta aleatória

4,7-1,1

corredeiras

0.3.3

rcmdcheck

1.4.0

Cervejaria RColor

1,1-3

Rcpp

1.0.10

RCP Pegen

0.3.3.9.3

leitor

2.1.3

readxl

1.4.2

receitas

1.0.4

revanche

1.0.1

revanche 2

2.1.2

controles remotos

2.4.2

reprex

2.0.2

remodelar 2

1.4.4

rlang

1.0.6

rmarkdown

2,20

RODBC

1,3-20

roxigênio2

7.2.3

rpartem

4.1.19

rprojroot

2.0.3

Reservar

1,8-12

RSQLite

2.2.20

API do estúdio

0,14

reversões

2.1.2

colete

1.0.3

atrevimento

0.4.5

escala

1.2.1

seletor

0,4-2

informações da sessão

1.2.2

forma

1.4.6

brilhante

1.7.4

ferramentas de origem

0,1,7-1

Sparklyr

1.7.9

SparkR

3.4.0

espacial

7,3-15

splines

4.2.2

sqldf

0,4-11

QUADRADO

2021,1

estatísticas

4.2.2

estatísticas4

4.2.2

stringi

1.7.12

longarina

1.5.0

sobrevivência

3,5-3

diz

3.4.1

fontes do sistema

1.0.4

tcltk

4.2.2

teste isso

3.1.6

modelagem de texto

0.3.6

petiscar

3.1.8

arrumado

1.3.0

seleção arrumada

1.2.0

tidyverso

1.3.2

mudança de horário

0.2.0

Hora/Data

4022,108

tinytex

0,44

Ferramentas

4.2.2

tzdb

0.3.0

verificador de URL

1.0.1

use isso

2.1.6

utf 8

1.2.3

utilidades

4.2.2

uuid

1,1-0

vctrs

0.5.2

Viridis Lite

0.4.1

vadouro

1.6.1

waldo

0.4.0

bigode

0.4.1

murchar

2.5.0

diversão

0,37

xml2

1.3.3

xopen

1.0.0

x estável

1,8-4

yaml

2.3.7

compactar

2.2.2

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,12.390

com.amazonaws

formação de nuvem aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-cloudfront

1,12.390

com.amazonaws

aws-java-sdk-cloudhsm

1,12.390

com.amazonaws

aws-java-sdk-cloudsearch

1,12.390

com.amazonaws

aws-java-sdk-cloudtrail

1,12.390

com.amazonaws

aws-java-sdk-cloudwatch

1,12.390

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,12.390

com.amazonaws

aws-java-sdk-codedeploy

1,12.390

com.amazonaws

identidade cognitiva aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-cognitosync

1,12.390

com.amazonaws

aws-java-sdk-config

1,12.390

com.amazonaws

aws-java-sdk-core

1,12.390

com.amazonaws

pipeline de dados aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-conexão direta

1,12.390

com.amazonaws

diretório aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-dynamodb

1,12.390

com.amazonaws

aws-java-sdk-ec2

1,12.390

com.amazonaws

aws-java-sdk-ecs

1,12.390

com.amazonaws

aws-java-sdk-efs

1,12.390

com.amazonaws

aws-java-sdk-elasticache

1,12.390

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,12.390

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,12.390

com.amazonaws

transcodificador elástico aws-java-sdk-

1,12.390

com.amazonaws

aws-java-sdk-emr

1,12.390

com.amazonaws

aws-java-sdk-glacier

1,12.390

com.amazonaws

aws-java-sdk-glue

1,12.390

com.amazonaws

aws-java-sdk-iam

1,12.390

com.amazonaws

aws-java-sdk-importação/exportação

1,12.390

com.amazonaws

aws-java-sdk-kinesis

1,12.390

com.amazonaws

aws-java-sdk-kms

1,12.390

com.amazonaws

aws-java-sdk-lambda

1,12.390

com.amazonaws

aws-java-sdk-logs

1,12.390

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,12.390

com.amazonaws

aws-java-sdk-opsworks

1,12.390

com.amazonaws

aws-java-sdk-rds

1,12.390

com.amazonaws

aws-java-sdk-redshift

1,12.390

com.amazonaws

aws-java-sdk-route53

1,12.390

com.amazonaws

aws-java-sdk-s3

1,12.390

com.amazonaws

aws-java-sdk-ses

1,12.390

com.amazonaws

aws-java-sdk-simpledb

1,12.390

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,12.390

com.amazonaws

aws-java-sdk-sns

1,12.390

com.amazonaws

aws-java-sdk-sqs

1,12.390

com.amazonaws

aws-java-sdk-ssm

1,12.390

com.amazonaws

gateway de armazenamento aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-sts

1,12.390

com.amazonaws

suporte aws-java-sdk

1,12.390

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,12.390

com.amazonaws

jmespath-java

1,12.390

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.14.2

com.fasterxml.jackson.core

jackson-core

2.14.2

com.fasterxml.jackson.core

vinculação de dados jackson

2.14.2

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.14.2

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.14.2

com.fasterxml.jackson.tipo de dados

jackson-datatype-jsr310

2.13.4

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.14.2

com.fasterxml.jackson.module

jackson-module-Scala.12

2.14.2

com.github.ben-manes.cafeína

cafeína

2.9.3

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java

1.1 - nativos

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1 - nativos

com.github.fommil.netlib

netlib-native_ref-linux-x86_64

1.1 - nativos

com.github.fommil.netlib

netlib-native_system-linux-x86_64

1.1 - nativos

com.github.luben

zstd-jni

1,5,2-5

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.8.9

com.google.crypto.tink

eu acho

1.7.0

com.google.propenso a erros

anotações propensas a erros

2.10.0

com.google.flatbuffers

tampões planos-java

1.12.0

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

banco de dados com.h2

h2

2.1.214

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,55

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-JDBC

11.2.2. jre8

comendo

comprimir-lzf

1.1.2

com.sun.mail

javax.mail

1.5.2

com.sun.xml.bind

jaxb-core

2.2.11

com.sun.xml.bind

jaxb-impl

2.2.11

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0.10.0

com.Twitter

chill_2.12

0.10.0

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.uber

h3

3.7.0

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

4.0.3

comum-CLI

comum-CLI

1.5.0

codec comum

codec comum

1,15

coleções comuns

coleções comuns

3.2.2

commons-dbcp

commons-dbcp

1.4

upload de arquivo commons

upload de arquivo commons

1.5

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.11.0

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

comum-pool

comum-pool

1.5.4

dev.ludovic.netlib

mochila

3.0.3

dev.ludovic.netlib

blás

3.0.3

dev.ludovic.netlib

lapack

3.0.3

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,21

io.delta

delta-compartilhamento-spark_2.12

0.6.4

io.dropwizard.métricas

núcleo de métricas

4.2.10

io.dropwizard.métricas

métricas-grafite

4.2.10

io.dropwizard.métricas

métricas-healthchecks

4.2.10

io.dropwizard.métricas

métricas-jetty9

4.2.10

io.dropwizard.métricas

métricas-jmx

4.2.10

io.dropwizard.métricas

métricas-JSON

4.2.10

io.dropwizard.métricas

métricas-JVM

4.2.10

io.dropwizard.métricas

métricas-servlets

4.2.10

io.netty

tudo

4.1.87. Final

io.netty

netty-buffer

4.1.87. Final

io.netty

codec netty

4.1.87. Final

io.netty

netty-codec-http

4.1.87. Final

io.netty

netty-codec-http2

4.1.87. Final

io.netty

netty-codec-socks

4.1.87. Final

io.netty

netty-common

4.1.87. Final

io.netty

manipulador de limpeza

4.1.87. Final

io.netty

proxy netty-handler

4.1.87. Final

io.netty

resolvedor de rede

4.1.87. Final

io.netty

transporte de urtigas

4.1.87. Final

io.netty

netty-transport-classes-epoll

4.1.87. Final

io.netty

netty-transport-classes-kqueue

4.1.87. Final

io.netty

netty-transport-native-epoll

4.1.87. Final

io.netty

netty-transport-native-epoll

4.1.87. Final-Linux-AARCH_64

io.netty

netty-transport-native-epoll

4.1.87. Final-Linux-x86_64

io.netty

netty-transport-native-kqueue

4.1.87. Final-OSX-AARCH_64

io.netty

netty-transport-native-kqueue

4.1.87. Final-OSX-x86_64

io.netty

netty-transport-native-unix-common

4.1.87. Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.11

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.12.1

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db2

net.java.dev.jna

jna

5.8.0

net.razorvine

salmoura

1.3

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3,13,22

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.9.3

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.16

org.apache.ant

formiga

1.9.16

org.apache.ant

lançador de formigas

1.9.16

org.apache.arrow

formato de seta

11.0.0

org.apache.arrow

núcleo de memória de seta

11.0.0

org.apache.arrow

rede de memória de seta

11.0.0

org.apache.arrow

vetor de seta

11.0.0

org.apache.avro

AVRO

1.11.1

org.apache.avro

avro-ipc

1.11.1

org.apache.avro

mapeado automaticamente

1.11.1

org.apache.commons

commons-collections4

4.4

org.apache.commons

compressa comum

1,21

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

texto comum

1.10.0

org.apache.curator

curador-cliente

2.13.0

org.apache.curator

estrutura de curador

2.13.0

org.apache.curator

receitas de curadores

2.13.0

org.apache.datasketches

esboços de dados-java

3.1.0

org.apache.datasketches

memória de esboços de dados

2.0.0

org.apache.derby

derby

10.14.2.0

org.apache.hadoop

tempo de execução do cliente hadoop

3.3.4

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

colmeia-CLI

2.3.9

org.apache.hive

hive-JDBC

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-lap-common

2.3.9

org.apache.hive

colmeia

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

API de armazenamento em nuvem

2.8.1

org.apache.hive.shims

calços de colmeia - 0,23

2.3.9

org.apache.hive.shims

calços de colmeia comuns

2.3.9

org.apache.hive.shims

hive-shims-programador

2.3.9

org.apache.httpcomponents

cliente http

4.5.14

org.apache.httpcomponents

httpcore

4.4.16

org.apache.ivy

hera

2.5.1

org.apache.logging.log4j

log4j-1.2-api

2.19.0

org.apache.logging.log4j

log4j-api

2.19.0

org.apache.logging.log4j

log4j-core

2.19.0

org.apache.logging.log4j

log4j-slf4j2-impl

2.19.0

org.apache.mesos

mesos

Protobuf 1.11.0 sombreado

org.apache.orc

núcleo orc

Protobuf 1.8.3 sombreado

org.apache.orc

orc-mapreduce

Protobuf 1.8.3 sombreado

org.apache.orc

calços de orc

1.8.3

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4,22

org.apache.yetus

audiência-anotação

0,13,0

org.apache.zookeeper

tratador

3.6.3

org.apache.zookeeper

tratador de zoológico - juta

3.6.3

org.checkerframework

xadrez igual

3.19.0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.jetty

jetty-client

9.4.50.v 20221201

org.Eclipse.jetty

continuação do cais

9.4.50.v 20221201

org.Eclipse.jetty

jetty-http

9.4.50.v 20221201

org.Eclipse.jetty

jetty-io

9.4.50.v 20221201

org.Eclipse.jetty

jetty-jndi

9.4.50.v 20221201

org.Eclipse.jetty

jetty-plus

9.4.50.v 20221201

org.Eclipse.jetty

jetty-proxy

9.4.50.v 20221201

org.Eclipse.jetty

segurança do cais

9.4.50.v 20221201

org.Eclipse.jetty

servidor jetty-server

9.4.50.v 20221201

org.Eclipse.jetty

jutty-servlet

9.4.50.v 20221201

org.Eclipse.jetty

píer de servlets

9.4.50.v 20221201

org.Eclipse.jetty

jetty-util

9.4.50.v 20221201

org.Eclipse.jetty

jetty-util-ajax

9.4.50.v 20221201

org.Eclipse.jetty

aplicativo web jetty-

9.4.50.v 20221201

org.Eclipse.jetty

jetty-xml

9.4.50.v 20221201

org.Eclipse.jetty.websocket

API de websoquete

9.4.50.v 20221201

org.Eclipse.jetty.websocket

cliente websocket

9.4.50.v 20221201

org.Eclipse.jetty.websocket

websocket-comum

9.4.50.v 20221201

org.Eclipse.jetty.websocket

servidor websocket

9.4.50.v 20221201

org.Eclipse.jetty.websocket

servlet websocket

9.4.50.v 20221201

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,36

org.glassfish.jersey.containers

jersey-container-servlet-core

2,36

org.glassfish.jersey.core

cliente de camisa

2,36

org.glassfish.jersey.core

camiseta comum

2,36

org.glassfish.jersey.core

servidor de camisa

2,36

org.glassfish.jersey.inject

camiseta-hk2

2,36

org.hibernate.validator

validador de hibernação

6.1.7. Final

org.javassist

javassist

3,25,0 GA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.jetbrains

anotação

17.0.0

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0-M11

org.json4s

json4s-core_2.12

3,7,0-M11

org.json4s

json4s-jackson_2.12

3,7,0-M11

org.json4s

json4s-scalap_2.12

3,7,0-M11

org.lz4

lz4-java

1.8.0

org.mariadb.JDBC

cliente mariadb-java

2.7.4

org.mlflow

faísca de fluxo

2.2.0

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,3,8

org.roaringbitmap

Mapa de bits estrondoso

0,9,39

org.roaringbitmap

calços

0,9,39

org.rocksdb

rocksdbjni

7.8.3

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.15

org.Scala-lang

Scala-biblioteca.12

2.12.15

org.Scala-lang

Scala-reflect_2.12

2.12.15

org.Scala-lang.modules

Scala-collection-compat_2.12

2.4.3

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.2.15

org.scalanlp

breeze-macros_2.12

2.1.0

org.scalanlp

breeze_2.12

2.1.0

org.scalatest

compatível com scalatest

3.2.15

org.scalatest

scalatest-core_2.12

3.2.15

org.scalatest

diagramas de teste de escala_2.12

3.2.15

org.scalatest

scalatest-featurespec_2.12

3.2.15

org.scalatest

scalatest-flatspec_2.12

3.2.15

org.scalatest

scalatestfreespec_2.12

3.2.15

org.scalatest

scalatest-funspec_2.12

3.2.15

org.scalatest

scalatest-funsuite_2.12

3.2.15

org.scalatest

scalatest-matchers-core_2.12

3.2.15

org.scalatest

scalatest-mustmatchers_2.12

3.2.15

org.scalatest

scalatest-propspec_2.12

3.2.15

org.scalatest

scalatest-refspec_2.12

3.2.15

org.scalatest

scalatest - deve corresponders_2.12

3.2.15

org.scalatest

scalatest-wordspec_2.12

3.2.15

org.scalatest

scalatest_2.12

3.2.15

org.slf4j

jcl-over-slf4j

2.0.6

org.slf4j

jul-a-slf4j

2.0.6

org.slf4j

slf4j-api

2.0.6

org.threeten

treze e mais

1.7.1

org.tukaani

xz

1,9

org.typelevel

álgebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

spire-macros_2.12

0,17.0

org.typelevel

spire-platform_2.12

0,17.0

org.typelevel

spire-util_2.12

0,17.0

org.typelevel

spire_2.12

0,17.0

org.wildfly.openssl

wildfly-openssl

1.1.3. Final

org.xerial

sqlite-JDBC

3,42.0.0

org.xerial.snappy

snappy-java

1.1.8.4

org.yaml

snakeyaml

1,33

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.cryptools

Amazon Correcto Crypto Provider

1.6.1-linux-x86_64

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1