Pular para o conteúdo principal

Databricks Runtime 12,1 (EoS)

nota

O suporte para essa versão do Databricks Runtime foi encerrado. Para saber a data do fim do suporte, consulte Histórico do fim do suporte. Para conhecer todas as versões compatíveis do site Databricks Runtime, consulte Databricks Runtime notas sobre as versões e a compatibilidade.

As notas a seguir sobre a versão fornecem informações sobre o site Databricks Runtime 12.1, alimentado pelo Apache Spark 3.3.1.

A Databricks lançou essa versão em janeiro de 2023.

Novos recursos e melhorias

Delta Lake tabela recurso suportado para gerenciamento de protocolo

Databricks introduziu o suporte para Delta Lake table recurso, que introduz sinalizadores granulares especificando quais recursos são suportados por uma determinada tabela. Consulte Delta Lake recurso compatibilidade e protocolos.

A E/S preditiva para atualizações está em versão prévia pública

A E/S preditiva agora acelera as operações DELETE, MERGE e UPDATE para tabelas Delta com vetores de exclusão habilitados em Photon habilitado compute. Consulte O que é E/S preditiva? .

O Catalog Explorer agora está disponível para todas as pessoas

O Catalog Explorer agora está disponível para todas as personas do Databricks ao usar o Databricks Runtime 7.3 LTS e acima.

Suporte a vários operadores com estado em uma única consulta de transmissão

Os usuários agora podem encadear operadores com estado com o modo append na consulta de transmissão. Nem todos os operadores têm suporte total. transmissão-transmissão intervalo de tempo join e flatMapGroupsWithState não permitem que outros operadores com estado sejam encadeados.

O suporte para buffers de protocolo está em versão prévia pública

Você pode usar as funções from_protobuf e to_protobuf para trocar dados entre tipos binários e de estrutura. Consulte Buffers de protocolo de leitura e gravação.

Suporte para autenticação do Confluent Schema Registry

A integração do Databricks com o Confluent Schema Registry agora oferece suporte a endereços externos de registro de esquema com autenticação. Esse recurso está disponível para as funções from_avro, to_avro, from_protobuf e to_protobuf. Consulte Protobuf ou Avro.

Suporte para compartilhamento da tabela história com Delta Sharing shares

Agora o senhor pode compartilhar uma tabela com histórico completo usando Delta Sharing, permitindo que os destinatários realizem consultas de viagem do tempo e consultem a tabela usando Spark transmissão estructurada. WITH HISTORY é recomendado em vez de CHANGE DATA FEED, embora o último continue sendo suportado. Consulte ALTER SHARE e Adicionar tabelas a um compartilhamento.

Suporte para transmissão com Delta Sharing shares

Spark A transmissão estruturada agora funciona com o formato deltasharing em uma tabela de origem Delta Sharing que foi compartilhada usando WITH HISTORY.

Versão da tabela usando carimbo de data/hora agora com suporte para tabelas Delta Sharing em catálogos

Agora, o senhor pode usar a sintaxe SQL TIMESTAMP AS OF nas instruções SELECT para especificar a versão de uma tabela do Delta Sharing que está montada em um catálogo. As tabelas devem ser compartilhadas usando WITH HISTORY.

Suporte para WHEN NOT MATCHED BY SOURCE para MERGE INTO

Agora, o senhor pode adicionar as cláusulas WHEN NOT MATCHED BY SOURCE a MERGE INTO para atualizar ou excluir linhas na tabela escolhida que não tenham correspondências na tabela de origem com base na condição merge. A nova cláusula está disponível em SQL, Python, Scala e Java. Consulte MERGE INTO.

Coleta de estatísticas otimizada para CONVERT TO DELTA

A coleta de estatísticas para o site CONVERT TO DELTA operações agora é muito mais rápida. Isso reduz o número de cargas de trabalho que podem usar NO STATISTICS para maior eficiência.

Suporte do Unity Catalog para remoção de tabelas

Esse recurso foi lançado inicialmente no Public Preview. É GA em 25 de outubro de 2023.

Agora, o senhor pode desfazer uma tabela gerenciadora ou externa descartada em um esquema existente dentro de sete dias após o descarte. Consulte UNDROP e SHOW TABLES DROPPED.

Atualizações da biblioteca

  • Atualizado Python biblioteca:

    • filelock de 3.8.0 a 3.8.2
    • platformdirs de 2.5.4 a 2.6.0
    • ferramentas de configuração de 58.0.4 a 61.2.0
  • Biblioteca R atualizada:

  • Atualizado Java biblioteca:

    • io.delta.delta-compartilhamento-spark_2.12 de 0.5.2 para 0.6.2
    • org.apache.hive.hive-storage-api de 2.7.2 a 2.8.1
    • org.apache.parquet.parquet-column de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.apache.parquet.parquet-common de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.apache.parquet.codificação de parquet de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.apache.parquet.estruturas de formato de parquet de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.apache.parquet.parquet-hadoop de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.apache.parquet.parquet-jackson de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.tukaani.xz de 1,8 a 1,9

Apache Spark

O Databricks Runtime 12.1 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 12.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-41405] [SC-119769] [12.1.0] Reverter "[SC-119411][sql] Centralizar a lógica de resolução de colunas" e "[SC-117170][spark-41338][SQL] Resolver referências externas e colunas normais nos mesmos lotes de analisadores"
  • [SPARK-41405] [SC-119411] [sql] Centralize a lógica de resolução da coluna
  • [SPARK-41859] [SC-119514] [sql] CreateHiveTableAsSelectCommand deve definir o sinalizador de substituição corretamente
  • [SPARK-41659] [SC-119526][connect][12.X] Habilitar doctests em PySpark.sql.connect.readwriter
  • [SPARK-41858] [SC-119427][sql] Corrigir a regressão de desempenho do leitor ORC devido ao recurso de valor padrão
  • [SPARK-41807] [SC-119399] [core] Remova a classe de erro inexistente: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
  • [SPARK-41578] [12.x][sc-119273][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2141
  • [SPARK-41571] [SC-119362] [sql] Atribuir nome a _LEGACY_ERROR_TEMP_2310
  • [SPARK-41810] [SC-119373][connect] Inferir nomes de uma lista de dicionários em SparkSession.createDataFrame
  • [SPARK-40993] [SC-119504] [spark-41705] [CONECTAR] [12.x] Mova a documentação e o script do Spark Connect para a documentação dev/ e Python
  • [SPARK-41534] [SC-119456][connect][SQL][12.x] Configurar o módulo cliente inicial para o Spark Connect
  • [SPARK-41365] [SC-118498] [ui] [3,3] Falha ao carregar a página Stages UI para proxy em um ambiente específico do yarn
  • [SPARK-41481] [SC-118150][core][SQL] Reutilizar INVALID_TYPED_LITERAL em vez de _LEGACY_ERROR_TEMP_0020
  • [SPARK-41049] [SC-119305] [sql] Revisite o tratamento de expressões com estado
  • [SPARK-41726] [SC-119248] [sql] Remover OptimizedCreateHiveTableAsSelectCommand
  • [SPARK-41271] [SC-118648][sc-118348][SQL] Suporte a consultas SQL parametrizadas por sql()
  • [SPARK-41066] [SC-119344][connect][Python] Implementar DataFrame.sampleBy e DataFrame.stat.sampleBy
  • [SPARK-41407] [SC-119402][sc-119012][SQL][todos os testes] Extrair a gravação v1 para WriteFiles
  • [SPARK-41565] [SC-118868] [sql] Adicionar a classe de erro UNRESOLVED_ROUTINE
  • [SPARK-41668] [SC-118925] [sql] A função DECODE retorna resultados errados quando passada em NULL
  • [SPARK-41554] [SC-119274] Corrigir a alteração da escala decimal quando a escala é reduzida em m...
  • [SPARK-41065] [SC-119324][connect][Python] Implementar DataFrame.freqItems e DataFrame.stat.freqItems
  • [SPARK-41742] [SC-119404] [spark-41745] [CONECTAR] [12.x] Reative os testes de documentos e adicione o alias de coluna ausente ao count ()
  • [SPARK-41069] [SC-119310][connect][Python] Implementar DataFrame.approxQuantile e DataFrame.stat.approxQuantile
  • [SPARK-41809] [SC-119367][connect][Python] Tornar a função from_json compatível com o esquema DataType
  • [SPARK-41804] [SC-119382] [sql] Escolha o tamanho correto do elemento em InterpretedUnsafeProjection para a matriz de UDTs
  • [SPARK-41786] [SC-119308][connect][Python] Funções auxiliares de duplicação
  • [SPARK-41745] [SC-119378] [spark-41789] [12.X] Faça com que createDataFrame suporte uma lista de linhas
  • [SPARK-41344] [SC-119217] [sql] Tornar o erro mais claro quando a tabela não for encontrada no catálogo SupportsCatalogOptions
  • [SPARK-41803] [SC-119380][connect][Python] Adicionar função ausente log(arg1, arg2)
  • [SPARK-41808] [SC-119356][connect][Python] Tornar as funções JSON compatíveis com as opções
  • [SPARK-41779] [SC-119275][spark-41771][CONNECT][Python] Faça __getitem__ filtro de suporte e selecione
  • [SPARK-41783] [SC-119288][spark-41770][CONNECT][Python] Tornar a coluna compatível com a operação Nenhum
  • [SPARK-41440] [SC-119279][connect][Python] Evite o operador de cache para a amostra geral.
  • [SPARK-41785] [SC-119290][connect][Python] Implementar GroupedData.mean
  • [SPARK-41629] [SC-119276] [conectar] Suporte para extensões de protocolo em relação e expressão
  • [SPARK-41417] [SC-118000][core][SQL] Renomear _LEGACY_ERROR_TEMP_0019 para INVALID_TYPED_LITERAL
  • [SPARK-41533] [SC-119342][connect][12.X] Tratamento adequado de erros para o Spark Connect Server / Client
  • [SPARK-41292] [SC-119357][connect][12.X] Janela de suporte em PySpark.sql.window namespace
  • [SPARK-41493] [SC-119339][connect][Python] Tornar as funções csv compatíveis com as opções
  • [SPARK-39591] [SC-118675][ss] Acompanhamento do Async Progress
  • [SPARK-41767] [SC-119337][connect][Python][12.x] Implementar Column.{withField, dropFields}
  • [SPARK-41068] [SC-119268][connect][Python] Implementar DataFrame.stat.corr
  • [SPARK-41655] [SC-119323][connect][12.X] Habilitar doctests em PySpark.sql.connect.column
  • [SPARK-41738] [SC-119170][connect] Misturar ClientId no cache do SparkSession
  • [SPARK-41354] [SC-119194] [conectar] Adicionar RepartitionByExpression ao proto
  • [SPARK-41784] [SC-119289][connect][Python] Adicionar __rmod__ ausente na coluna
  • [SPARK-41778] [SC-119262] [sql] Adicione um alias “reduce” a ArrayAggregate
  • [SPARK-41067] [SC-119171][connect][Python] Implementar DataFrame.stat.cov
  • [SPARK-41764] [SC-119216][connect][Python] Tornar o nome da operação das strings internas consistente com FunctionRegistry
  • [SPARK-41734] [SC-119160] [conectar] Adicionar uma mensagem principal para o Catálogo
  • [SPARK-41742] [SC-119263] Suporte df.groupBy () .agg ({“*”:” count”})
  • [SPARK-41761] [SC-119213][connect][Python] Corrigir operações aritméticas: __neg__, __pow__, __rpow__
  • [SPARK-41062] [SC-118182] [sql] Renomear UNSUPPORTED_CORRELATED_REFERENCE para CORRELATED_REFERENCE
  • [SPARK-41751] [SC-119211][connect][Python] Fixar Column.{isNull, isNotNull, eqNullSafe}
  • [SPARK-41728] [SC-119164][connect][Python][12.x] Implemente a função unwrap_udt
  • [SPARK-41333] [SC-119195] [spark-41737] Implementar GroupedData.{min, max, avg, sum}
  • [SPARK-41751] [SC-119206][connect][Python] Fixar Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
  • [SPARK-41631] [SC-101081] [sql] Suporta resolução implícita de alias de coluna lateral no Aggregate
  • [SPARK-41529] [SC-119207][connect][12.X] Implementar SparkSession.stop
  • [SPARK-41729] [SC-119205][core][SQL][12.x] Renomear _LEGACY_ERROR_TEMP_0011 para UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
  • [SPARK-41717] [SC-119078] [conectar] [12.X] Desduplique a impressão e o repr_html no LogicalPlan
  • [SPARK-41740] [SC-119169][connect][Python] Implementar Column.name
  • [SPARK-41733] [SC-119163] [sql] [SS] Aplique a poda baseada em padrões de árvores para a regra ResolveWindowTime
  • [SPARK-41732] [SC-119157] [sql] [SS] Aplique a poda baseada em padrões de árvores para a regra SessionWindowing
  • [SPARK-41498] [SC-119018] Propague metadados por meio do Union
  • [SPARK-41731] [SC-119166][connect][Python][12.x] Implemente o acessador da coluna
  • [SPARK-41736] [SC-119161][connect][Python] pyspark_types_to_proto_types should supports ArrayType
  • [SPARK-41473] [SC-119092][connect][Python] Implementar a função format_number
  • [SPARK-41707] [SC-119141][connect][12.X] Implementar API de catálogo no Spark Connect
  • [SPARK-41710] [SC-119062][connect][Python] Implementar Column.between
  • [SPARK-41235] [SC-119088][sql][Python]Função de alta ordem: implementação do array_compact
  • [SPARK-41518] [SC-118453] [sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2422
  • [SPARK-41723] [SC-119091][connect][Python] Implementar a função sequence
  • [SPARK-41703] [SC-119060][connect][Python] Combine NullType e typed_null em Literal
  • [SPARK-41722] [SC-119090][connect][Python] Implementar 3 funções de janela de tempo ausentes
  • [SPARK-41503] [SC-119043][connect][Python] Implementar funções de transformações de partição
  • [SPARK-41413] [SC-118968][sql] Evite o shuffle na junção Storage-Partitioned quando a chave da partição for incompatível, mas as expressões join forem compatíveis
  • [SPARK-41700] [SC-119046][connect][Python] Remove FunctionBuilder
  • [SPARK-41706] [SC-119094][connect][Python] pyspark_types_to_proto_types should supports MapType
  • [SPARK-41702] [SC-119049][connect][Python] Adicionar operações de coluna inválidas
  • [SPARK-41660] [SC-118866] [sql] Propague somente colunas de metadados se elas forem usadas
  • [SPARK-41637] [SC-119003] [sql] ORDENAR POR TODOS
  • [SPARK-41513] [SC-118945][sql] Implementar um acumulador para coletar métricas de contagem de linhas por mapeador
  • [SPARK-41647] [SC-119064][connect][12.X] Deduplicar docstrings em PySpark.sql.connect.functions
  • [SPARK-41701] [SC-119048][connect][Python] Suporte a operações de coluna decimal
  • [SPARK-41383] [SC-119015] [spark-41692 ] [SPARK-41693] Implemente rollup, cube e pivot
  • [SPARK-41635] [SC-118944] [sql] AGRUPAR POR TODOS
  • [SPARK-41645] [SC-119057][connect][12.X] Deduplicar docstrings em PySpark.sql.connect.dataframe
  • [SPARK-41688] [SC-118951][connect][Python] Move Expressions to expressions.py
  • [SPARK-41687] [SC-118949][connect] Deduplicar docstrings em PySpark.sql.connect.group
  • [SPARK-41649] [SC-118950][connect] Deduplicar docstrings em PySpark.sql.connect.window
  • [SPARK-41681] [SC-118939] [conectar] Fator de dados agrupados para group.py
  • [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][Python][12.x] Implemente funções Window
  • [SPARK-41675] [SC-119031][sc-118934][CONNECT][Python][12.X] Suporte a operações de coluna datetime
  • [SPARK-41672] [SC-118929][connect][Python] Habilitar as funções obsoletas
  • [SPARK-41673] [SC-118932][connect][Python] Implementar Column.astype
  • [SPARK-41364] [SC-118865][connect][Python] Implementar a função broadcast
  • [SPARK-41648] [SC-118914][connect][12.X] Deduplicar docstrings em PySpark.sql.connect.readwriter
  • [SPARK-41646] [SC-118915][connect][12.X] Deduplicar docstrings em PySpark.sql.connect.session
  • [SPARK-41643] [SC-118862][connect][12.X] Deduplicar docstrings em PySpark.sql.connect.column
  • [SPARK-41663] [SC-118936][connect][Python][12.x] Implementar o restante das funções Lambda
  • [SPARK-41441] [SC-118557] [sql] Suporte Gerado sem a necessidade de saída secundária para hospedar referências externas
  • [SPARK-41669] [SC-118923] [sql] Poda precoce em CanCollapseExpressions
  • [SPARK-41639] [SC-118927] [sql] [PROTOBUF]: Remova o ScalarReflectionLock dos SchemaConverters
  • [SPARK-41464] [SC-118861][connect][Python] Implementar DataFrame.to
  • [SPARK-41434] [SC-118857][connect][Python] Implementação inicial LambdaFunction
  • [SPARK-41539] [SC-118802] [sql] Remapeie estatísticas e restrições em relação à saída no plano lógico do LogicalRDD
  • [SPARK-41396] [SC-118786] [sql] [PROTOBUF] Suporte de campo OneOf e verificações de recursão
  • [SPARK-41528] [SC-118769][connect][12.X] mesclar namespace de Spark Connect e PySpark API
  • [SPARK-41568] [SC-118715] [sql] Atribuir nome a _LEGACY_ERROR_TEMP_1236
  • [SPARK-41440] [SC-118788][connect][Python] Implementar DataFrame.randomSplit
  • [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Adicione o Spark Connect e o protobuf ao setup.py especificando as dependências
  • [SPARK-27561] [SC-101081][12.x][SQL] Suporta resolução implícita de alias de coluna lateral no Project
  • [SPARK-41535] [SC-118645] [sql] Defina null corretamente para campos de intervalo de calendário em InterpretedUnsafeProjection e InterpretedMutableProjection
  • [SPARK-40687] [SC-118439][sql] Suporte à função integrada de mascaramento de dados 'mask'
  • [SPARK-41520] [SC-118440] [sql] Divida o padrão de árvore AND_OR para separar padrões de árvore AND e OR
  • [SPARK-41349] [SC-118668][connect][Python] Implementar DataFrame.hint
  • [SPARK-41546] [SC-118541][connect][Python] pyspark_types_to_proto_types deve suportar StructType.
  • [SPARK-41334] [SC-118549][connect][Python] Mover SortOrder proto de relações para expressões
  • [SPARK-41387] [SC-118450][ss] Assert current end offset from Kafka fonte de dados for Trigger.AvailableNow
  • [SPARK-41508] [SC-118445][core][SQL] Renomear _LEGACY_ERROR_TEMP_1180 para UNEXPECTED_INPUT_TYPE e remover _LEGACY_ERROR_TEMP_1179
  • [SPARK-41319] [SC-118441][connect][Python] Implementar Column.{when, caso contrário} e Função when com UnresolvedFunction
  • [SPARK-41541] [SC-118460] [sql] Corrige a chamada para o método filho errado em SQLShuffleWriteMetricsReporter.deRecordsWritten ()
  • [SPARK-41453] [SC-118458][connect][Python] Implementar DataFrame.subtract
  • [SPARK-41248] [SC-118436][sc-118303][SQL] Adicionar "spark.sql.JSON.enablePartialResults" para ativar/desativar os resultados parciais do JSON
  • [SPARK-41437] Reverter "[SC-117601][sql] Não otimizar a consulta de entrada duas vezes para o fallback de gravação v1".
  • [SPARK-41472] [SC-118352][connect][Python] Implementar o restante das funções strings/binárias
  • [SPARK-41526] [SC-118355][connect][Python] Implementar Column.isin
  • [SPARK-32170] [SC-118384] [CORE] Aprimore a especulação por meio das métricas da tarefa de estágio.
  • [SPARK-41524] [SC-118399] [ss] Diferencie SQLconf e ExtraOptions no StateStoreConf para seu uso no RocksDBconf
  • [SPARK-41465] [SC-118381] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1235
  • [SPARK-41511] [SC-118365] [sql] O suporte de mapa de linha longo para inseguro ignora a chave duplicada
  • [SPARK-41409] [SC-118302][core][SQL] Renomear _LEGACY_ERROR_TEMP_1043 para WRONG_NUM_ARGS.WITHOUT_SUGGESTION
  • [SPARK-41438] [SC-118344][connect][Python] Implementar DataFrame.colRegex
  • [SPARK-41437] [SC-117601][sql] Não otimizar a consulta de entrada duas vezes para o fallback de gravação v1
  • [SPARK-41314] [SC-117172] [sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1094
  • [SPARK-41443] [SC-118004] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1061
  • [SPARK-41506] [SC-118241][connect][Python] Refatorar LiteralExpression para dar suporte a DataType
  • [SPARK-41448] [SC-118046] Tornar consistentes os IDs de trabalho de RM em FileBatchWriter e FileFormatWriter
  • [SPARK-41456] [SC-117970][sql] Melhorar o desempenho do try_cast
  • [SPARK-41495] [SC-118125][connect][Python] Implementar funções collection: P~Z
  • [SPARK-41478] [SC-118167] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1234
  • [SPARK-41406] [SC-118161] [sql] Refatore a mensagem de erro para NUM_COLUMNS_MISMATCH para torná-la mais genérica
  • [SPARK-41404] [SC-118016] [sql] Refatore ColumnVectorUtils#toBatch para fazer com que ColumnarBatchSuite#testRandomRows teste DataType mais primitivo
  • [SPARK-41468] [SC-118044] [sql] Corrige o tratamento de planExpression em expressões equivalentes
  • [SPARK-40775] [SC-118045] [sql] Corrige entradas de descrição duplicadas para escaneamentos de arquivos V2
  • [SPARK-41492] [SC-118042][connect][Python] Implementar funções MISC
  • [SPARK-41459] [SC-118005][sql] fix thrift server operações log output is empty
  • [SPARK-41395] [SC-117899] [sql] InterpretedMutableProjection deve usar setDecimal para definir valores nulos para decimais em uma linha não segura
  • [SPARK-41376] [SC-117840][core][3.3] Corrigir a lógica de verificação do Netty preferDirectBufs em executor começar
  • [SPARK-41484] [SC-118159][sc-118036][CONNECT][Python][12.x] Implemente as funções collection: E~M
  • [SPARK-41389] [SC-117426][core][SQL] Reutilizar WRONG_NUM_ARGS em vez de _LEGACY_ERROR_TEMP_1044
  • [SPARK-41462] [SC-117920] [sql] O tipo de data e timestamp pode ser convertido em timestampNTZ
  • [SPARK-41435] [SC-117810] [sql] Mude para chamar invalidFunctionArgumentsError para curdate() quando expressions não estiver vazio
  • [SPARK-41187] [SC-118030] [core] Vazamento de memória do LiveExecutor no AppStatusListener quando o ExecutorLost acontece
  • [SPARK-41360] [SC-118083][core] Evite o novo registro do BlockManager se o executor tiver sido perdido
  • [SPARK-41378] [SC-117686] [sql] Estatísticas da coluna de suporte no DS v2
  • [SPARK-41402] [SC-117910] [sql] [CONECTAR] [12.x] Substituir prettyName de StringDecode
  • [SPARK-41414] [SC-118041][connect][Python][12.x] Implemente funções de carimbo de data/hora
  • [SPARK-41329] [SC-117975][connect] Resolver importações circulares no Spark Connect
  • [SPARK-41477] [SC-118025][connect][Python] Inferir corretamente o tipo de dados de inteiros literais
  • [SPARK-41446] [SC-118024][connect][Python][12.x] Tornar createDataFrame compatível com o esquema e mais tipos de entrada dataset
  • [SPARK-41475] [SC-117997][connect] Corrigir erro de lint-Scala comando e erro de digitação
  • [SPARK-38277] [SC-117799][ss] Clear write lotes after RocksDB armazenamento do estado's commit
  • [SPARK-41375] [SC-117801] [ss] Evite o último KafkaSourceOffset vazio
  • [SPARK-41412] [SC-118015] [conectar] Implementar Column.cast
  • [SPARK-41439] [SC-117893][connect][Python] Implementar DataFrame.melt e DataFrame.unpivot
  • [SPARK-41399] [SC-118007] [sc-117474] [CONNECT] Refatore os testes relacionados à coluna para test_connect_column
  • [SPARK-41351] [SC-117957] [sc-117412] [CONECTAR] [12.x] A coluna deve suportar! = operador
  • [SPARK-40697] [SC-117806][sc-112787][SQL] Adicionar preenchimento de caracteres do lado da leitura para cobrir arquivos de dados externos
  • [SPARK-41349] [SC-117594] [conectar] [12.X] Implementar DataFrame.hint
  • [SPARK-41338] [SC-117170][sql] Resolver referências externas e colunas normais nos mesmos lotes de analisadores
  • [SPARK-41436] [SC-117805][connect][Python] Implementar funções collection: A~C
  • [SPARK-41445] [SC-117802] [conectar] Implementar DataFrameReader.parquet
  • [SPARK-41452] [SC-117865] [sql] to_char deve retornar nulo quando o formato é nulo
  • [SPARK-41444] [SC-117796][CONNECT] Suporte read.json()
  • [SPARK-41398] [SC-117508][sql] Relaxe as restrições na junção particionada por armazenamento quando a chave de partição após a filtragem de tempo de execução não corresponder
  • [SPARK-41228] [SC-117169] [sql] Renomeie & Melhore a mensagem de erro para COLUMN_NOT_IN_GROUP_BY_CLAUSE.
  • [SPARK-41381] [SC-117593][connect][Python] Implementar as funções count_distinct e sum_distinct
  • [SPARK-41433] [SC-117596] [conectar] Tornar o tamanho máximo de lote de seta configurável
  • [SPARK-41397] [SC-117590][connect][Python] Implementar parte das funções strings/binárias
  • [SPARK-41382] [SC-117588][connect][Python] Implementar a função product
  • [SPARK-41403] [SC-117595][connect][Python] Implementar DataFrame.describe
  • [SPARK-41366] [SC-117580] [conectar] df.groupby.agg () deve ser compatível
  • [SPARK-41369] [SC-117584] [conectar] Adicionar conexão comum ao jar sombreado dos servidores
  • [SPARK-41411] [SC-117562] [ss] Correção de bug no suporte à marca d'água do MultiStateful Operator
  • [SPARK-41176] [SC-116630] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1042
  • [SPARK-41380] [SC-117476][connect][Python][12.x] Implemente funções de agregação
  • [SPARK-41363] [SC-117470][connect][Python][12.x] Implemente funções normais
  • [SPARK-41305] [SC-117411][connect] Melhorar a documentação do comando proto
  • [SPARK-41372] [SC-117427][connect][Python] Implementar DataFrame TempView
  • [SPARK-41379] [SC-117420][ss][Python] Fornecer sessão clonada do Spark em DataFrame na função de usuário para o coletor foreachBatch em PySpark
  • [SPARK-41373] [SC-117405] [sql] [ERROR] Renomeie CAST_WITH_FUN_SUGESTION para CAST_WITH_FUNC_SUGESTION
  • [SPARK-41358] [SC-117417] [sql] Refatore o método ColumnVectorUtils#populate para usar PhysicalDataType em vez de DataType
  • [SPARK-41355] [SC-117423] [sql] Solução alternativa do problema de validação do nome da tabela hive
  • [SPARK-41390] [SC-117429] [sql] Atualize o script usado para gerar a função register em UDFRegistration
  • [SPARK-41206] [SC-117233][sc-116381][SQL] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1233 para COLUMN_ALREADY_EXISTS
  • [SPARK-41357] [SC-117310][connect][Python][12.x] Implemente funções matemáticas
  • [SPARK-40970] [SC-117308][connect][Python] Lista de suporte[Column] para argumento join's on
  • [SPARK-41345] [SC-117178] [conectar] Adicionar dica para conectar o Proto
  • [SPARK-41226] [SC-117194][sql][12.x] Refatorar os tipos do Spark com a introdução de tipos físicos
  • [SPARK-41317] [SC-116902][connect][Python][12.x] Adicionar suporte básico para DataFrameWriter
  • [SPARK-41347] [SC-117173] [conectar] Adicionar transmissão ao protótipo de expressão
  • [SPARK-41323] [SC-117128] [sql] Suporte current_schema
  • [SPARK-41339] [SC-117171][sql] Feche e recrie RocksDB write lotes em vez de apenas limpar
  • [SPARK-41227] [SC-117165][connect][Python] Implementar DataFrame cross join
  • [SPARK-41346] [SC-117176][connect][Python] Implementar as funções asc e desc
  • [SPARK-41343] [SC-117166] [conectar] Mova a análise de functionName para o lado do servidor
  • [SPARK-41321] [SC-117163] [conectar] Campo alvo de suporte para UnresolvedStar
  • [SPARK-41237] [SC-117167] [sql] Reutilize a classe de erro UNSUPPORTED_DATATYPE para _LEGACY_ERROR_TEMP_0030
  • [SPARK-41309] [SC-116916] [sql] Reutilize INVALID_SCHEMA.NON_STRING_LITERAL em vez de _LEGACY_ERROR_TEMP_1093
  • [SPARK-41276] [SC-117136][sql][ML][MLlib][PROTOBUF][Python][R][ss][AVRO] Otimizar o uso do construtor de StructType
  • [SPARK-41335] [SC-117135][connect][Python] Suporte a IsNull e IsNotNull em colunas
  • [SPARK-41332] [SC-117131][connect][Python] Corrigir nullOrdering em SortOrder
  • [SPARK-41325] [SC-117132] [conectar] [12.X] Corrige avg () ausente para GroupBy em DF
  • [SPARK-41327] [SC-117137] [core] Corrija SparkStatusTracker.getExecutorInfos ativando/desativando as informações de memória de armazenamento
  • [SPARK-41315] [SC-117129][connect][Python] Implementar DataFrame.replace e DataFrame.na.replace
  • [SPARK-41328] [SC-117125][connect][Python] Adicionar lógicas e strings API à coluna
  • [SPARK-41331] [SC-117127][connect][Python] Adicionar orderBy e drop_duplicates
  • [SPARK-40987] [SC-117124] [core] BlockManager#removeBlockInternal deve garantir que a trava seja desbloqueada normalmente
  • [SPARK-41268] [SC-117102][sc-116970][CONNECT][Python] Refatorar "Column" para compatibilidade com API
  • [SPARK-41312] [SC-116881][connect][Python][12.x] Implemente DataFrame.withColumnRenamed
  • [SPARK-41221] [SC-116607] [sql] Adicionar a classe de erro INVALID_FORMAT
  • [SPARK-41272] [SC-116742] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2019
  • [SPARK-41180] [SC-116760] [sql] Reutilize INVALID_SCHEMA em vez de _LEGACY_ERROR_TEMP_1227
  • [SPARK-41260] [SC-116880][Python][SS][12.x] Converter instâncias NumPy em tipos primitivos Python na atualização do GroupState
  • [SPARK-41174] [SC-116609][core][SQL] Propaga uma classe de erro para os usuários em caso de format inválido de to_binary()
  • [SPARK-41264] [SC-116971][connect][Python] Tornar o Literal compatível com mais tipos de dados
  • [SPARK-41326] [SC-116972] [CONNECT] Corrigir desduplicação na entrada ausente
  • [SPARK-41316] [SC-116900] [sql] Habilite a recursão de cauda sempre que possível
  • [SPARK-41297] [SC-116931] [CONNECT] [Python] Expressões de strings de suporte no filtro.
  • [SPARK-41256] [SC-116932] [sc-116883] [CONNECT] Implemente DataFrame.withColumn (s)
  • [SPARK-41182] [SC-116632] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1102
  • [SPARK-41181] [SC-116680] [sql] Migre os erros das opções de mapa para classes de erro
  • [SPARK-40940] [SC-115993] [12.x] Remover verificadores de operadores multiestatísticos para consultas de transmissão.
  • [SPARK-41310] [SC-116885][connect][Python] Implementar DataFrame.toDF
  • [SPARK-41179] [SC-116631] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1092
  • [SPARK-41003] [SC-116741] [sql] BHJ leftAnti não atualiza numOutputRows quando o codegen está desativado
  • [SPARK-41148] [SC-116878][connect][Python] Implementar DataFrame.dropna e DataFrame.na.drop
  • [SPARK-41217] [SC-116380] [sql] Adicionar a classe de erro FAILED_FUNCTION_CALL
  • [SPARK-41308] [SC-116875][connect][Python] Improve DataFrame.count()
  • [SPARK-41301] [SC-116786] [CONNECT] Homogeneizar o comportamento do SparkSession.range()
  • [SPARK-41306] [SC-116860] [conectar] Melhorar a documentação do Connect Expression proto
  • [SPARK-41280] [SC-116733] [conectar] Implementar DataFrame.tail
  • [SPARK-41300] [SC-116751] [CONNECT] O esquema não definido é interpretado como esquema
  • [SPARK-41255] [SC-116730] [sc-116695] [CONECTAR] Renomear RemoteSparkSession
  • [SPARK-41250] [SC-116788][sc-116633][CONNECT][Python] DataFrame. toPandas não deve retornar o dataframe opcional Pandas
  • [SPARK-41291] [SC-116738][connect][Python] DataFrame.explain deve imprimir e retornar None
  • [SPARK-41278] [SC-116732] [conectar] Limpe o QualifiedAttribute não utilizado em Expression.proto
  • [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Remover a base de conversão de coleção redundante no código Scala 2.13
  • [SPARK-41261] [SC-116718][Python][SS] Corrigir o problema de applyInPandasWithState quando as colunas da chave de agrupamento não são colocadas em ordem desde a mais antiga
  • [SPARK-40872] [SC-116717] [3,3] retorno ao bloco de embaralhamento original quando um bloco de embaralhamento push-merge tem tamanho zero
  • [SPARK-41114] [SC-116628] [conectar] Suporte a dados locais para LocalRelation
  • [SPARK-41216] [SC-116678][connect][Python] Implementar DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
  • [SPARK-41238] [SC-116670][connect][Python] Suporte a mais tipos de dados integrados
  • [SPARK-41230] [SC-116674][connect][Python] Remover str do tipo de expressão Aggregate
  • [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Implementação otimizada de coleta baseada em seta para transmissão do servidor para o cliente
  • [SPARK-41222] [SC-116625][connect][Python] Unificar as definições de digitação
  • [SPARK-41225] [SC-116623] [CONNECT] [Python] Desativar funções não suportadas.
  • [SPARK-41201] [SC-116526][connect][Python] Implementar DataFrame.SelectExpr no cliente Python
  • [SPARK-41203] [SC-116258] [CONNECT] Suporte a Dataframe.tansform no cliente Python.
  • [SPARK-41213] [SC-116375][connect][Python] Implementar DataFrame.__repr__ e DataFrame.dtypes
  • [SPARK-41169] [SC-116378][connect][Python] Implementar DataFrame.drop
  • [SPARK-41172] [SC-116245] [sql] Migre o erro ref ambíguo para uma classe de erro
  • [SPARK-41122] [SC-116141][connect] Explicar que a API pode suportar diferentes modos
  • [SPARK-41209] [SC-116584][sc-116376][Python] Aprimorar a inferência do tipo PySpark no método de mesclagem
  • [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Homogeneizar a versão do protobuf no servidor Spark connect para usar a mesma versão principal.
  • [SPARK-35531] [SC-116409] [sql] Atualize as estatísticas da tabela hive sem conversão desnecessária
  • [SPARK-41154] [SC-116289][sql] Cache de relação incorreto para consultas com especificação de viagem do tempo
  • [SPARK-41212] [SC-116554][sc-116389][CONNECT][Python] Implementar DataFrame.isEmpty
  • [SPARK-41135] [SC-116400] [sql] Renomeie UNSUPPORTED_EMPTY_LOCATION para INVALID_EMPTY_LOCATION
  • [SPARK-41183] [SC-116265][sql] Adicionar uma API de extensão para fazer a normalização do plano para armazenamento em cache
  • [SPARK-41054] [SC-116447][ui][CORE] Suporte ao RocksDB como KVStore na UI ao vivo
  • [SPARK-38550] [SC-115223]Reverter "[SQL][core] Use um armazenamento baseado em disco para salvar mais informações de depuração para a UI ao vivo".
  • [SPARK-41173] [SC-116185][sql] Mover require() para fora dos construtores de expressões de strings
  • [SPARK-41188] [SC-116242][core][ML] Set executorEnv OMP_NUM_THREADS to be spark.tarefa.cpus by default for spark executor JVM processes
  • [SPARK-41130] [SC-116155] [sql] Renomeie OUT_OF_DECIMAL_TYPE_RANGE para NUMERIC_OUT_OF_SUPPORTED_RANGE
  • [SPARK-41175] [SC-116238] [sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1078
  • [SPARK-41106] [SC-116073] [sql] Reduza a conversão da coleção ao criar AttributeMap
  • [SPARK-41139] [SC-115983] [sql] Melhore a classe de erro: PYTHON_UDF_IN_ON_CLAUSE
  • [SPARK-40657] [SC-115997][protobuf] Exigir sombreamento para Java class jar, melhorar o tratamento de erros
  • [SPARK-40999] [SC-116168] Propagação de dicas para subconsultas
  • [SPARK-41017] [SC-116054] [sql] Ofereça suporte à poda de colunas com vários filtros não determinísticos
  • [SPARK-40834] [SC-114773][sql] Use SparkListenerSQLExecutionEnd para acompanhar o status final do SQL na interface do usuário
  • [SPARK-41118] [SC-116027] [sql] to_number/try_to_number deve retornar null quando o formato é null
  • [SPARK-39799] [SC-115984][sql] DataSourceV2: visualizar interface do catálogo
  • [SPARK-40665] [SC-116210][sc-112300][CONNECT] Evite incorporar o Spark Connect na versão binária do Apache Spark
  • [SPARK-41048] [SC-116043] [sql] Melhore o particionamento e a ordenação da saída com o cache AQE
  • [SPARK-41198] [SC-116256][ss] Corrigir métricas na consulta de transmissão com fonte de transmissão CTE e DSv1
  • [SPARK-41199] [SC-116244][ss] Corrige o problema de métricas quando a fonte de transmissão DSv1 e a fonte de transmissão DSv2 são usadas em conjunto
  • [SPARK-40957] [SC-116261] [sc-114706] Adicionar cache de memória no HDFSMetadatalog
  • [SPARK-40940] Reverter "[SC-115993] Remover verificadores de operadores multiestatísticos para consultas de transmissão".
  • [SPARK-41090] [SC-116040][sql] Lançar exceção para db_name.view_name ao criar temp view por conjunto de dados API
  • [SPARK-41133] [SC-116085] [sql] Integre UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION em NUMERIC_VALUE_OUT_OF_RANGE
  • [SPARK-40557] [SC-116182][sc-111442][CONNECT] Code Dump 9 commit
  • [SPARK-40448] [SC-114447][sc-111314][CONNECT] Construção do Spark Connect como plug-in de driver com dependências sombreadas
  • [SPARK-41096] [SC-115812][sql] Suporte à leitura do tipo Parquet FIXED_LEN_BYTE_ARRAY
  • [SPARK-41140] [SC-115879] [sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_2440 para INVALID_WHERE_CONDITION
  • [SPARK-40918] [SC-114438] [sql] Incompatibilidade entre FileSourceScanExec e Orc e ParquetFileFormat na produção de saída colunar
  • [SPARK-41155] [SC-115991] [sql] Adicionar mensagem de erro a SchemaColumnConvertNotSupportedException
  • [SPARK-40940] [SC-115993] Remover verificadores de operadores multiestatísticos para consultas de transmissão.
  • [SPARK-41098] [SC-115790] [sql] Renomear GROUP_BY_POS_REFERS_AGG_EXPR para GROUP_BY_POS_AGGREGATE
  • [SPARK-40755] [SC-115912] [sql] Migrar falhas de verificação de tipo na formatação de números para classes de erro
  • [SPARK-41059] [SC-115658] [sql] Renomear _LEGACY_ERROR_TEMP_2420 para NESTED_AGGREGATE_FUNCTION
  • [SPARK-41044] [SC-115662] [sql] Converter DATATYPE_MISMATCH.UNSPECIFIED_FRAME em INTERNAL_ERROR
  • [SPARK-40973] [SC-115132] [sql] Renomear _LEGACY_ERROR_TEMP_0055 para UNCLOSED_BRACKETED_COMMENT

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 12.1.

Ambiente do sistema

  • Sistema operacional : Ubuntu 20.04.5 LTS
  • Java : Zulu 8.64.0.19-CA-linux64
  • Scala : 2.12.14
  • Python : 3.9.5
  • R : 4.2.2
  • Delta Lake : 2.2.0

Instalado Python biblioteca

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

argônio-2-cffi

21,3,0

ligações argônio-2-cffi

21.2.0

asttokens

2.0.5

atrai

21,4,0

chamada de volta

0.2.0

backports.pontos de entrada selecionáveis

1.2.0

linda sopa 4

4.11.1

preto

22,3,0

cândida

4.1.0

boto3

1,21,32

botocore

1,24,32

certifi

2021.10.8

caffi

1,15.0

chardet

4.0.0

normalizador de conjuntos de caracteres

2.0.4

clique

8.0.4

criptografia

3.4.8

ciclador

0.11.0

Cython

0,29,28

dbus-Python

1.2.16

depurar

1.5.1

decorador

5.1.1

xml desfundido

0.7.1

distlib

0.3.6

docstring-to-markdown

0,11

pontos de entrada

0,4

execução

0,8.3

visão geral das facetas

1.0.0

esquema fastjson

2.16.2

bloqueio de arquivo

3.8.2

ferramentas de fonte

4,25.0

Índia

3.3

ipykernel

6.15.3

ipython

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

jedi

0,18.1

Jinja 2

2.11.3

jmespath

0.10.0

joblib

1.1.0

esquema json

4.4.0

cliente jupyter

6.1.12

jupyter_core

4.11.2

pigmentos jupyterlab

0.1.2

widgets jupyterlab

1.0.0

solucionador de kiwi

1.3.2

MarkupSafe

2.0.1

Matplotlib

3.5.1

matplotlib-inline

0.1.2

mccabe

0.7.0

confundir

0,8.4

extensões mypy

0.4.3

cliente nb

0,5.13

nbconvert

6.4.4

formato nb

5.3.0

nest-assíncio

1.5.5

nodeenv

1.7.0

notebook

6.4.8

entorpecido

1,21,5

fazendo às malas

21,3

Pandas

1.4.2

filtros pandóicos

1.5.0

parso

0,8.3

especificação do caminho

0.9.0

bode expiatório

0.5.2

esperar

4.8.0

picles

0.7.5

Travesseiro

9.0.1

pip

21.2.4

platformdirs

2.6.0

Plotly

5.6.0

plugado

1.0.0

cliente prometheus

0.13.1

kit de ferramentas de aviso

3,0.20

protobuf

3.19.4

pistila

5.8.0

psycopg2

2.9.3

processo pty

0.7.0

avaliação pura

0.2.2

flecha

7.0.0

pycparser

2,21

flocos

2.5.0

Pigmentos

2.11.2

Objeto PYG

3,36,0

pyodbc

4,0,32

análise de pipa

3.0.4

direito autoral

1,1.283

persistente

0,18.0

Python-dateutil

2.8.2

Python-lsp-jsonrpc

1.0.0

Python-lsp-server

1.6.0

pytz

2021,3

pizma

22,3,0

pedidos

2.27.1

solicitações - soquete unix

0.2.0

corda

0,22,0

transferência s3

0.5.0

scikit-learn

1.0.2

pegajoso

1.7.3

marítimo

0.11.2

Enviar 2 lixeiras

1.8.0

ferramentas de configuração

61,2,0

seis

1,16.0

peneira

2.3.1

ID de importação ssh

5,10

dados de pilha

0.2.0

modelos de estatísticas

0,13.2

tenacidade

8.0.1

terminado

0.13.1

caminho de teste

0.5.0

threadpool ctl

2.2.0

tokenizar-rt

4.2.1

tomli

1.2.2

tornado

6.1

almôndegas

5.1.1

extensões_de digitação

4.1.1

junhão

5.1.0

atualizações autônomas

0,1

urllib3

1.26.9

ambiente virtual

20,8.0

largura do wc

0.2.5

codificações da web

0.5.1

qual é o patch

1.0.3

Python wheel

0,37,0

extensão widgetsnb

3.6.1

yapf

0,31,0

Instalada a R biblioteca

As bibliotecas R são instaladas a partir do Snapshot Microsoft CRAN em 2022-11-11.

Biblioteca

Versão

Biblioteca

Versão

Biblioteca

Versão

flecha

10.0.0

askpass

1.1

afirme que

0.2.1

portas traseiras

1.4.1

base

4.2.2

base64enc

0,1-3

pouco

4.0.4

bit64

4.0.5

bolha

1.2.3

inicialização

1,3-28

fermentar

1,0-8

brio

1.1.3

vassoura

1.0.1

babião

0.4.1

cachem

1.0.6

chamador

3.7.3

cursor

6,0-93

guarda de celas

1.1.0

crono

2,3-58

Aula

7,3-20

CLIPE

3.4.1

clipe

0,8.0

relógio

0.6.1

Cluster

2.1.4

ferramentas de código

0,2-18

espaço de cores

2,0-3

marca comum

1.8.1

compilador

4.2.2

configuração

0.3.1

cpp11

0.4.3

giz de cera

1.5.2

Credenciais

1.3.2

cacho

4.3.3

data.tabela

1,14.4

conjunto de dados

4.2.2

DBI

1.1.3

dbplyr

2.2.1

desc

1.4.2

ferramentas de desenvolvimento

2.4.5

diff

0.3.5

digerir

0,6.30

iluminado

0.4.2

dplyr

1.0.10

dtplyr

1.2.2

e1071

1,7-12

reticências

0.3.2

avalie

0,18

fansi

1.0.3

colorista

2.1.1

mapa rápido

1.1.0

fontawesome

0.4.0

para gatos

0.5.2

para cada um

1.5.2

estrangeira

0,8-82

forjar

0.2.0

fs

1.5.2

futuro

1.29.0

futuro.aplique

1.10.0

gargarejar

1.2.1

genéricas

0.1.3

obter

1.9.1

ggplot2

3.4.0

gh

1.3.1

gitcreds

0.1.2

glmnet

4,1-4

globais

0.16.1

cola

1.6.2

google drive

2.0.0

planilhas do Google 4

1.0.1

goleiro

1.0.0

gráficos

4.2.2

Dispositivos GR

4.2.2

grade

4.2.2

Grid Extra

2.3

gsubfn

0,7

mesa

0.3.1

capacete

1.2.0

refúgio

2.5.1

mais alto

0,9

HMS

1.1.2

ferramentas html

0.5.3

widgets html

1.5.4

http.uv

1.6.6

httr

1.4.4

IDs

1.0.1

mini

0.3.1

ipred

0,9-13

isóbanda

0.2.6

iteradores

1,0.14

jquerylib

0.1.4

jsonlite

1.8.3

Kern Smooth

2,23-20

tricotar

1,40

rótulo

0.4.2

posteriormente

1.3.0

treliça

0,20-45

lava

1.7.0

ciclo de vida

1.0.3

ouvindo

0,8.0

lubrificar

1.9.0

magritter

2.0.3

Markdown

1.3

MASSA

7,3-58

Matriz

1,5-1

memoise

2.0.1

métodos

4.2.2

mgcv

1,8-41

mímica

0,12

Mini UI

0.1.1.1

Métricas do modelo

1.2.2.2

modelar

0.1.9

munsell

0.5.0

nome

3,1-160

net

7,3-18

Número Deriv

2016,8-1,1

openssl

2.0.4

paralelo

4.2.2

paralelamente

1,32,1

pilar

1.8.1

pkgbuild

1.3.1

pkgconfig

2.0.3

pkgdown

2.0.6

carregamento de pacotes

1.3.1

plogr

0.2.0

plyr

1.8.7

elogio

1.0.0

unidades bonitas

1.1.1

ProC

1,18.0

processa

3.8.0

prodlim

13/11/2019

profvis

0.3.7

progresso

1.2.2

progressista

0.11.0

promessas

1.2.0.1

proto

1.0.0

proxy

0,4-27

ps

1.7.2

ronronar

0.3.5

r2d3

0.2.6

R6

2.5.1

trapo

1.2.4

Floresta aleatória

4,7-1,1

corredeiras

0.3.3

rcmdcheck

1.4.0

Cervejaria RColor

1,1-3

Rcpp

1.0.9

RCP Pegen

0.3.3.9.3

leitor

2.1.3

readxl

1.4.1

receitas

1.0.3

revanche

1.0.1

revanche 2

2.1.2

controles remotos

2.4.2

reprex

2.0.2

remodelar 2

1.4.4

rlang

1.0.6

rmarkdown

2,18

RODBC

1,3-19

roxigênio2

7.2.1

rpartem

4.1.19

rprojroot

2.0.3

Reservar

1,8-11

RSQLite

2.2.18

API do estúdio

0,14

reversões

2.1.2

colete

1.0.3

atrevimento

0.4.2

escala

1.2.1

seletor

0,4-2

informações da sessão

1.2.2

forma

1.4.6

brilhante

1.7.3

ferramentas de origem

0.1.7

Sparklyr

1.7.8

SparkR

3.3.1

espacial

7,3-11

splines

4.2.2

sqldf

0,4-11

QUADRADO

2021,1

estatísticas

4.2.2

estatísticas4

4.2.2

stringi

1.7.8

longarina

1.4.1

sobrevivência

3,4-0

diz

3.4.1

fontes do sistema

1.0.4

tcltk

4.2.2

teste isso

3.1.5

modelagem de texto

0.3.6

petiscar

3.1.8

arrumado

1.2.1

seleção arrumada

1.2.0

tidyverso

1.3.2

mudança de horário

0.1.1

Hora/Data

4021,106

tinytex

0,42

Ferramentas

4.2.2

tzdb

0.3.0

verificador de URL

1.0.1

use isso

2.1.6

utf 8

1.2.2

utilidades

4.2.2

uuid

1,1-0

vctrs

0.5.0

Viridis Lite

0.4.1

vadouro

1.6.0

waldo

0.4.0

bigode

0,4

murchar

2.5.0

diversão

0,34

xml2

1.3.3

xopen

1.0.0

x estável

1,8-4

yaml

2.3.6

compactar

2.2.2

Instalei Java e Scala biblioteca (versão de clusteringScala 2.12)

ID do grupo

ID do artefato

Versão

chifre

chifre

2.7.7

com.amazonaws

Amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscale

1,12.189

com.amazonaws

formação de nuvem aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-cloudfront

1,12.189

com.amazonaws

aws-java-sdk-cloudhsm

1,12.189

com.amazonaws

aws-java-sdk-cloudsearch

1,12.189

com.amazonaws

aws-java-sdk-cloudtrail

1,12.189

com.amazonaws

aws-java-sdk-cloudwatch

1,12.189

com.amazonaws

métricas aws-java-sdk-cloudwatch

1,12.189

com.amazonaws

aws-java-sdk-codedeploy

1,12.189

com.amazonaws

identidade cognitiva aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-cognitosync

1,12.189

com.amazonaws

aws-java-sdk-config

1,12.189

com.amazonaws

aws-java-sdk-core

1,12.189

com.amazonaws

pipeline de dados aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-conexão direta

1,12.189

com.amazonaws

diretório aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-dynamodb

1,12.189

com.amazonaws

aws-java-sdk-ec2

1,12.189

com.amazonaws

aws-java-sdk-ecs

1,12.189

com.amazonaws

aws-java-sdk-efs

1,12.189

com.amazonaws

aws-java-sdk-elasticache

1,12.189

com.amazonaws

aws-java-sdk-elasticbeanstalk

1,12.189

com.amazonaws

balanceamento de carga elástico aws-java-sdk

1,12.189

com.amazonaws

transcodificador elástico aws-java-sdk-

1,12.189

com.amazonaws

aws-java-sdk-emr

1,12.189

com.amazonaws

aws-java-sdk-glacier

1,12.189

com.amazonaws

aws-java-sdk-glue

1,12.189

com.amazonaws

aws-java-sdk-iam

1,12.189

com.amazonaws

aws-java-sdk-importação/exportação

1,12.189

com.amazonaws

aws-java-sdk-kinesis

1,12.189

com.amazonaws

aws-java-sdk-kms

1,12.189

com.amazonaws

aws-java-sdk-lambda

1,12.189

com.amazonaws

aws-java-sdk-logs

1,12.189

com.amazonaws

aws-java-sdk - aprendizado de máquina

1,12.189

com.amazonaws

aws-java-sdk-opsworks

1,12.189

com.amazonaws

aws-java-sdk-rds

1,12.189

com.amazonaws

aws-java-sdk-redshift

1,12.189

com.amazonaws

aws-java-sdk-route53

1,12.189

com.amazonaws

aws-java-sdk-s3

1,12.189

com.amazonaws

aws-java-sdk-ses

1,12.189

com.amazonaws

aws-java-sdk-simpledb

1,12.189

com.amazonaws

aws-java-sdk - fluxo de trabalho simples

1,12.189

com.amazonaws

aws-java-sdk-sns

1,12.189

com.amazonaws

aws-java-sdk-sqs

1,12.189

com.amazonaws

aws-java-sdk-ssm

1,12.189

com.amazonaws

gateway de armazenamento aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-sts

1,12.189

com.amazonaws

suporte aws-java-sdk

1,12.189

com.amazonaws

aws-java-sdk-swf-biblioteca

1.11.22

com.amazonaws

aws-java-sdk-workspace

1,12.189

com.amazonaws

jmespath-java

1,12.189

com.chuusai

sem forma_2.12

2.3.3

com.clearspring.analítica

transmissão

2.9.6

com.databricks

Reservar

1,8-3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

plugin_2.12 do compilador

0,4,15-10

com.databricks.scalapb

scalapb-runtime_2.12

0,4,15-10

com.esotérico software

crio-sombreado

4.0.2

com.esotérico software

minlog

1.3.0

com.fasterxml

colega de classe

1.3.4

com.fasterxml.jackson.core

jackson-anotação

2.13.4

com.fasterxml.jackson.core

jackson-core

2.13.4

com.fasterxml.jackson.core

vinculação de dados jackson

2.13.4.2

formato de dados com.fasterxml.jackson.

formato de dados jackson-cbor

2.13.4

com.fasterxml.jackson.tipo de dados

jackson-datatype-joda

2.13.4

com.fasterxml.jackson.tipo de dados

jackson-datatype-jsr310

2.13.4

com.fasterxml.jackson.module

parâmetro do módulo jackson

2.13.4

com.fasterxml.jackson.module

jackson-module-Scala.12

2.13.4

com.github.ben-manes.cafeína

cafeína

2.3.4

com.github.fommil

descarregador

1.1

com.github.fommil.netlib

abdômen

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-nativos

1.1

com.github.fommil.netlib

sistema_nativo-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1,5.2-1

com.github.wendykierp

JTransforma

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.8.6

com.google.crypto.tink

eu acho

1.6.1

com.google.flatbuffers

tampões planos-java

1.12.0

com.google.goiaba

goiaba

15,0

com.google.protobuf

protobuf-java

2.6.1

banco de dados com.h2

h2

2,0.204

com.helger

perfilador

1.1.1

com.jcraft

jsch

0,1,50

com.jolbox

bonecp

VERSÃO 0.8.0.

com.lihaoyi

código-fonte_2.12

0.1.9

com.microsoft.azure

azure-data lake-store-sdk

2.3.9

comendo

comprimir-lzf

1.1

com.sun.mail

javax.mail

1.5.2

com.trunning

JSON

1,8

com.thoughtworks.paranamer

paranâmero

2.8

com.trueaccord.lenses

lentes_2.12

0.4.12

com.Twitter

chill-java

0.10.0

com.Twitter

chill_2.12

0.10.0

com.Twitter

util-app_2.12

7.1.0

com.Twitter

util-core_2.12

7.1.0

com.Twitter

função-útil_2.12

7.1.0

com.Twitter

util-jvm_2.12

7.1.0

com.Twitter

util-lint_2.12

7.1.0

com.Twitter

util-registry_2.12

7.1.0

com.Twitter

util-stats_2.12

7.1.0

com.typesafe

configuração

1.2.1

com.typesafe.Scala-logging

Scala-logging_2.12

3.7.2

com.uber

h3

3.7.0

com.univocidade

analisadores de univocidade

2.9.1

com.zaxxer

HikaricP

4.0.3

comum-CLI

comum-CLI

1.5.0

codec comum

codec comum

1,15

coleções comuns

coleções comuns

3.2.2

commons-dbcp

commons-dbcp

1.4

upload de arquivo commons

upload de arquivo commons

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.11.0

linguagem comum

linguagem comum

2.6

registro de bens comuns

registro de bens comuns

1.1.3

comum-pool

comum-pool

1.5.4

dev.ludovic.netlib

mochila

2.2.1

dev.ludovic.netlib

blás

2.2.1

dev.ludovic.netlib

lapack

2.2.1

info.ganglia.gmetric4j

gmetric4j

1.0.10

io. airlift

compressor de ar

0,21

io.delta

delta-compartilhamento-spark_2.12

0.6.2

io.dropwizard.métricas

núcleo de métricas

4.1.1

io.dropwizard.métricas

métricas-grafite

4.1.1

io.dropwizard.métricas

métricas-healthchecks

4.1.1

io.dropwizard.métricas

métricas-jetty9

4.1.1

io.dropwizard.métricas

métricas-jmx

4.1.1

io.dropwizard.métricas

métricas-JSON

4.1.1

io.dropwizard.métricas

métricas-JVM

4.1.1

io.dropwizard.métricas

métricas-servlets

4.1.1

io.netty

tudo

4.1.74. Final

io.netty

netty-buffer

4.1.74. Final

io.netty

codec netty

4.1.74. Final

io.netty

netty-common

4.1.74. Final

io.netty

manipulador de limpeza

4.1.74. Final

io.netty

resolvedor de rede

4.1.74. Final

io.netty

classes netty-tcnative

2.0.48. Final

io.netty

transporte de urtigas

4.1.74. Final

io.netty

netty-transport-classes-epoll

4.1.74. Final

io.netty

netty-transport-classes-kqueue

4.1.74. Final

io.netty

netty-transport-native-epoll-linux-aarch_64

4.1.74. Final

io.netty

netty-transport-native-epoll-linux-x86_64

4.1.74. Final

io.netty

netty-transport-native-kqueue-osx-aarch_64

4.1.74. Final

io.netty

netty-transport-native-kqueue-osx-x86_64

4.1.74. Final

io.netty

netty-transport-native-unix-common

4.1.74. Final

io. prometheus

cliente simples

0.7.0

io. prometheus

simpleclient_common

0.7.0

io. prometheus

simpleclient_dropwizard

0.7.0

io. prometheus

gateway client_push simples

0.7.0

io. prometheus

client_servlet simples

0.7.0

io.prometheus.jmx

coletor

0.12.0

jakarta.anotação

jakarta.anotação-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validação

jakarta.validação-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.ativação

ativação

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

API de transação

1.1

javax.xml.bind

jaxb-api

2.2.11

javolução

javolução

5.5.1

junte-se

junte-se

2.14.6

hora do dia

hora do dia

2.10.13

net.java.dev.jna

jna

5.8.0

net.razorvine

salmoura

1.2

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

supercsv

2.2.0

net.snowflake

SDK de ingestão de flocos de neve

0.9.6

net.snowflake

floco de neve-JDBC

3,13,22

net.sourceforge.f2j

arpack_combined_all

0,1

org.acplt.remotetea

chá remoto - oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4,8

org.antlr

modelo de string

3.2.1

org.apache.ant

formiga

1.9.2

org.apache.ant

formiga

1.9.2

org.apache.ant

lançador de formigas

1.9.2

org.apache.arrow

formato de seta

7.0.0

org.apache.arrow

núcleo de memória de seta

7.0.0

org.apache.arrow

rede de memória de seta

7.0.0

org.apache.arrow

vetor de seta

7.0.0

org.apache.avro

AVRO

1.11.0

org.apache.avro

avro-ipc

1.11.0

org.apache.avro

mapeado automaticamente

1.11.0

org.apache.commons

commons-collections4

4.4

org.apache.commons

compressa comum

1,21

org.apache.commons

criptomoeda comum

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

texto comum

1.10.0

org.apache.curator

curador-cliente

2.13.0

org.apache.curator

estrutura de curador

2.13.0

org.apache.curator

receitas de curadores

2.13.0

org.apache.derby

derby

10.14.2.0

org.apache.hadoop

API de cliente hadoop

3.3.4-blocos de dados

org.apache.hadoop

tempo de execução do cliente hadoop

3.3.4

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

colmeia-CLI

2.3.9

org.apache.hive

hive-JDBC

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-lap-common

2.3.9

org.apache.hive

colmeia

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

API de armazenamento em nuvem

2.8.1

org.apache.hive.shims

calços de colmeia - 0,23

2.3.9

org.apache.hive.shims

calços de colmeia comuns

2.3.9

org.apache.hive.shims

hive-shims-programador

2.3.9

org.apache.httpcomponents

cliente http

4.5.13

org.apache.httpcomponents

httpcore

4.4.14

org.apache.ivy

hera

2.5.0

org.apache.logging.log4j

log4j-1.2-api

2.18.0

org.apache.logging.log4j

log4j-api

2.18.0

org.apache.logging.log4j

log4j-core

2.18.0

org.apache.logging.log4j

log4j-slf4j-impl

2.18.0

org.apache.mesos

protobuf sombreado em mesos

1.4.0

org.apache.orc

núcleo orc

1.7.6

org.apache.orc

orc-mapreduce

1.7.6

org.apache.orc

calços de orc

1.7.6

org.apache.parquet

coluna de parquete

1.12.3-databricks-0002

org.apache.parquet

parquete comum

1.12.3-databricks-0002

org.apache.parquet

codificação de parquet

1.12.3-databricks-0002

org.apache.parquet

estruturas em formato de parquet

1.12.3-databricks-0002

org.apache.parquet

parquet-hadoop

1.12.3-databricks-0002

org.apache.parquet

parquet-jackson

1.12.3-databricks-0002

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4,20

org.apache.yetus

audiência-anotação

0,13,0

org.apache.zookeeper

tratador

3.6.2

org.apache.zookeeper

tratador de zoológico - juta

3.6.2

org.checkerframework

xadrez igual

3.5.0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

compilador common

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

núcleo de dados-api-jdo

4.2.4

org.datanucleus

núcleo de dados

4.1.17

org.datanucleus

núcleo de dados-rdbms

4.1.19

org.datanucleus

javax.jdo

3,2,0-m3

org.Eclipse.jetty

jetty-client

9.4.46.v20220331

org.Eclipse.jetty

continuação do cais

9.4.46.v20220331

org.Eclipse.jetty

jetty-http

9.4.46.v20220331

org.Eclipse.jetty

jetty-io

9.4.46.v20220331

org.Eclipse.jetty

jetty-jndi

9.4.46.v20220331

org.Eclipse.jetty

jetty-plus

9.4.46.v20220331

org.Eclipse.jetty

jetty-proxy

9.4.46.v20220331

org.Eclipse.jetty

segurança do cais

9.4.46.v20220331

org.Eclipse.jetty

servidor jetty-server

9.4.46.v20220331

org.Eclipse.jetty

jutty-servlet

9.4.46.v20220331

org.Eclipse.jetty

píer de servlets

9.4.46.v20220331

org.Eclipse.jetty

jetty-util

9.4.46.v20220331

org.Eclipse.jetty

jetty-util-ajax

9.4.46.v20220331

org.Eclipse.jetty

aplicativo web jetty-

9.4.46.v20220331

org.Eclipse.jetty

jetty-xml

9.4.46.v20220331

org.Eclipse.jetty.websocket

API de websoquete

9.4.46.v20220331

org.Eclipse.jetty.websocket

cliente websocket

9.4.46.v20220331

org.Eclipse.jetty.websocket

websocket-comum

9.4.46.v20220331

org.Eclipse.jetty.websocket

servidor websocket

9.4.46.v20220331

org.Eclipse.jetty.websocket

servlet websocket

9.4.46.v20220331

org.fusesource.leveldbjni

leveldbjni-tudo

1,8

org.glassfish.hk2

API hk2

2.6.1

org.glassfish.hk2

localizador hk2

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-recurso-locator

1.0.3

org.glassfish.hk2.external

aopalliance - reembalado

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

servlet de contêiner de camisa

2,36

org.glassfish.jersey.containers

jersey-container-servlet-core

2,36

org.glassfish.jersey.core

cliente de camisa

2,36

org.glassfish.jersey.core

camiseta comum

2,36

org.glassfish.jersey.core

servidor de camisa

2,36

org.glassfish.jersey.inject

camiseta-hk2

2,36

org.hibernate.validator

validador de hibernação

6.1.0. Final

org.javassist

javassist

3,25,0 GA

org.jboss.logging

registro de jboss-logging

3.3.2. Final

org.jdbi

jdbi

2.63,1

org.jetbrains

anotação

17.0.0

org.joda

conversor de joda

1.7

org.jodd

núcleo nodular

3.5.2

org.json4s

json4s-ast_2.12

3,7,0-M11

org.json4s

json4s-core_2.12

3,7,0-M11

org.json4s

json4s-jackson_2.12

3,7,0-M11

org.json4s

json4s-scalap_2.12

3,7,0-M11

org.lz4

lz4-java

1.8.0

org.mariadb.JDBC

cliente mariadb-java

2.7.4

org.mlflow

faísca de fluxo

1.27.0

org.objenesis

objênese

2.5.1

org.postgresql

PostgreSQL

42,3.3

org.roaringbitmap

Mapa de bits estrondoso

0,9,25

org.roaringbitmap

calços

0,9,25

org.rocksdb

rocksdbjni

6.24.2

org.rosuda.rEngine

Motor

2.1.0

org.Scala-lang

Scala-compiler_2.12

2.12.14

org.Scala-lang

Scala-biblioteca.12

2.12.14

org.Scala-lang

Scala-reflect_2.12

2.12.14

org.Scala-lang.modules

Scala-collection-compat_2.12

2.4.3

org.Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

org.Scala-lang.modules

Scala-xml_2.12

1.2.0

org.Scala-sbt

interface de teste

1,0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.2

org.scalanlp

breeze_2.12

1.2

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1,7,36

org.slf4j

jul-a-slf4j

1,7,36

org.slf4j

slf4j-api

1,7,36

org.spark-project.spark

não utilizado

1.0.0

org.threeten

treze e mais

1.5.0

org.tukaani

xz

1,9

org.typelevel

álgebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

macro-compat_2,12

1.1.1

org.typelevel

spire-macros_2.12

0,17.0

org.typelevel

spire-platform_2.12

0,17.0

org.typelevel

spire-util_2.12

0,17.0

org.typelevel

spire_2.12

0,17.0

org.wildfly.openssl

wildfly-openssl

1.0.7. Final

org.xerial

sqlite-JDBC

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.4

org.yaml

snakeyaml

1,24

oro

oro

2.0.8

pt.edu.icm

Matrizes JLarge

1.5

software.Amazon.ion

ion-java

1.0.2

stax

stax-api

1.0.1