AI e integrações de aprendizado de máquina
A Databricks validou integrações com várias soluções de terceiros que permitem cenários comuns de aprendizado de máquina.
Integração Ray
Ray é uma estrutura de código aberto para dimensionar aplicativos Python. Ele inclui uma biblioteca específica para as cargas de trabalho do AI, o que o torna especialmente adequado para o desenvolvimento de aplicativos AI. A execução do Ray em Databricks permite que o senhor aproveite a amplitude do ecossistema Databricks, aprimorando o processamento de dados e o fluxo de trabalho de aprendizado de máquina com serviços e integrações indisponíveis no código aberto Ray.
Consulte O que é Ray em Databricks? para obter mais informações.
GraphFrames integração
GraphFrames é um pacote para Apache Spark que fornece gráficos baseados em DataFrame. Ele fornece APIs de alto nível em Java, Python e Scala. Seu objetivo é fornecer tanto a funcionalidade do GraphX quanto a funcionalidade estendida, aproveitando os DataFrames do Spark. Essa funcionalidade ampliada inclui localização de motivos, serialização baseada em DataFrame e consultas gráficas altamente expressivas.
Modelos de grande linguagem (LLMs)
A Databricks facilita o acesso e a construção de grandes modelos de linguagem disponíveis publicamente. Databricks Runtime ML inclui biblioteca como Hugging Face Transformers e LangChain para integrar modelos pré-treinados existentes ou outra biblioteca de código aberto em seu fluxo de trabalho. Além disso, o Databricks oferece funcionalidade integrada para que os usuários do SQL acessem e experimentem LLMs como o Azure OpenAI e o OpenAI usando as funções doAI.
Dados do rótulo
rotular dados de treinamento adicionais é uma passo importante para muitos fluxos de trabalho machine learning , como classificação ou aplicativos de visão computacional. Databricks não oferece suporte direto ao rótulo de dados; no entanto, a parceria da Databricks com a Labelbox simplifica o processo.
Consulte a documentação do Partner Connect para o Labelbox.