Integrações de IA e machine learning

Databricks tem integrações validadas com várias soluções de terceiros que permitem cenários comuns do machine learning.

Integração Ray

Ray é uma estrutura de código aberto para dimensionar aplicativos Python. Ele inclui uma biblioteca específica para cargas de trabalho de AI, o que o torna especialmente adequado para o desenvolvimento de aplicativos de AI. A execução do Ray em Databricks permite que o senhor aproveite a amplitude do ecossistema Databricks, aprimorando o processamento de dados e o machine learning fluxo de trabalho com serviços e integrações indisponíveis no código aberto Ray.

Para obter mais informações, consulte What is Ray on Databricks?

GraphFrames integração

GraphFrames é um pacote para Apache Spark que fornece gráficos baseados em DataFrame. Ele fornece APIs de alto nível em Java, Python e Scala. Seu objetivo é fornecer tanto a funcionalidade do GraphX quanto a funcionalidade estendida, aproveitando os DataFrames do Spark. Essa funcionalidade ampliada inclui localização de motivos, serialização baseada em DataFrame e consultas gráficas altamente expressivas.

Modelos de grande linguagem (LLMs)

A Databricks facilita o acesso e a criação de grandes modelos de linguagem disponíveis publicamente. Databricks Runtime ML inclui biblioteca como Hugging Face Transformers e LangChain para integrar modelos pré-treinados existentes ou outra biblioteca de código aberto em seu fluxo de trabalho. Além disso, o Databricks oferece funcionalidade integrada para que os usuários de SQL acessem e experimentem LLMs como o Azure OpenAI e o OpenAI usando funções de IA.

Dados do rótulo

rotular dados de treinamento adicionais é uma passo importante para muitos fluxos de trabalho machine learning , como classificação ou aplicativos de visão computacional. Databricks não oferece suporte direto ao rótulo de dados; no entanto, a parceria da Databricks com a Labelbox simplifica o processo.

Consulte a documentação do Partner Connect para o Labelbox.