Databricks 上的大语言模型 (LLM)

使用 Azure Databricks 可以轻松访问和构建公开发布的大型语言模型。

用于机器学习的 Databricks Runtime 包括 Hugging Face Transformers 和 LangChain 等库;使用这些库,你可将已预先训练的现有模型或其他开源库集成到工作流中。 在这里,你可以利用 Azure Databricks 平台功能使用自己的数据优化 LLM,以提高域性能。

此外,Azure Databricks 还提供内置功能,供 SQL 用户使用 AI 函数访问和试验 Azure OpenAI 和 OpenAI 等 LLM。

Hugging Face Transformers

借助 Databricks 上的 Hugging Face Transformers,可以横向扩展自然语言处理 (NLP) 批处理应用程序,并优化大型语言模型应用程序的模型。

Hugging Face transformers 库已预装在 Databricks Runtime 10.4 LTS ML 及更高版本上。 许多常用的 NLP 模型在 GPU 硬件上可以保持最佳工作状态,因此你可以使用最新的 GPU 硬件来获得最佳性能,除非你使用专门针对 CPU 优化的模型。