模型推理Model inference

对于使用 MLLib 和 XGBoost4J 模型进行的可缩放模型推理,请使用原生 transform 方法直接在 Spark 数据帧上执行推理。For scalable model inference with MLLib and XGBoost4J models, use the native transform methods to perform inference directly on Spark DataFrames. 请参阅 MLlib 示例笔记本,查看包含推理步骤的几个示例笔记本。See MLlib example notebooks for several example notebooks that include inference steps.

对于其他库和模型类型,请创建一个 Spark UDF 来横向扩展针对大型数据集的推理。For other libraries and model types, create a Spark UDF to scale out inference on large datasets. 对于较小的数据集,请使用库提供的原生模型推理例程。For smaller datasets, use the native model inference routines provided by the library.

如果在 MLfLow 中注册了模型,可以创建 Spark UDFIf the model is registered in MLfLow, you can create a Spark UDF. 否则,请使用 Pandas 迭代器 UDF 来包装机器学习模型。Otherwise, use pandas Iterator UDFs to wrap machine learning models.

对于流式处理应用程序,请使用 Apache Spark 结构化流式处理 API。For streaming applications, use the Apache Spark Structured Streaming API. 请参阅 Apache Spark MLib 管道和结构化流式处理示例See the Apache Spark MLlib pipelines and Structured Streaming example.

以下文章介绍如何在 Azure Databricks 上进行深度学习模型推理。The following articles provide an introduction to deep learning model inference on Azure Databricks.