使用 Groq 时,MLflow 跟踪提供自动跟踪功能。
当通过调用 mlflow.groq.autolog 函数启用 Groq 自动追踪时,在交互式开发过程中,使用 Groq SDK 将自动记录生成的跟踪信息。
注释
在无服务器计算群集上,不会自动启用自动记录。 必须显式调用 mlflow.groq.autolog() 才能为此集成启用自动跟踪。
请注意,仅支持同步调用,并且不会跟踪异步 API 和流式处理方法。
注释
下面的示例需要 MLflow 3.14 或更高版本,因为它会在 Unity 目录中存储追踪。
示例用法
import groq
import mlflow
from mlflow.entities.trace_location import UnityCatalog
# Turn on auto tracing for Groq by calling mlflow.groq.autolog()
mlflow.groq.autolog()
# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment(
experiment_name="/Shared/groq-demo",
trace_location=UnityCatalog(
catalog_name="<UC_CATALOG_NAME>",
schema_name="<UC_SCHEMA_NAME>",
table_prefix="<UC_TABLE_PREFIX>",
),
)
client = groq.Groq()
# Use the create method to create new message
message = client.chat.completions.create(
model="llama-3.3-70b-versatile",
messages=[
{
"role": "user",
"content": "Explain the importance of low latency LLMs.",
}
],
)
print(message.choices[0].message.content)
禁用自动跟踪
可以通过调用 mlflow.groq.autolog(disable=True) 或 mlflow.autolog(disable=True)调用全局禁用 Groq 的自动跟踪。