跟踪 Groq

使用 Groq 时，MLflow 跟踪提供自动跟踪功能。 当通过调用 mlflow.groq.autolog 函数启用 Groq 自动追踪时，在交互式开发过程中，使用 Groq SDK 将自动记录生成的跟踪信息。

请注意，仅支持同步调用，并且不会跟踪异步 API 和流式处理方法。

示例用法

import groq

import mlflow

# Turn on auto tracing for Groq by calling mlflow.groq.autolog()
mlflow.groq.autolog()

# Set up MLflow tracking on Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/groq-demo")

client = groq.Groq()

# Use the create method to create new message
message = client.chat.completions.create(
    model="llama-3.3-70b-versatile",
    messages=[
        {
            "role": "user",
            "content": "Explain the importance of low latency LLMs.",
        }
    ],
)

print(message.choices[0].message.content)

禁用自动跟踪

可以通过调用 mlflow.groq.autolog(disable=True) 或 mlflow.autolog(disable=True)调用全局禁用 Groq 的自动跟踪。

后续步骤

• 了解跟踪概念 - 了解 MLflow 如何捕获和组织跟踪数据
• 调试和观察应用 - 使用跟踪 UI 分析 Groq 应用程序的行为
• 评估应用的质量 - 为 Groq 提供支持的应用程序设置质量评估