此页面列出了 Unity Catalog 中的 Databricks 特征工程客户端和 Databricks 工作区特征存储客户端的版本。 这两个客户端都可用于 PyPI: databricks-feature-engineering 和 databricks-feature-store。
注释
已发布的版本和下面列出的内容仅对应于Microsoft Azure云环境的实际部署。
在大多数情况下,它们展示了 Azure 公有云中的 Azure Databricks 特征存储的演进历程。 请注意,某些功能、发布计划和实现详细信息可能与世纪互联运营的Microsoft Azure中的相应部署不一致。
这些库的用途是:
创建、读取和写入功能表。
基于特征数据训练模型。
将功能表发布到在线应用商店,以便提供实时服务。
有关使用说明,请参阅 Databricks Feature Store。 有关 Python API 文档,请参阅功能工程Python API。
Unity Catalog 中的特征工程客户端适用于 Unity Catalog 内的特征和特征表。 工作区特征存储客户端适用于工作区特征存储中的特征和特征表。 这两个客户端都预安装在用于机器学习的 Databricks Runtime 中。 通过 PyPI (databricks-feature-engineering) 安装 pip install databricks-feature-engineering 后,它们也可在 Databricks Runtime 上运行。 如果用于单元测试,两个客户端均可以在本地或 CI/CD 环境中使用。
有关显示客户端版本与 Databricks Runtime 和 Databricks Runtime ML 版本兼容性的表格,请参阅特征工程兼容性表。 旧版 Databricks 工作区特征存储客户端在 PyPI 上作为 databricks-feature-store 提供。
databricks-feature-engineering 0.18.2
批量特征回填:
backfill_features()接受features、Feature对象列表或完整的特征名称。feature_full_names参数已弃用。在
datetime中,新BackfillRange类接受用于end_time和databricks.feature_engineering.entities的 Pythonstart_time值。 从 Databricks SDK for Python 传递BackfillRange已被弃用。backfill_features()现在返回BackfillStatus,报告回填的状态、特征、时间范围和错误信息。 将wait=True设置为等待回填完成。用于检查、等待和取消回填的新
get_backfill()、wait_for_backfill()和cancel_backfill()方法。 对backfill_features()的结果调用wait()、done()或cancel()的代码必须改用这些方法。 现有使用get_operation()和cancel_operation()用于回填的代码依然有效。
功能实体清理(测试版):
-
purge_feature_entities()除了完整功能名称外,还接受Feature对象。 请参阅实体的 Purge 功能值。
-
请求时特性:
RequestSource支持ARRAY、MAP和STRUCT请求字段,包括嵌套类型。 用新dataframe_schema参数定义它们,或用RequestSource.from_dataframe()推断它们。MAP键必须是字符串。log_model()模型签名中包含嵌套请求字段。RequestSource.from_dataframe()支持 Spark Connect DataFrame。
其他变化:
修复了
create_training_set()和compute_features()在多个相同输入行时仅返回一行的问题。 现在每个输入行都返回一个输出行。漏洞修复和改进。
Databricks-feature-engineering 0.18.1
本次发布包含了对功能视图的以下改进:
Lakebase 的在线服务现在支持超过64字符的功能名称。
RollingWindow现已接受window_duration=None,用于在采用仅支持在线的、基于表触发的物化的 Delta 源上进行生命周期Last聚合。基于
FeatureViewSource的功能现在可使用compute_features()预览,包括跨多个源表的依赖关系。SawtoothWindow现在支持在compute_features()和window_duration=None中的终身聚合窗口(create_training_set())。backfill_features()以及purge_feature_entities()接受tags和budget_policy_id用于成本跟踪和归因。漏洞修复和改进。
databricks-feature-engineering 0.18.0
FeatureView源代码:
- 新的
FeatureViewSource定义了一种由其他特征组合而成的特征,并对这些值逐行应用CustomUDF。 在训练和服务的整个生命周期中均受支持,但compute_features()除外。
- 新的
CustomUDF 功能:
-
create_feature()会根据 Unity Catalog 函数签名验证CustomUDFinput_bindings,并检查已绑定列的类型是否与函数参数类型匹配,从而在创建特征时而不是在训练或提供服务时报告不匹配。
-
流式功能:
-
create_stream()添加了record_type_filter,这一 SQL 谓词会在解码后仅保留匹配的记录;还添加了excluded_columns,用于在摄取过程中丢弃列。update_stream()也接受excluded_columns。
-
物质化:
materialize_features()接受tags并budget_policy_id用于成本跟踪和归因。CronSchedule支持从功能聚合窗口和时序中生成的派生调度模式,此外还有手动的 cron 表达式。
批量特征回填:
- 新的
backfill_features()会在你选择的时间范围内重新计算实体化的特征视图值,比如在你校正历史源数据后。 使用get_operation()和cancel_operation()查看回填状态或取消回填。
- 新的
功能实体清理(测试版):
- 新的
purge_feature_entities()会从离线和在线存储中移除所选实体的实体化特征值,例如在收到数据删除请求后。 请参阅实体的 Purge 功能值。
- 新的
窗口化特性
start_time门控:- 窗口功能现在总是强制执行
start_time。 窗口结束时间早于某个特征的start_time的训练数据行会被排除,以便离线训练集与在线提供的值保持一致。 在窗口化特征上设置start_time以控制截止值。
- 窗口功能现在总是强制执行
其他变化:
聚合功能在创建时拒绝
DATE时间序列列。 请改用TIMESTAMP列。ColumnSelection特征将源稳定延迟应用于create_training_set()和compute_features(),排除尚未确定的源行。在功能 UDF 输入和输出中增加了对 Databricks 运行时 18 字符串类型的支持。
诸如
start_time、聚合延迟和源稳定延迟等功能时序字段现在会在客户端读取和写入后保留。漏洞修复和改进。
databricks-feature-engineering 0.17.1
- 漏洞修复和改进。
databricks-feature-engineering 0.17.0
SawtoothWindow 聚合(预览):
- 新的
SawtoothWindow时间窗口类可使长聚合窗口(例如 30 天、60 天或 90 天)持续保持最新状态:窗口的后沿按固定的每日步长推进,而前沿则随最新的流式事件保持更新,从而避免在每次事件到达时都进行完整重算。 支持Sum、Avg、Count、Min和Max聚合。window_duration必须大于两天;较短的时间窗口请使用RollingWindow。
- 新的
LastN聚合(预览):- 新的
LastN聚合以数组形式返回窗口内最近的 N 个值,并按照该特征的时间序列列进行排序。 支持SlidingWindow和RollingWindow时间窗口。
- 新的
生命周期聚合窗口:
-
SlidingWindow现在支持对所有历史数据进行聚合的生存期(无限)窗口。 生命周期窗口仅适用于批处理特征;将window_duration设置为None,以便在create_training_set()和compute_features()中定义生命周期窗口。
-
CustomUDF 功能(预览):
- 新的
CustomUDF函数类型create_feature()是按行将注册的 Unity 目录函数应用到源列。input_bindings将每个UC函数参数映射到填充该参数的源列。CustomUDF仅直接操作RequestSource(请求时)功能;不能应用于其他功能类型。
- 新的
流媒体源转换(预览):
-
StreamSource现在接受transformation_sql在流模式转换后应用的SQLSELECT表达式,用于在特征计算前转换记录。 设置后,通过dataframe_schema提供转换后的输出架构。
-
流式源的架构注册表(预览):
-
create_stream()现在可以通过 Unity Catalog 连接从外部架构注册表(例如 Confluent)解析流键和有效负载架构,无需以内联方式提供架构,只需使用SchemaRegistryConfig即可。 支持Avro和Protobuf格式。
-
自定义服务依赖(预览):
- 你现在可以声明额外的 pip 依赖以实现功能服务。
create_feature_spec()和log_model()接受extra_pip_requirements,即一个要在模型服务环境中安装的 pip 包列表(或 Unity Catalog 卷.whl路径列表),用于提供你的功能 UDF 所需但默认不可用的库。 在模型被服务时,对特征规范声明的依赖关系会被执行。
- 你现在可以声明额外的 pip 依赖以实现功能服务。
其他改进:
- 漏洞修复和改进。
databricks-feature-engineering 0.16.1
create_training_set和score_batch现在会在可用时复用离线物化聚合特征,从而加快训练集创建和批量推理。 请参阅 具体化功能视图。RequestSource功能不再需要实体列和时间序列列。修复了
First中不正确的Last和create_training_set结果。 这些聚合现在默认包含空值;添加filter_condition以排除值为 null 的输入列。修复了当源行包含 null 值时,
compute_features会返回 0 或 null 的问题。漏洞修复和改进。
databricks-feature-engineering 0.16.0
功能视图公共预览版:
功能视图现已进入公开预览。
is_beta_feature_view()上的list_beta_feature_views()和FeatureEngineeringClient实用工具可识别出在 Beta API 下注册并需要迁移到 Public Preview 表示形式的功能。Feature.clone()方法有助于将 Beta 功能视图迁移到公共预览版。create_pipeline对于功能视图,已弃用;请改用具体化功能 API。
流式功能:
StreamSource现已可在create_feature()中用于定义由 Kafka 或 Delta 源提供支持的流式特性。create_training_set现在支持基于使用StreamSource定义的功能进行训练。create_stream上新增了用于管理流式要素源的get_stream、update_stream、delete_stream、list_streams和FeatureEngineeringClient方法。StreamingModematerialize_features的触发器选择微批量物化。
其他改进:
新的
list_features()API 在FeatureEngineeringClient目录或架构中列出功能。新的
grant_feature_serving_access()实用程序授予在线提供物化特征服务所需的权限,并提供一种dry_run模式,可在应用前预览访问权限。DeltaTableSource.from_sql()现在直接接受SparkSession。DeltaTableSource.dataframe_schema替换已弃用schema_json的参数。RollingWindow替换已删除ContinuousWindow的别名。已从
offset中移除已弃用的RollingWindow参数;请改用delay。删除了对包含默认目录的 2 部分 Unity 目录名称的支持。
漏洞修复和改进。
databricks-feature-engineering 0.15.0
RequestSource (Beta):
新的
RequestSource类支持在请求时根据直接传递给模型的数据计算特征,而无需查找特征表。create_feature()、create_training_set()、score_batch()和compute_features()所有支持RequestSource支持的功能。log_model自动将RequestSource特征连接到模型签名中。
ColumnSelection (Beta):
新
ColumnSelection类允许从功能源中选择特定的输出列,从而启用更精细的功能定义。支持
create_feature()、create_training_set()、compute_features()和log_model。
其他改进:
用于
TableTrigger的新materialize_features触发器类型可在 Delta 表更新时触发具体化。score_batch现在在 Databricks Runtime 无服务器运行时上运行。DeltaTableSource.from_sql()现在拒绝不支持的 SQL 子句,例如GROUP BY和ORDER BY。RequestSource.from_dataframe()从现有 DataFrame 推断请求架构。从
databricks-feature-engineering中删除 Flask 依赖项。漏洞修复和改进。
databricks-feature-engineering 0.14.0
批处理声明性功能(Beta):
声明性功能 API,用于将声明性功能定义存储为具有聚合和时间窗口的 Unity 目录函数。
具体化功能 API 使用可配置的 cron 计划将功能自动批量具体化到在线商店。
在 Unity Catalog 中注册的模型可以在联机服务中使用物化特征。
滑动和翻转窗口支持使用
SlidingWindow和TumblingWindow类进行时间点正确的特征计算create_training_set()。filter_condition参数允许在计算功能时筛选源数据。
其他改进:
新
list_online_stores()API 列出了目录或架构中的所有在线商店。支持
usage_policy_id在创建或更新在线商店时进行账单跟踪。改进了在线商店被删除或不可用时的错误消息。
Bug 修复和性能改进。
databricks-feature-engineering 0.13.0
用于管理 Databricks 管理的联机功能存储的 API。
publish_table()现在接受source_table_name和online_table_namepublish_mode参数,用于更清晰的表规范。支持在创建或更新在线商店时提供
read_replica_count,以提高读取可伸缩性。漏洞修复和改进。
databricks-feature-engineering 0.12.1
支持特性查询的默认值。
漏洞修复和改进。
databricks-feature-engineering 0.11.0
添加对
mlflow版本 3.0 的支持。漏洞修复和改进。
databricks-feature-engineering 版本 0.10.2
添加对
mlflow版本 2.20.0 及更高版本的支持。添加对
numpy版本 2.x 的支持。漏洞修复和改进。
databricks-feature-engineering 0.9.0
支持在
prebuilt_env调用中使用score_batch。改进了使用 Photon 的时间点特征联接性能。
漏洞修复和改进。
databricks-feature-engineering 0.8.0
支持在
params调用中使用score_batch,从而允许将其他参数传递给模型进行推理。漏洞修复和改进。
databricks-特征工程 0.7.0
Unity Catalog 中的某些视图现在可用作脱机模型训练和评估的功能表。 请参阅从 Unity Catalog 中读取特性表。
现在可以使用特征查找或特征规格创建训练集。请参阅 Python SDK 参考。
databricks-feature-engineering 0.6.0
现在支持使用原生 Spark 运行时间点连接,除此之外,还支持现有的 Tempo 连接。 非常感谢 Semyon Sinchenko 提议这个想法!
现在支持将
StructType用作 PySpark 数据类型。 不支持StructType进行在线服务。write_table现在支持写入启用了 液体集群的表。timeseries_columns的create_table参数已重命名为timeseries_column。 现有工作流可以继续使用timeseries_columns参数。score_batch现在支持env_manager参数。 有关详细信息,请参阅 MLflow 文档。
databricks-feature-engineering 0.5.0
- 通过
update_feature_spec中新的 APIdatabricks-feature-engineering,用户可更新 Unity Catalog 中 FeatureSpec 的所有者。
databricks-feature-engineering 0.4.0
- 小的 Bug 修复与改进。
Databricks-特征工程 0.3.0
-
log_model现在使用新的 databricks-feature-lookup PyPI 包,其中包括对在线模型服务的性能改进。
databricks 特征库 0.17.0
-
databricks-feature-store已弃用。 此包中的所有现有模块均在databricks-feature-engineering0.2.0 及更高版本中提供。 有关详细信息,请参阅 Python API。
databricks-feature-engineering 0.2.0
-
databricks-feature-engineering现在包含databricks-feature-store中的所有模块。 有关详细信息,请参阅 Python API。
databricks-feature-store 0.16.3
- 修复了使用 AutoML 与特征表时出现的超时问题。
databricks-feature-engineering 0.1.3
- UpgradeClient 中的小幅改进。
databricks-feature-store 0.16.2
- 现在可以创建特性与功能服务终结点。 有关详细信息,请参阅特性和功能服务。
databricks-feature-store 0.16.1
- 小的 Bug 修复与改进。
databricks-feature-engineering 0.1.2 和 databricks-feature-store 0.16.0
小的 Bug 修复与改进。
- 修复了在某些工作区设置中记录不正确的作业链路 URL。
databricks-feature-engineering 0.1.1 (Databricks特性工程)
- 小的 Bug 修复与改进。
databricks-feature-engineering 0.1.0
- PyPI 上现正式推出 Unity Catalog Python 客户端的特征工程功能的 GA 版本
databricks特性商店(databricks-feature-store)0.15.1
- 小的 Bug 修复与改进。
databricks-feature-store 0.15.0
- 现在可以在记录模型时自动推断和记录输入示例。 要执行此操作,请在调用
infer_model_example时将True设置为log_model。 此示例基于training_set参数中指定的训练数据。
databricks-feature-store 0.14.2
- 修复了从 MariaDB 连接器/J >=2.7.5 发布到 Aurora MySQL 时出现的 bug。
databricks-feature-store 0.14.1
- 小的 Bug 修复与改进。
databricks-feature-store 0.14.0
从 0.14.0 开始,必须在 primary_keys 参数中指定时间戳键列。 时间戳键是“主键”的一部分,用于唯一标识功能表中的每一行。 与其他主键列一样,时间戳键列不能包含 NULL 值。
在以下示例中,DataFrame user_features_df 包含以下列:user_id、ts、 purchases_30d 和 is_free_trial_active。
0.14.0 及更高版本
fs = FeatureStoreClient()
fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)
0.13.1 及更低版本
fs = FeatureStoreClient()
fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)
databricks-feature-store 0.13.1
- 小的 Bug 修复与改进。
databricks-feature-store 0.13.0
现在所需的最低
mlflow-skinny版本是 2.4.0。如果提供的数据帧不包含所有必需的查找键,则创建训练集会失败。
在 Unity Catalog 中记录使用特征表的模型时,会随模型自动记录 MLflow 签名。
databricks-feature-store 0.12.0
- 现在可以使用
drop_online_tableAPI 删除在线商店。
databricks-feature-store 0.11.0
- 在已启用 Unity Catalog 的工作区中,现在可以将工作区和 Unity Catalog 特征表发布到 Cosmos DB 联机存储。 这需要 Databricks Runtime 13.0 ML 或更高版本。
databricks-feature-store 版本 0.10.0
- 小的 Bug 修复与改进。
databricks-feature-store 0.9.0
- 小的 Bug 修复与改进。
databricks-feature-store 0.8.0
- 小的 Bug 修复与改进。
Databricks 特性存储 0.7.1
- 添加
flask作为依赖项以修复使用score_batch对模型评分时缺少依赖项的问题。
databricks-feature-store 软件版本 0.7.0
- 小的 Bug 修复与改进。
databricks特性商店 0.6.1
- 首次在 PyPI 上发布的 Databricks Feature Store 客户端。