OpenELM 线上线下一致的实时特征计算平台,通过合理的线上线下数据存储,确保线上到线下数据的一致性。在离线时,OpenELM 使用以下方法保持数据同步:
数据同步工具
- DataCollector:部署在每台 TabletServer 所在机器上,用于收集在线数据。
- SyncTool:接收并写入离线存储的工具,可放于任何机器,目前仅支持单体运行。
同步步骤
- HDFS 环境配置:作为离线存储地址。
- OpenMLDB 部署:包含同步组件。
- 创建线上到线下的同步任务。
通过以上方法,OpenELM 能够在离线时保持数据同步,确保数据的完整性和一致性。