Flink Native Windowing 机制引入:对于窗口类型的有状态特征,我们目前采用上文所述的抽象 SlotState 时间切片方案统一进行支持 。另外 Flink 本身提供了非常完善的窗口机制,通过 Window Assigner、Window Trigger 等组件可以非常灵活地支持各种窗口语义 。因此后续我们也会在窗口特征计算场景引入 Flink 原生的 Windowing 机制,更加灵活地支持窗口特征迭代 。
Flink HybridState Backend 架构:目前在字节的线上场景中,Flink 底层的 StateBackend 默认都是使用 RocksDB 存储引擎 。这种内嵌的存储引擎不能通过外部机制去提供状态数据的回灌和多任务共享,因此我们需要支持 KV 中心化存储方案,实现灵活的特征状态回溯 。
静态属性类型特征统一管理 :通过特征平台提供统一的 DSL 语义,统一管理其他外部静态类型的特征服务 。例如一些其他业务团队维度的用户分类、标签服务等 。作者介绍:
郭文飞,字节跳动推荐系统基础服务方向负责人 。2015 年初加入字节,主要负责推荐系统基础服务方向,例如消重、计数、特征等 。
推荐阅读
-
意甲|伟大2-1!苦等13年,2届意甲冠军杀回欧冠!C罗被踢下射手榜榜首
-
《浪姐2》让李菲儿和黄晓明同台,再删掉互动镜头,让人浮想联翩
-
-
大众汽车|要取代CRV,起步16.58万跌到11万,上个月卖出17331辆,漂亮
-
-
生肖|9月有贵人指路的四生肖,天赐大兆头,天天开口笑
-
火科技 10月份发布会你更关注哪场?今年的旗舰又开始扎堆厮了!
-
去美国读研申请MSA 还是MSF对未来职业发展更有利呢
-
-
苹果|iPhone 12还没发布,网友评论就翻车:今年苹果也很难
-
「大别山区域医疗中心」73天、12批、1775人……山东援湖北医疗队队员已全部回乡
-
威刚|威刚推出迷你移动SSD:20GB/s 20倍于普通硬盘
-
-
-
菲汐布客时尚圈|一条百褶裙可以穿四季,初秋街头的青春时尚,千万不能错过
-
娱乐大吐槽君|朱婷绝配真棒,女排体测第1又是她!郎平打造5年又一世界级巨头
-
詹姆斯|詹姆斯谈准备G4:加强对球保护 不能再出现多个失误
-
附先进名单 “春雷行动2021”圆满收官!共罚没3.71亿元
-
-
楚楚号|虞书欣和丁禹兮有CP感,比《陈芊芊》甜,《月光变奏曲》出海报