一个接口查询关联了十几张表,响应速度太慢?怎么办?( 二 )


ETL 方案的优缺点1. 优点

  • 侵入性较低,数据源系统只需要开通数据库的访问权限即可,为保证数据抽取对业务的影响,通常是访问源系统的备库,并且单独设置一个只读权限的数据库用户;
  • 支持不同类型数据源的数据抽取,比如源库有 Mysql、DB2、Oracle,通过 ETL 也可以轻松搞定;
  • 数据整合,将不同业务系统的相同数据整合在一起,比如有些系统 M/F 表示男女,有些系统 1/0 表示男女,ETL 在抽取加工后转换成统一的编码;
2. 缺点
  • 比较致命的一个缺点,就是数据抽取和加工有一定的延迟,需要根据业务场景进行评估,是否接受这个延迟;
  • 可能会受到源库表结构变化的影响;
  • 如果源库中的表没有时间戳,或者时间戳不准确,那么增量抽取就变得很困难;
  • 需要招聘 ETL 开发岗,从我目前的经验看,不是特别好招 。

作者:会点代码的大叔
原文链接:https://juejin.im/post/5e4258c86fb9a07c964589cb




推荐阅读