parquet能否支持update操作呢
不能。Parquet 设计上就是只读的。
将评论中关于 ORC ACID 的回复也贴一下:
ORC 格式本身跟 Parquet 类似,并不支持更新操作。ORC 的 ACID 是需要跟 Hive 配合使用的。其基本原理就是每次更新的时候写一个新的 delta ORC 文件,文件多了之后将原始文件和 delta 文件合并重写成新的 ORC 文件。读取的时候需要配合 Hive metastore 一起统筹考虑原始 ORC 文件和 delta 文件。详情参见 ACID support。
■网友
泻药,连大大已回复,Parquet不支持update和delete操作,insert可以以row group为单位追加到已有文件。
【parquet能否支持update操作呢】 如果是频繁更新数据,对查询性能要求不是太高的场景,可以考虑下kudu: Fast Analytics on Fast Data
■网友
默认不支持,但是可以额外实现从而支持update操作,根据MVCC的思想,可以存储delta数据更新,然后分别做minor compaction和major compaction就可以。
具体可以参考hudi的实现。https://hudi.apache.org/
■网友
可以考虑使用hudi,hudi的cow模式底层就是纯parquet格式。借助hudi,可以实现对数据的删除,插入和更新;另外还实现了数据版本管理,增量拉取等语意;当然对于典型的小文件问题,hudi也做了很好的处理,使得用户不需要再手动合并小文件。
推荐阅读
- 『创业』自主创业每年最高可减免税收14400元 南京出台意见,多举措支持退役军人就业创业
- 汽车知识|押宝全新造型,东风雪铁龙新C5能否成为神龙公司“救世主”
- 中国版Evan能火吗美国9岁男童录制评测玩具视频年入800万,中国能否复制成功
- 微博目前已经支持文本,图片,位置分享,为啥没有语音和视频呢微博的pm肯定想过这两种微博形态,但迟迟不做的原因到底是啥。是语音和视频不符合产
- 为啥Smartisan OS只能支持移动的VoLTE
- 汽车市场|中期改款再战D级车市场,新雷克萨斯LS能否超过宝马7系等对手?
- 澎湃汽车圈|试驾名爵MG领航 运动性和实用性能否兼顾?
- 天天汽车|超高性价比实力宠粉,2021款奕歌能否点燃你的心?
- 能和 Google Calender 方便双向同步的 iOS 日程管理软件有哪些最好也支持iPad
- 能否推荐一个能用快播看电影且电影都是中英双字幕的网站
