在Apache Spark中执行聚合的五种方法( 二 ) _Apache

/*Return schema for input column(s) to the UDAF, schema being built using StructType*/=> public StructType inputSchema()/*Return schema of aggregation buffer, schema being built using StructType */=> public StructType bufferSchema()/*DataType of final aggregation result*/=> public DataType dataType()/*Initialize aggregation buffer*/=> public void initialize(MutableAggregationBuffer buffer)/*Update aggregation buffer for each of the untyped view (Row) of an input object*/=> public void update(MutableAggregationBuffer buffer, Row row)/*Update current aggregation buffer with a partially aggregated buffer*/=> public void merge(MutableAggregationBuffer buffer, Row buffer)/*Evaluate final aggregation buffer and return the evaluated value of DataType declared earlier */=> public Object evaluate(Row buffer)除了覆盖上述方法外，还可以始终声明其他字段（在UDAF构造函数中使用可选的初始化）和自定义UDAF类中的其他方法，以便在覆盖方法中使用它们以实现聚合目标。
在使用UDAF之前，必须先在Spark框架中注册相同的实例：
spark.udf.register('sampleUDAF, new SampleUDAF());
注册后，可以在Spark SQL查询中使用UDAF来聚合整个数据集/数据框或数据集/数据框中的记录组（通过一列或多列分组）。除了直接在Spark SQL查询中使用外，还可以通过数据框/数据集聚合API（例如" agg"）使用UDAF 。
【在Apache Spark中执行聚合的五种方法】UDAF虽然是定义自定义聚合的一种流行方法，但是当在聚合缓冲区中使用复杂的数据类型（数组或映射）时，会遇到性能问题。这是由于以下事实：在UDAF中的每次更新操作期间，对于复杂的数据类型，将scala数据类型（用户特定）转换为相应的催化剂数据类型（催化剂内部数据类型）（反之亦然）变得非常昂贵。从内存和计算的角度来看，此成本都更高。
数据集的聚合器：聚合器是对数据集执行聚合的最新方法，类似于UDAF，它也基于聚合缓冲区的概念以及在该缓冲区上运行的一组方法。但是，聚合器进行聚合的方式称为类型化聚合，因为它涉及对各种类型的对象进行操作/使用各种类型的对象进行操作。聚合器的输入，聚合缓冲区和最终的聚合输出（从缓冲区派生）都是具有相应Spark编码器的某些类型的对象。用户可以通过使用为IN定义的类型（输入记录类型）扩展抽象的通用'Aggregator <IN，BUF，OUT>'类（在包'org.apache.spark.sql.expressions中提供）来定义自己的自定义Aggregator 。，为BUF（聚合缓冲区）定义的类型和为OUT（输出记录类型）定义的类型，以及在基类中重写以下方法的实现：
/* return Encoder for aggregation buffer of type BUF. This is required for buffer ser/deser during shuffling or disk spilling */=> public Encoder<BUF> bufferEncoder()/* return Encoder for output object of type OUT after aggregation is performed */=> public Encoder<OUT> outputEncoder()/* return updated aggregation buffer object of type BUF after aggregating the existing buffer object of type BUF with the input object of type IN*/=> public BUF reduce(BUF buffer, IN input) ()/* return updated aggregation buffer of type BUF after merging two partially aggregated buffer objects of type BUF */=> public BUF merge(BUF buffer1, BUF buffer2)/* return output object of type OUT from evaluation ofaggregation buffer of type BUF */=> public OUT finish(BUF arg0)/* return buffer object of type BUF after initializing the same */=> public BUF zero()由于Aggregator本机支持将聚合缓冲区作为对象，因此它是高效的，并且不需要与从Scala类型转换为催化剂类型（反之亦然）相关的不必要的开销（与UDAF一样）。同样，聚合器的聚合方式在编写聚合逻辑时提供了更多的灵活性和编程的美感。聚合器也已集成到无类型聚合流中，以支持SQL，例如即将发布的版本中的查询。
预定义的聚合功能：Spark提供了各种预构建的聚合功能，可用于分布式数据收集的数据框或数据集表示形式。这些预先构建的函数可以在SPARK SQL查询表达式中使用，也可以与为Dataframe或Dataset定义的聚合API一起使用。在org.apache.spark.sql包中，所有预先构建的聚合函数都定义为"函数"类的静态方法。带下划线的链接可以列出所有这些功能的列表。
预定义的聚合函数经过高度优化，在大多数情况下可以直接与Spark tungusten格式一起使用。因此，如果" functions"类中存在预先构建的聚合函数，则Spark程序员应始终偏向于使用它们。万一那里没有所需的聚合函数，那么只有一个可以诉诸于编写自定义聚合函数。
如果您对Spark Aggregation框架有更多查询，请随时在评论部分提问。

在Apache Spark中执行聚合的五种方法( 二 )

推荐阅读

第一讯点|传承中华国粹弘扬中医文化

沈翰之|年轻女子行刑前被迫临时结婚，实拍伊朗60年前神秘的女子监狱

【5G】4G升5G，变更后才知手机不支持？营业员一句“别录了”竟逃离现场

电科技|Note 20 Ultra实机照曝光用料十足边框更窄，三星

【金钥匙】机械育苗成为辣椒种植产业振兴的“金钥匙”

秦国的河西是现在的哪里秦魏河西之争

变化多端?变化多端的意思

河南最无奈的火车站，每天只有一趟普速火车，堪称最荒凉火车站

啥叫小规模食品经营者、煎饼摊还能摆吗？官方解释来了

“这群学生没白疼！”

5G手机卢伟冰你这是要加速5G普及啊

特力和乐这家店的商品咋样

远康军事：俄罗斯真是敢想敢干，技术和资金双重困难，万吨战舰今年就要开工

悠家娱乐 X3，小米10无奈下跌黯然神伤，支持六个万花筒小米POCO

唐僧师徒5人，其实在取经路上被佛祖偷偷换掉两人，这两人是谁

肖战|肖战在内娱荷尔蒙天花板票选中断层领先，为了角色不断自我突破！

泡脚好处多多，但泡时要注意方式，否则会给人带来危害

cos是什么意思

完美主义■32岁赵丽颖和38岁张娜拉撞脸

睿辰知道|双眼皮和美瞳线一起做，你的眼睛会放电！，听说