测试相关
功能测试
单元测试:主要使用GTest(针对C++代码)/Scala(针对Scala代码)进行
集成测试:Bigflow目前使用LocalPipeline做本地的集成测试,由于Spark本身支持Local运行模式,由Driver进程调度Spark task 执行,因此功能测试较为简单,相对于目前所有的Bigflow测试
case,指需要将测试使用的引擎改为Spark执行即可,不需要专门搭建测试集群
性能测试
这里主要指集成测试中的性能部分,保证对于使用Spark Local模式运行某一个case,其运行的时间应当在一个合理的范围内,放 置由于代码的Bug/设计的不合理导致性能下降的情况
与PySpark的Benchmark Case
待添加