[作业与试题集]南开《大数据开发技术（二）》19秋期末考核【标准答案】

南开大数据开发技术（二）19秋期末考核【标准答案】大数据开发技术（二）19秋期末考核-0001一、单选题 (共 15 道试题,共 30 分)1.GraphX中（）是存放着Edg对象的RDDA.VertexRDDB.RDD(VertexId,VD)C.RDDEdgeD.EdgeRDD2.GraphX中graph.vertices可以得到（）A.顶点视图B.顶点与边的三元组整体视图C.边视图D.有向图3.Scala中哪个函数可以创建区间数组（）A.rangeB.ofDimC.fillD.concat4.var a=10; while(a5.Scala通过（）来定义变量A.valB.valC.defineD.def6.Scala中（）方法返回一个列表，包含除了第一个元素之外的其他元素A.tailB.lastC.initD.head7.Spark GraphX中类Graph的reverse方法可以（）A.按照设定条件取出子图B.合并边相同的属性C.取两个图的公共顶点和边作为新图，并保持前一个图顶点与边的属性D.反转图中所有边的方向8.Spark中运行交互式SQL查询的大规模并行查询引擎是（）A.Spark SQLB.Spark CoreC.MllibD.BlinkDB9.Spark中DataFrame的（）方法是进行连接查询A.whereB.limitC.joinD.apply10.Spark中的每个RDD一般情况下是由（）个分区组成的A.无数B.多C.1D.011.Scala列表中（）可以表示为一个空列表A.NoneB.NillC.NilD.List12.Spark Streming中（）函数当被调用类型分别为（K，V）和（K，W）键值对的2个DStream 时，返回类型为（K，（V，W）键值对的一个新 DStream。A.unionB.reduceC.joinD.cogroup13.Spark GraphX中类Graph的aggregateMessages方法可以（）A.收集邻居顶点的顶点Id和顶点属性B.收集邻居顶点的顶点IdC.将顶点信息更新到图中D.向指定顶点发送信息并聚合信息14.GraphX中（）是完整提供边的各种操作类A.VertexRDDB.RDD(VertexId,VD)C.RDDEdgeD.EdgeRDD15.Scala函数组合器可以接收一个可以处理嵌套列表的函数，然后把返回结果连接起来的方法是（）A.mapB.foreachC.flattenD.flatmap二、多选题 (共 10 道试题,共 20 分)16.TF-IDF中TF指的是（）A.逆文档概率B.词频C.词在文档集中出现的概率D.词在文档集中出现的概率E.词在文档中出现的次数17.Spark SQL可以处理（）A.RDDB.Parquet文件C.JSON文件D.Hive表18.以下哪个方法可以创建RDD（）A.textFileB.parallelizeC.makeRDDD.loadFile19.Spark DataFrame中（）方法可以返回一个ListA.takeAsListB.takeC.collectAsListD.collect20.TF-IDF中IDF指的是（）A.逆文档概率B.词频C.词在文档集中出现的概率D.词在文档集中出现的概率E.词在文档中出现的次数21.以下算法中属于监督学习算法的是（）A.随机森林B.逻辑回归C.KmeansD.KNN算法22.MLlib中进行数据标准化的方式有（）A.StandardScaleerB.StandardC.NormalizerD.MinMaxScaler23.以下哪种方法可以让Spark不自定义分区也能对任何类型RDD 简单重分区（）A.resetpartitionB.repartitonC.coalesceD.Partition24.Spark是一个（）计算框架A.快速B.容错C.可扩展D.分布式25.Scala支持（）A.高阶函数B.柯里化C.匿名函数D.函数嵌套三、判断题 (共 10 道试题,共 20 分)26.RDD是一个可读写的数据结构27.Scala函数组合器中flatmap结合了map和flatten的功能，接收一个可以处理嵌套列表的函数，然后把返回结果连接起来28.RDD的sortBy排序默认是升序29.Spark中DataFrame 的查询操作也是一个懒操作， 仅仅生成一个查询计划， 只有触发Action 操作才会进行计算并返回查询结果。30.Scala中高阶函数可以产生新的函数，并将新的函数作为返回值。31.默认情况下，Scala 使用的是可变集合32.RDD的转换操作是用于触发转换操作的操作，这个时候才会真正开始进行计算。33.键值对RDD由一组组的键值对组成，这些RDD被称为PairRDD。34.PairRDD中groupBy（func）func返回key，传入的RDD的各个元素根据这个key进行分组。35.Dstream输出操作中foreachRDD的正确用法是使用rdd.foreachPartition方法创建一个单独的连接对象，然后使用该连接对象输出所有RDD分区中的数据到外部系统四、主观填空题 (共 5 道试题,共 10 分)36.Scala函数组合器可以把一个二维的列表展开成一个一维的列表的方法是#37.Scala中定义函数的关键字是#38.图中以当前顶点为目标点的边的数量是#度数39.Spark SQL 可以通过#方法将HDFS 上的格式化文件转换为DataFrame40.Mllib中线性会馆算法中的参数reParam默认值是#五、问答题 (共 3 道试题,共 12 分)41.请描述图计算应用中的Google的PageRank网页排名42.请阐述Spark的生态圈43.请概括使用Spark Streaming的四个基本步骤六、名词解释 (共 2 道试题,共 8 分)44.Spark GraphX45.SparkContext