汇编选集《大数据开发技术（二）》20春期末考核（参考答案）南开大学答案

汇编选集大数据开发技术（二）20春期末考核（参考答案）南开大学 答案大数据开发技术（二）20春期末考核-00001试卷总分:100得分:70一、单选题 (共 15 道试题,共 30 分)1.GraphX中（）方法可以查询顶点信息A.numVerticesB.numEdgesC.verticesD.edges正确答案:2.MLlib 中可以调用mllib.tree.DecisionTree 类中的静态方法（）训练回归树A.trainClassifierB.trainRegressorC.LogisticRegressionModelD.LabeledPoint正确答案:3.以下哪个函数可以对RDD进行去重（）A.sortByB.filterC.distinctD.intersection正确答案:4.图是一种数据元素间为（）关系的数据结构A.多对多B.一对一C.一对多D.多对一正确答案:5.GraphX中（）方法可以查询度数A.degreesB.degreeC.verticesD.edges正确答案:6.Scala中（）方法返回一个列表，包含除了第一个元素之外的其他元素A.headB.initC.tailD.last正确答案:7.GraphX中graph.triplets可以得到（）A.顶点视图B.边视图C.顶点与边的三元组整体视图D.有向图正确答案:8.spark-submit配置项中（）表示启动的executor数量A.-num-executors NUMB.-executor-memory MEMC.-total-executor-cores NUMD.-executor-coures NUM正确答案:9.（）是AMPLab发布的一个R开发包，使得R摆脱单机运行的命运，可以作为Spark的Job运行在集群上A.SparkRB.BlinkDBC.GraphXD.Mllib正确答案:10.Spark GraphX中类Graph的collectNeighborIds(edgeDirection: EdgeDirection)方法可以（）A.收集邻居顶点的顶点Id和顶点属性B.收集邻居顶点的顶点IdC.向指定顶点发送信息并聚合信息D.将顶点信息更新到图中正确答案:11.Mllib中线性会馆算法中的参数reParam表示（）A.要运行的迭代次数B.梯度下降的步长C.是否给数据加干扰特征或者偏差特征D.Lasso 和ridge 的正规化参数正确答案:12.Scala列表方法中通过给定的方法将所有元素重新计算的方法是（）A.filterB.foreachC.mapD.mkString正确答案:13.Scala函数组合器可以把一个二维的列表展开成一个一维的列表的方法是（）A.filterB.flattenC.groubyD.flatmap正确答案:14.GraphX中（）方法可以释放顶点缓存A.cacheB.presistC.unpersistVerticesD.edges.unpersist正确答案:15.Spark GraphX中类Graph的aggregateMessages方法可以（）A.收集邻居顶点的顶点Id和顶点属性B.收集邻居顶点的顶点IdC.向指定顶点发送信息并聚合信息D.将顶点信息更新到图中正确答案:二、多选题 (共 10 道试题,共 20 分)16.MLBase包括（）A.MllibB.MLIC.SparkRD.GraphX正确答案:B17.Spark创建DataFrame对象方式有（）A.结构化数据文件B.外部数据库C.RDDD.Hive中的表正确答案:BCD18.TF-IDF中IDF指的是（）A.词频B.词在文档中出现的次数C.逆文档概率D.词在文档集中出现的概率E.词在文档集中出现的概率正确正确答案:19.Spark中DataFrame的（）方法是查询指定字段的数据信息A.selectB.selectExprC.colD.apply正确答案:BCD20.以下算法中属于监督学习算法的是（）A.KNN算法B.逻辑回归C.随机森林D.Kmeans正确答案:BC21.以下哪个方法可以从集合中创建RDD（）A.parallelizeB.makeRDDC.textFileD.loadFile正确答案:B22.Scala函数支持（）A.递归函数B.高阶函数C.柯里化D.匿名函数正确答案:BCD23.GraphX中Edge边对象存有（）字段A.srcIdB.dstIdC.attrD.val正确答案:BC24.Spark中的RDD的说法正确的是（）A.弹性分布式数据集B.是Spark中最基本的数据抽象C.代表一个可变的集合D.代表的集合里面的元素可并行计算正确答案:BD25.Spark支持使用（）语言编写应用A.ScalaB.PythonC.JavaD.R正确答案:BCD三、 (共 10 道试题,共 20 分)26.Scala中高阶函数可以使用函数作为参数，也可以使用函数作为输出结果。答案:正确27.RDD的sortBy函数包含参数numPartitions，该参数决定排序后的RDD的分区个数，默认排序后的分区个数和排序之前的个数相等，即为this.partitions.size。答案:正确28.RDD的filter过滤会将返回值为true的过滤掉答案:错误29.RDD的subtract用于用于将前一个RDD 中在后一个RDD 出现的元素删除答案:正确30.图（Graph）是一种复杂的非线性结构答案:正确31.Spark中DataFrame 的查询操作也是一个懒操作， 仅仅生成一个查询计划， 只有触发Action 操作才会进行计算并返回查询结果。答案:正确32.RDD的map操作不会改变RDD的分区数目答案:正确33.Scala 集合分为可变的和不可变的集合答案:正确34.Spark RDD 是惰性求值的， 如果需要对一个RDD 多次使用，那么调用行动操作时每次都需要重复计算RDD 以及它的依赖。答案:正确35.Scala 列表与数组非常相似，列表的所有元素可具有不同的类型。答案:错误四、主观填空题 (共 5 道试题,共 10 分)36.Scala函数组合器可以把一个二维的列表展开成一个一维的列表的方法是#答案:flatten37.Mllib中线性会馆算法中的参数reParam默认值是#答案:138.假设集合A 有5 个元素，集合B 有10 个元素，使用RDDcartesian函数会返回#个元素的组合答案:5039.Scala中定义函数的关键字是#正确答案:ef40.Spark SQL 可以通过#方法将HDFS 上的格式化文件转换为DataFrame答案:load五、问答题 (共 1 道试题,共 10 分)41.请阐述Spark对数据进行持久化的特点答案:（1） RDD 的存储级别应该根据需要以及环境具体情况设定，在RDD 参与第一次计算后，RDD 就会根据设置的存储级别保存RDD 计算后的值在内存中或磁盘上。（2） 只有未曾设置存储级别的RDD 才能设置存储级别，设置了存储级别的RDD 不能修改其存储级别。（3） 针对仅存储数据在内存中的存储策略，如果内存不足的话， Spark 会使用LRU 缓存策略清除最老的分区，为新的RDD 提供空间，所以缓存在内存中的RDD分区是会被清除的，而不能长久保存，而缓存在磁盘上的数据则不用担心。六、更多答案下载： (共 2 道试题,共 10 分)42.SparkR答案:SparkR是AMPLab发布的一个R开发包，使得R摆脱单机运行的命运，可以作为Spark的Job运行在集群上。43.DStream正确答案:Stream 即离散流(discretized stream) ，是Spark Streaming 对内部持续的实时数据流的抽象描述