南开大学20秋学期《大数据开发技术（二）》在线作业（参考答案）

南开大学20秋学期大数据开发技术（二）在线作业（参考答案）()是AMPLab发布的一个R开发包，使得R摆脱单机运行的命运，可以作为Spark的Job运行在集群上。A.SparkRB.BlinkDBC.GraphXD.Mllib图的结构通常表示为：G(V，E)，其中，V是图G中()。A.顶点B.顶点的集合C.边D.边的集合Dstream输出操作中()方法将DStream中的内容按对象序列化并且以SequenceFile的格式保存。A.printB.saveAsTextFilesC.saveAsObjectFilesD.saveAsHadoopFiles()是Spark的核心，提供底层框架及核心支持。A.Spark CoreB.Spark SQLC.Spark StreamingD.MllibSpark中的每个RDD一般情况下是由()个分区组成的。A.0B.1C.多D.无数RDD的()操作通常用来划分单词。A.filterB.unionC.flatmapD.mapPartitions图结构中如果任意两个顶点之间都存在边，那么称之为()。A.完全图B.有向完全图C.无向图D.简单图Spark GraphX中类Graph的aggregateMessages方法可以()。A.收集邻居顶点的顶点Id和顶点属性B.收集邻居顶点的顶点IdC.向指定顶点发送信息并聚合信息D.将顶点信息更新到图中Spark中DataFrame的()方法是进行连接查询。A.whereB.joinC.limitD.apply以下哪个不是Scala的数据类型?()A.AnyRefB.AnythingC.NULLD.NothingGraphX中()方法可以释放边缓存。A.cacheB.presistC.unpersistVerticesD.edges.unpersist()是Spark的数据挖掘算法库。A.Spark CoreB.BlinkDBC.GraphXD.Mllib在图结构中，每个元素都可以有()后继。A.至少一个B.零个或多个C.一个D.零个以下哪个方法可以从外部存储中创建RDD?()A.parallelizeB.makeRDDC.textFileD.loadFileGraph类中如果要根据分开存放的顶点数据和边数据创建图，应该用()方法。A.Graph(vertices，edges， defaultVertexAttr)B.Graph.fromEdges(RDDEdgeED， defaultValue)C.Graph.fromEdgeTuples(rawEdges: RDD(VertexId， VertexId)， defaultValue)D.GraphLoader.edgeListFile(sc，filename)Spark GraphX中类Graph的joinVertices方法可以()。A.收集邻居顶点的顶点Id和顶点属性B.收集邻居顶点的顶点IdC.向指定顶点发送信息并聚合信息D.将顶点信息更新到图中Scala列表方法中返回所有元素，除了最后一个的方法是()。A.dropB.headC.filterD.init以下哪个函数可以对RDD进行排序?()A.sortByB.filterC.distinctD.intersection递归函数意味着函数可以调用它()。A.其他函数B.主函数C.子函数D.自身Spark Streming中()函数可以通过对源DStream的每RDD应用RDD-to-RDD函数返回一个新的DStream，这可以用来在DStream做任意RDD操作。A.transB.reduceC.joinD.cogroup如果numPartitions是分区个数，那么Spark每个RDD的分区ID范围是()。A.0，numPartitionsB.0，numPartitions-1C.1，numPartitions-1D.1，numPartitions图结构中如果任意两个顶点之间都存在有向边，那么称之为()。A.完全图B.有向完全图C.无向图D.简单图GraphX中VertexRDDVD继承自()。A.EdgeRDDB.RDDEdgeC.VertexRDDVDD.RDD(VertexId，VD)Scala列表方法中通过给定的方法将所有元素重新计算的方法是()。A.filterB.foreachC.mapD.mkString图结构中如果无重复的边或者顶点到自身的边，那么称之为()。A.完全图B.有向完全图C.无向图D.简单图以下哪个方法可以从集合中创建RDD?()A.parallelizeB.makeRDDC.textFileD.loadFileScala支持()。A.匿名函数B.高阶函数C.函数嵌套D.柯里化MapReudce不适合()任务。A.大数据计算B.迭代C.交互式D.离线分析Spark DataFrame中()方法可以获取若干行数据。A.firstB.headC.takeD.collectMLBase包括()A.MllibB.MLIC.SparkRD.GraphXSpark中的RDD的说法正确的是()。A.弹性分布式数据集B.是Spark中最基本的数据抽象C.代表一个可变的集合D.代表的集合里面的元素可并行计算Spark Streaming能够处理来自()的数据。A.KafkaB.FlumeC.TwitterD.ZeroMQSpark DataFrame中()方法可以获取所有数据。A.collectB.takeC.takeAsListD.collectAsListScala中使用()方法来连接两个集合。A.appendB.+C.concatD.Set.+()Spark Streaming支持实时流式数据，包括()。A.Web服务器日志文件B.社交网络数据C.实时交易数据D.类似Kafka的信息数据Spark Streming中DStream代表着一系列的持续的RDDs。()A.正确B.错误RDD的sortBy函数包含参数numPartitions，该参数决定排序后的RDD的分区个数，默认排序后的分区个数和排序之前的个数相等，即为this.partitions.size。()A.正确B.错误MLlib中Normalizer是一个转换器，它可以将多行向量输入转化为统一的形式。()A.正确B.错误MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的管道API。()A.正确B.错误RDD的filter过滤会将返回值为true的过滤掉。()A.正确B.错误用户可以在Hadoop YARN上运行Spark。()A.正确B.错误Scala中创建一个方法时经常用void表示该方法无返回值A.正确B.错误Scala Set(集合)是没有重复的对象集合，所有的元素都是唯一的。()A.正确B.错误PairRDD中reduceByKey的功能是合并具有相同键的值，作用域是KeyValue类型的键值对，并且是只对每个Key的Value进行处理。()A.正确B.错误RDD的flatMap操作是将函数应用于RDD之中的每一个元素，将返回的迭代器(数组、列表等)中的所有元素构成新的RDD。()A.正确B.错误RDD的subtract用于用于将前一个RDD中在后一个RDD出现的元素删除。()A.正确B.错误Spark Streaming中时间片也可称为批处理时间间隔(batch interval)，时间片是人为地对数据进行定量的标准，作为拆分数据的依据，一个时间片的数据对应一个RDD实例。()A.正确B.错误Spark在同一个应用中不能同时使用Spark SQL和Mllib。()A.正确B.错误Scala中允许集成多个父类。()A.正确B.错误Dstream提供了sort方法。()A.正确B.错误 参考答案：A参考答案：B参考答案：D参考答案：A参考答案：C参考答案：C参考答案：A参考答案：C参考答案：B参考答案：B参考答案：D参考答案：D参考答案：B参考答案：C参考答案：A参考答案：D参考答案：D参考答案：A参考答案：D参考答案：A参考答案：B参考答案：B参考答案：D参考答案：C参考答案：D参考答案：AB参考答案：ABCD参考答案：BC参考答案：ABCD   参考答案：AB参考答案：ABD参考答案：ABCD参考答案：AD参考答案：BD参考答案：ABCD参考答案：A参考答案：A参考答案：A参考答案：A参考答案：B参考答案：A参考答案：B参考答案：A参考答案：A参考答案：A参考答案：A参考答案：A参考答案：B参考答案：B参考答案：B