南開21春學期《大數(shù)據(jù)開發(fā)技術（二）》在線作業(yè)答案

1、21春學期（1709、1803、1809、1903、1909、2003、2009、2103）大數(shù)據(jù)開發(fā)技術（二）在線作業(yè)試卷總分:100 得分:100一、單選題 (共 25 道試題,共 50 分)1.Spark Streming中（）函數(shù)可以合并兩個DStream，生成一個包含兩個DStream中所有元素的新DStream對象A.mapB.flatMapC.filterD.union答案:D2.請問RDD的（）操作用于將相同鍵的數(shù)據(jù)聚合A.joinB.zipC.combineByKeyD.collect答案:C3.Dstream窗口操作中（）方法基于滑動窗口對源DStream中的元素進行聚合操

2、作，得到一個新的DstreamA.windowB.countByWindowC.reduceByWindowD.reduceByKeyAndWindow答案:C4.Scala函數(shù)組合器可以接收一個可以處理嵌套列表的函數(shù)，然后把返回結果連接起來的方法是（）A.mapB.foreachC.flattenD.flatmap答案:D5.GraphX中（）方法可以查詢邊信息A.numVerticesB.numEdgesC.verticesD.edges答案:D6.Spark Streming中（）函數(shù)可以對源DStream中的每一個元素應用func方法進行計算，如果func函數(shù)返回結果為true，則保留

3、該元素，否則丟棄該元素，返回一個新的DstreamA.mapB.flatMapC.filterD.union答案:C7.GraphX中（）方法可以查詢頂點個數(shù)A.numVerticesB.numEdgesC.verticesD.edges答案:A8.PairRDD可以通過（）獲得僅包含鍵的RDDA.keyB.keysC.valueD.values答案:B9.Spark GraphX中類Graph的mask方法可以（）A.反轉(zhuǎn)圖中所有邊的方向B.按照設定條件取出子圖C.取兩個圖的公共頂點和邊作為新圖，并保持前一個圖頂點與邊的屬性D.合并邊相同的屬性答案:C10.var a=10; for(a&l

4、t;-1 until 20) println(a); 共循環(huán)了（）次A.10B.11C.20D.19答案:D11.Scala中合并兩個數(shù)組的方法是（）A.lineB.addC.appendD.concat答案:D12.Mllib中線性會館算法中的參數(shù)intercept表示（）A.要運行的迭代次數(shù)B.梯度下降的步長C.是否給數(shù)據(jù)加干擾特征或者偏差特征D.Lasso 和ridge 的正規(guī)化參數(shù)答案:C13.以下哪個函數(shù)可以對RDD進行去重（）A.sortByB.filterC.distinctD.intersection答案:C14.GraphX中（）方法可以查詢度數(shù)A.degreesB.degr

5、eeC.verticesD.edges答案:A15.GraphX中（）是存放著Edg對象的RDDA.RDDEdgeB.EdgeRDDC.RDD(VertexId,VD)D.VertexRDD答案:A16.Scala函數(shù)組合器可以過濾移除使得傳入的函數(shù)的返回值為false的元素的方法是（）A.filterB.flattenC.groubyD.flatmap答案:A17.var a=10; do a+=1; while(a<20) 共循環(huán)了（）次A.9B.10C.11D.12答案:B18.Spark GraphX中類Graph的joinVertices方法可以（）A.收集鄰居頂點的頂點Id和

6、頂點屬性B.收集鄰居頂點的頂點IdC.向指定頂點發(fā)送信息并聚合信息D.將頂點信息更新到圖中答案:D19.Dstream輸出操作中（）方法在Driver中打印出DStream中數(shù)據(jù)的前12個元素。A.printB.saveAsTextFilesC.saveAsObjectFilesD.saveAsHadoopFiles答案:C20.Scala函數(shù)組合器可以通過一個函數(shù)重新計算列表中所有元素，并且返回一個相同數(shù)目元素的新列表的方法是（）A.mapB.foreachC.flattenD.flatmap答案:A21.spark-submit配置項中（）表示啟動的executor數(shù)量A.-num-exe

7、cutors NUMB.-executor-memory MEMC.-total-executor-cores NUMD.-executor-coures NUM答案:A22.Spark中運行交互式SQL查詢的大規(guī)模并行查詢引擎是（）A.Spark CoreB.Spark SQLC.BlinkDBD.Mllib答案:C23.以下哪個函數(shù)可以求兩個RDD的笛卡爾積（）A.unionB.substractC.intersectionD.cartesian答案:D24.Scala源代碼被編譯成（）字節(jié)碼，所以它可以運行于JVM之上A.SparkB.ScalaC.JavaD.JDK答案:C25.Spa

8、rk GraphX中類Graph的aggregateMessages方法可以（）A.收集鄰居頂點的頂點Id和頂點屬性B.收集鄰居頂點的頂點IdC.向指定頂點發(fā)送信息并聚合信息D.將頂點信息更新到圖中答案:C二、多選題 (共 10 道試題,共 20 分)26.以下哪個方法可以創(chuàng)建RDD（）A.parallelizeB.makeRDDC.textFileD.loadFile答案:ABC27.Spark DataFrame中（）方法可以返回一個Array對象A.collectB.takeC.takeAsListD.collectAsList答案:AB28.PairRDD中（）函數(shù)可以進行分組A.ma

9、pValuesB.groupByC.groupByKeyD.reduceByKey答案:BC29.MLBase包括（）A.MllibB.MLIC.SparkRD.GraphX答案:AB30.決策樹是（）的常用算法A.分類B.聚類C.降維D.回歸答案:AD31.Spark的RDD持久化操作有()方式A.cacheB.presistC.storageD.long答案:AB32.Scala中可以用（）方法來連接兩個或多個列表A.:B.#:C.List.:()D.List.concat()答案:BCD33.Spark是一個（）計算框架A.快速B.分布式C.可擴展D.容錯答案:ABCD34.Spark可

10、以從（）分布式文件系統(tǒng)中讀取數(shù)據(jù)A.HDFSB.HbaseC.HiveD.Tachyon答案:ABCD35.Spark中DataFrame的（）方法是查詢指定字段的數(shù)據(jù)信息A.selectB.selectExprC.colD.apply答案:ABCD三、判斷題 (共 15 道試題,共 30 分)36.Scala函數(shù)組合器中flatmap結合了map和flatten的功能，接收一個可以處理嵌套列表的函數(shù)，然后把返回結果連接起來答案:正確37.DataFrame是一個分布式的Row對象的數(shù)據(jù)集合答案:正確38.Scala列表中l(wèi)ast返回一個列表，包含除了第一個元素之外的其他元素答案:錯誤39.S

11、park Streaming中時間片也可稱為批處理時間間隔(batch interval)，時間片是人為地對數(shù)據(jù)進行定量的標準，作為拆分數(shù)據(jù)的依據(jù)，一個時間片的數(shù)據(jù)對應一個RDD 實例。答案:正確40.PairRDD中mapValues是針對鍵值對（Key，Value）類型的數(shù)據(jù)中的key和Value進行Map操作答案:錯誤41.RDD的subtract用于用于將前一個RDD 中在后一個RDD 出現(xiàn)的元素刪除答案:正確42.RDD中join操作最后只返回兩個RDD 都存在的鍵的連接結果。答案:正確43.RDD的filter函數(shù)返回一個存儲符合過濾條件的所有元素的新RDD答案:正確44.Scala中數(shù)組的第一個元素索引為1答案:錯誤45.RDD的行動操作是用于觸發(fā)轉(zhuǎn)換操作的操作，這個時候才會真正開始進行計算。答案:正確46.Spark中DataFrame 的查詢操作也是一個懶操作， 僅僅生成一個查詢計劃， 只有觸發(fā)Action