1 2 3 4 5 6 7 8 9 10 | val columnNameList = df.columns val rddMap = df.rdd.map( row => { var map = Map[String, Any]() for (i <- 0 to columnNameList.length - 1) { map += (columnNameList(i) -> row(i)) } map }) | cs |
반응형
'프로그래밍 > spark' 카테고리의 다른 글
spark-shell에서 spark config 가져오기 (0) | 2019.01.14 |
---|---|
spark shell thrift server timeout (0) | 2017.03.06 |
yarn-client spark submit INFO yarn.Client: Application report for 무한 반복 (0) | 2016.08.04 |
spark dynamicAllocation 설정 (0) | 2016.01.31 |