프로그래밍/spark5 spark-shell에서 spark config 가져오기 sc.getConf.getAll.foreach(println) 2019. 1. 14. spark shell thrift server timeout ERROR log: Got exception: org.apache.thrift.transport.TTransportException java.net.SocketTimeoutException: Read timed outorg.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out hive metastore 정보가 변경되었거나 제대로 동작하지 않을 때 발생하는 에러metastore를 재시작하거나 중지하거나 제대로 실행하게 해주어야 한다. 2017. 3. 6. spark dataframe to map rdd 12345678910val columnNameList = df.columns val rddMap = df.rdd.map( row => { var map = Map[String, Any]() for (i row(i)) } map})Colored by Color Scriptercs 2016. 9. 7. yarn-client spark submit INFO yarn.Client: Application report for 무한 반복 ps -aux | grep spark로 yarn resource를 잡고 있는 프로세스들을 kill 로 종료시킨다. 2016. 8. 4. 이전 1 2 다음