分享

spark通过scala读csv文件

读取的过程是首先按照普通额文本文件进行读取,然后通过opencsv的jar包进行转换,通过对每行进行读取,生成string数组。


[mw_shl_code=scala,true]import java.io.StringReader
import au.com.bytecode.opencsv.CSVReader

object CC{
        def my{
                val input = sc.textFile("file:///home/user/sparktemp/test.csv")
                input.collect().foreach(println)
                val result = input.map{ line =>
                val reader = new CSVReader(new StringReader(line));
                  reader.readNext()
                }
                println(result.getClass)
                result.collect().foreach(x => {x.foreach(println);println("======")})
        }
}[/mw_shl_code]

看一下运行截图:

20170108225939336.png






欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条