我一直在做的事情如下:
val data = env.readCsvFile[ElecNormNew](getClass.getResource("/elecNormNew.arff").getPath)
val dataSet = data map { tuple =>
val list = tuple.productIterator.toList
val numList = list map (_.asInstanceOf[Double])
LabeledVector(numList(8), DenseVector(numList.take(8).toArray))
}
哪里 ElecNorNew
是一个 case class
:
case class ElecNormNew(
var date: Double,
var day: Double,
var period: Double,
var nswprice: Double,
var nswdemand: Double,
var vicprice: Double,
var vicdemand: Double,
var transfer: Double,
var label: Double) extends Serializable {
}
如Flink的文件所述。但是现在我正在尝试读取一个有53列的csv。有没有办法使这个过程自动化?我需要创建一个包含53个字段的pojo吗?
更新
在费边的回答之后,我在尝试:
val fieldTypes: Array[TypeInformation[_]] = Array(Types.STRING, Types.INT)
val rowIF = new RowCsvInputFormat(new Path(getClass.getResource("/lungcancer.csv").getPath), fieldTypes)
val csvData: DataSet[Row] = env.createInput[Row](rowIF)
val dataSet2 = csvData.map { tuple =>
???
}
但不知道该怎么继续,我该怎么用 RowTypeInfo
?
1条答案
按热度按时间hfsqlsce1#
你可以使用
RowCsvInputFormat
具体如下: