大数据 OneHot编码

Wed, 02 Apr 2025 15:41:00 +0800

特征工程 `OneHot`编码

需求

现有表一表order，其中字段为

id int,
name string,
sku_id int,
spu_id int

有另外一表sku_info，其中字段为

1
2

id int,
name string

现在要对order表中 sku_id进行OneHot处理

开始

使用Spark 相关库 Scala 2.12.X进行

1. 创建Spark上下文

val spark = SparkSession
    .builder()
    .master("local[*]")
    .appName("dawf")
    .enableHiveSupport()
    .getOrCreate()

2.读取表数据

val conf = new Properties()
conf.put("user","root")
conf.put("password","123456")
val order = spark.read.jdbc("jdbc:mysql://192.168.xx.xx/xx?useSSL=false", "order", conf)
val sku_info = spark.read.jdbc("jdbc:mysql://192.168.xx.xx/xx?useSSL=false", "sku_info", conf)

3.提取全部`sku_id`

函数	解释
distinct	去重
collect	将数据收集
map	将`Row`转为`Any`

`1`	`val allSku_id = sku_info.select("id").distinct().collect().map(f => f.get(0))`

4.创建动态表

`1`	`var order_var = order.select("id", "sku_id")`

5.遍历`sku_id`完成`OneHot`

1
2

val udf1 = udf((d1 : Double, d2 : Double) => if(d1 == d2) "1.0" else "0.0")
allSku_id.foreach(f => order_var = order_var.withColumn(s"sku_id#${f}", udf1(col("sku_id"), lit(f))))

大数据 on 南亭

大数据 OneHot编码

特征工程 OneHot编码

需求

开始

1. 创建Spark上下文

2.读取表数据

3.提取全部sku_id

4.创建动态表

5.遍历sku_id完成OneHot

特征工程 `OneHot`编码

3.提取全部`sku_id`

5.遍历`sku_id`完成`OneHot`