在 spark 中写入 JSON 时保留具有空值的键
2022-09-04 21:21:20
我正在尝试使用 spark 编写 JSON 文件。有一些键具有作为值。这些在 中显示得很好,但是当我写入文件时,键会被丢弃。如何确保保留它们?null
DataSet
编写文件的代码:
ddp.coalesce(20).write().mode("overwrite").json("hdfs://localhost:9000/user/dedupe_employee");
来自源的 JSON 数据的一部分:
"event_header": {
"accept_language": null,
"app_id": "App_ID",
"app_name": null,
"client_ip_address": "IP",
"event_id": "ID",
"event_timestamp": null,
"offering_id": "Offering",
"server_ip_address": "IP",
"server_timestamp": 1492565987565,
"topic_name": "Topic",
"version": "1.0"
}
输出:
"event_header": {
"app_id": "App_ID",
"client_ip_address": "IP",
"event_id": "ID",
"offering_id": "Offering",
"server_ip_address": "IP",
"server_timestamp": 1492565987565,
"topic_name": "Topic",
"version": "1.0"
}
在上面的示例中,键 ,并且已被删除。accept_language
app_name
event_timestamp