首页 ❯

哪一个是最好的CSV或JSON，以便导入大数据（PHP）[已关闭]

php json performance csv
2022-08-30 21:01:17

我正在尝试获取大量数据（约3M行），而我只有两种选择。

  1. 调用 API 然后恢复 3M JSON 对象。
  2. 导入包含 3M 行的 CSV 文件。

我还没有测试这些解决方案中的任何一个，以判断哪一个在速度方面是最好的。


答案 1

如果要将简单数据检索为列表或包含某些列的行，则选项#2是好的选项，您可以阅读下面的一组优点和缺点：

优点

  • 所需的带宽更少，因为 JSON 需要更多的语法字符来保持格式，而 CSV 就像使用字符分隔符一样简单
  • 处理数据更快，因为只需要按分隔符拆分，而 JSON 需要解释语法
  • 大数据技术作为Hadoop具有CSV格式的集成解析，同时需要用于解析JSON的特定功能（例如使用Hive语言）。

缺点

  • 非结构化数据，更难以被人类阅读
  • 您必须注意，因为分隔符不能出现在数据字段中。

如果数据将包含作为元组的复杂数据，则数组和结构JSON更好，因为：

  • 保持清晰和结构化的格式
  • 不重复数据来引用它，因为一个标签可能包含多个数据。

答案 2

推荐
更多 »
标签
更多 »
php pass-by-reference optional-parameters default-value javascript arrays dom function string object serialization tostring visibility syntax jslint use-strict operators equality equality-operator identity-operator datetime timestamp date-arithmetic redirect angularjs loops foreach iteration scope variables
推荐
更多 »