以最快的方式将数百万个JSON文档导入MongoDB
我有超过1000万个JSON文档的形式:
["key": "val2", "key1" : "val", "{\"key\":\"val", \"key2\":\"val2"}"]
在一个文件中。
使用 JAVA 驱动程序 API 导入大约需要 3 个小时,同时使用以下函数(一次导入一个 BSON):
public static void importJSONFileToDBUsingJavaDriver(String pathToFile, DB db, String collectionName) {
// open file
FileInputStream fstream = null;
try {
fstream = new FileInputStream(pathToFile);
} catch (FileNotFoundException e) {
e.printStackTrace();
System.out.println("file not exist, exiting");
return;
}
BufferedReader br = new BufferedReader(new InputStreamReader(fstream));
// read it line by line
String strLine;
DBCollection newColl = db.getCollection(collectionName);
try {
while ((strLine = br.readLine()) != null) {
// convert line by line to BSON
DBObject bson = (DBObject) JSON.parse(JSONstr);
// insert BSONs to database
try {
newColl.insert(bson);
}
catch (MongoException e) {
// duplicate key
e.printStackTrace();
}
}
br.close();
} catch (IOException e) {
e.printStackTrace(); //To change body of catch statement use File | Settings | File Templates.
}
}
有没有更快的方法?也许,MongoDB设置可能会影响插入速度?(例如,添加键:“_id”,它将用作索引,因此MongoDB不必创建人工键,从而为每个文档创建索引)或在插入时完全禁用索引创建。谢谢。