json - data - mongoimport collection example



Mongoimport do arquivo json (8)

Eu tenho um arquivo json consistindo de cerca de 2000 registros. Cada registro que corresponderá a um documento no banco de dados mongo é formatado da seguinte maneira:

{jobID:"2597401",
account:"XXXXX",
user:"YYYYY",
pkgT:{"pgi/7.2-5":{libA:["libpgc.so"],flavor:["default"]}},     
startEpoch:"1338497979",
runTime:"1022",
execType:"user:binary",
exec:"/share/home/01482/XXXXX/appker/ranger/NPB3.3.1/NPB3.3-MPI/bin/ft.D.64",
numNodes:"4",
sha1:"5a79879235aa31b6a46e73b43879428e2a175db5",
execEpoch:1336766742,
execModify: new Date("Fri May 11 15:05:42 2012"),
startTime: new Date("Thu May 31 15:59:39 2012"),
numCores:"64",
sizeT:{bss:"1881400168",text:"239574",data:"22504"}},

Cada registro está em uma única linha no arquivo JSON e as únicas quebras de linha estão no final de cada registro. Portanto, cada linha no documento começa com "{jobID:" ... Estou tentando importá-los para um banco de dados mongo usando o seguinte comando:

mongoimport --db dbName --collection collectionName --file fileName.json

No entanto, recebo o seguinte erro:

Sat Mar  2 01:26:12 Assertion: 10340:Failure parsing JSON string near: ,execModif
0x10059f12b 0x100562d5c 0x100562e9c 0x10025eb98 0x10000e643 0x100010b60 0x10055c4cc 0x1000014b7    
0x100001454 
 0   mongoimport                         0x000000010059f12b _ZN5mongo15printStackTraceERSo + 43
 1   mongoimport                         0x0000000100562d5c _ZN5mongo11msgassertedEiPKc + 204
 2   mongoimport                         0x0000000100562e9c _ZN5mongo11msgassertedEiRKSs + 12
 3   mongoimport                         0x000000010025eb98 _ZN5mongo8fromjsonEPKcPi + 1576
 4   mongoimport                         0x000000010000e643          
                                         _ZN6Import8parseRowEPSiRN5mongo7BSONObjERi + 2739
 5   mongoimport                         0x0000000100010b60 _ZN6Import3runEv + 7376
 6   mongoimport                         0x000000010055c4cc _ZN5mongo4Tool4mainEiPPc + 5436
 7   mongoimport                         0x00000001000014b7 main + 55
 8   mongoimport                         0x0000000100001454 start + 52
Sat Mar  2 01:26:12 exception:BSON representation of supplied JSON is too large: Failure parsing    
    JSON string near: ,execModif
Sat Mar  2 01:26:12 
Sat Mar  2 01:26:12 imported 0 objects
Sat Mar  2 01:26:12 ERROR: encountered 1941 errors

Eu não sei qual é o problema. Alguém pode recomendar uma solução?


Answer #1

Consegui corrigir o erro usando a seguinte consulta:

mongoimport --db dbName --collection collectionName --file fileName.json --jsonArray

Espero que isso seja útil para alguém.


Answer #2

Este comando funciona onde nenhuma coleção é especificada.

mongoimport --db zips "\MongoDB 2.6 Standard\mongodb\zips.json"

Shell do Mongo depois de executar o comando

connected to: 127.0.0.1
no collection specified!
using filename 'zips' as collection.
2014-09-16T13:56:07.147-0400 check 9 29353
2014-09-16T13:56:07.148-0400 imported 29353 objects

Answer #3

Eu usei o comando abaixo para exportar DB

mongodump --db database_name --collection collection_name

e abaixo comando funcionou para eu importar DB

mongorestore --db database_name path_to_bson_file

Answer #4

Execute o comando de importação em outro terminal. (não dentro da casca do mongo)

mongoimport --db test --collection user --drop --file ~/downloads/user.json

Answer #5

Se você tentar exportar esta coleção de testes:

> db.test.find()
{ "_id" : ObjectId("5131c2bbfcb94ddb2549d501"), "field" : "Sat Mar 02 2013 13:13:31 GMT+0400"}
{"_id" : ObjectId("5131c2d8fcb94ddb2549d502"), "field" : ISODate("2012-05-31T11:59:39Z")}

com mongoexport (a primeira data criada com Date(...) e a segunda criada com new Date(...) (se usar ISODate(...) será o mesmo que na segunda linha)) então mongoexport output será assim:

{ "_id" : { "$oid" : "5131c2bbfcb94ddb2549d501" }, "field" : "Sat Mar 02 2013 13:13:31 GMT+0400" }
{ "_id" : { "$oid" : "5131c2d8fcb94ddb2549d502" }, "field" : { "$date" : 1338465579000 } }

Portanto, você deve usar a mesma notação, porque o JSON restrito não tem o tipo Date( <date> ) .

Além disso, seu JSON não é válido: todos os campos devem ser colocados entre aspas duplas, mas o mongoimport funciona bem sem eles.

Você pode encontrar informações adicionais na documentation mongodb e here .


Answer #6

Sua sintaxe aparece completamente correta em:

mongoimport --db dbName --collection collectionName --file fileName.json

Verifique se você está na pasta correta ou forneça o caminho completo.


Answer #7

console:

mongoimport -d dbName -c collectionName dataFile.js 

Answer #8

isso deve funcionar dentro do mongoshell

mongoimport -d databaseName -c collectionName --drop fileName.json

se você não ativou o shell no diretório necessário, será necessário especificar o arquivo junto com seu caminho.





mongoimport