无法在 ArangoDB 中批量上传日志数据？
Posted
技术标签:
【中文标题】无法在 ArangoDB 中批量上传日志数据？【英文标题】：Unable to bulk upload log data in ArangoDB? 【发布时间】：2015-07-01 06:06:48 【问题描述】：我需要在 ArangoDB 中批量上传日志数据。不是 JSON 和 CSV 格式，是 gz 格式的日志数据。
203.109.94.55 - - [19/Jun/2015:16:02:45 +0000] "GET /origin-cdn.firstcry.com/brainbees/images/products/thumb/506739a.jpg HTTP/1.1" 200 21514 "-" "Mozilla/5.0 (Linux; android 4.4.4; XT1022 Build/KXC21.5-40) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/34.0.1847.114 Mobile Safari/537.36" "-" 183.87.73.202 - - [19/Jun/2015:16:02:45 +0000]“GET /origin-cdn.firstcry.com/brainbees/images/products/bigthumb/555258a.jpg HTTP/1.1”200 34903“- " "Dalvik/2.1.0 (Linux; U; Android 5.0.2; AO5510 Build/LRX22G)" "-" 183.87.73.202 - - [19/Jun/2015:16:02:45 +0000] “GET /origin-cdn.firstcry.com/brainbees/images/products/bigthumb/555401a.jpg HTTP/1.1”200 32334 “- " "Dalvik/2.1.0 (Linux; U; Android 5.0.2; AO5510 Build/LRX22G)" "-"
即使我们尝试通过 Arangosh 上传单个文件，它也不会上传并生成格式无效的错误。 我每天有 2 GB 的数据要上传和处理，我该如何通过 ArangoDB 进行操作？ 因为我浏览了 ArangoDB 的文档，发现只有 JSON 的批量上传。任何有关如何上传和处理相同内容的帮助将不胜感激？
【问题讨论】：
【参考方案1】：ArangoDB 仅支持批量上传 JSON、CSV 或 TSV。因此，您需要转换日志文件。我很好的起点是谷歌。比如有个项目叫“log2json”：
https://github.com/kadnan/logs2json
通过一些小的调整，您应该能够生成 JSON 行（上面的项目创建了一个大的 JSON，这不是您想要的）。
【讨论】：
以上是关于无法在 ArangoDB 中批量上传日志数据？的主要内容，如果未能解决你的问题，请参考以下文章