如何使用python有效地将国家信息添加到包含mongoDB中坐标的文档？

Posted 2023-02-23

【中文标题】如何使用python有效地将国家信息添加到包含mongoDB中坐标的文档？

【英文标题】：How to efficiently add country information to documents containing coordinates in mongoDB using python?

【发布时间】：2020-11-01 21:27:25

【问题描述】：

我收集了来自foursquare 的签到数据，但它没有关于签到所在国家/地区的信息，只有坐标。我需要知道我正在帮助开发的模型所在的国家/地区，所以我编写了这个脚本，将每个文档（因为我不想弄乱原始数据）复制到带有这个添加的国家/地区字段的另一个集合中。

问题是，这运行速度非常慢。我估计，在我的个人电脑上，大约需要 48 天才能完成。我不会在我的个人电脑上运行它，但我还是不想让它花太长时间。如果这有什么不同，我打算运行它的计算机正在运行 mongodb 版本 3.4.7。如果有必要，我可以更新它，但我也不愿意。

有什么方法可以更有效地做到这一点，同时确保我不必从头开始，以防程序中途死机？

from pymongo import MongoClient, ReplaceOne, errors
from geopy.geocoders import Nominatim

_client = MongoClient(port=27017)
_collection = cliente.large_foursquare2014.checkins.find()
documents = list()

geolocator = Nominatim(user_agent="omitting the name i actually used on purpose")


i = 0
j = 0
for document in _collection:
    i += 1
    if i == 1000:
        print(j)
        j += 1
        cliente.large_foursquare2014.teste.bulk_write(documents)        
        documents.clear()
        i = 0

    address = geolocator.reverse((documento['latitude'], documento['longitude'])).raw['address']
    
    document['country2'] = address['country_code'].upper()
    documents.append(ReplaceOne('_id': document['_id'], document, upsert=True))

    cliente.large_foursquare2014.teste.bulk_write(documents)

【问题讨论】：

你确定是 MongoDB 调用很慢吗，因为我猜瓶颈是地理定位器代码。

【参考方案1】：

真正的瓶颈是地理定位器调用。通过更改为 reverse_geocoder 包，性能提高了大约 5 倍。