来自 AWS S3 的 Sklearn joblib 加载函数 IO 错误

Posted 2023-03-12

【中文标题】来自 AWS S3 的 Sklearn joblib 加载函数 IO 错误

【英文标题】：Sklearn joblib load function IO error from AWS S3

【发布时间】：2015-11-20 21:45:21

【问题描述】：

我正在尝试从 sklearn-learn 加载我的分类器的 pkl 转储。

对于我的对象，joblib 转储的压缩比 cPickle 转储好得多，所以我想坚持使用它。但是，尝试从 AWS S3 读取对象时出现错误。

案例：

本地托管的 Pkl 对象：pickle.load 有效，joblib.load 有效 Pkl 对象通过应用推送到 Heroku（从静态文件夹加载）：pickle.load 有效，joblib.load 有效 Pkl 对象推送到 S3：pickle.load 有效，joblib.load 返回 IOError。 （从 heroku 应用测试并从本地脚本测试）

请注意，joblib 和 pickle 的 pkl 对象是使用各自方法转储的不同对象。 （即 joblib 仅加载 joblib.dump(obj) 而 pickle 仅加载 cPickle.dump(obj)。

Joblib 与 cPickle 代码

# case 2, this works for joblib, object pushed to heroku
resources_dir = os.getcwd() + "/static/res/" # main resource directory
input = joblib.load(resources_dir + 'classifier.pkl')

# case 3, this does not work for joblib, object hosted on s3
aws_app_assets = "https://%s.s3.amazonaws.com/static/res/" % keys.AWS_BUCKET_NAME
classifier_url_s3 = aws_app_assets + 'classifier.pkl'

# does not work with raw url, IO Error
classifier = joblib.load(classifier_url_s3)

# urrllib2, can't open instance
# TypeError: coercing to Unicode: need string or buffer, instance found
req = urllib2.Request(url=classifier_url_s3)
f = urllib2.urlopen(req)
classifier = joblib.load(urllib2.urlopen(classifier_url_s3))

# but works with a cPickle object hosted on S3
classifier = cPickle.load(urllib2.urlopen(classifier_url_s3))

我的应用在案例 2 中运行良好，但由于加载速度非常慢，我想尝试将所有静态文件推送到 S3，尤其是这些 pickle 转储。 joblib 加载与 pickle 的方式是否存在本质上的不同会导致此错误？

这是我的错误

File "/usr/local/lib/python2.7/site-packages/sklearn/externals/joblib/numpy_pickle.py", line 409, in load
with open(filename, 'rb') as file_handle:
IOError: [Errno 2] No such file or directory: classifier url on s3
[Finished in 0.3s with exit code 1]

这不是权限问题，因为我已将 s3 上的所有对象公开以进行测试，并且 pickle.dump 对象加载正常。如果我直接在浏览器中输入 url，joblib.dump 对象也会下载

我可能完全错过了一些东西。

谢谢。

【参考方案1】：

joblib.load() 需要文件系统上存在的文件的名称。

Signature: joblib.load(filename, mmap_mode=None)
Parameters
-----------
filename: string
    The name of the file from which to load the object

此外，公开所有资源对于其他资产可能不是一个好主意，即使您不介意腌制模型可供全世界访问。

首先将对象从 S3 复制到工作人员的本地文件系统是相当简单的：

from boto.s3.connection import S3Connection
from sklearn.externals import joblib
import os

s3_connection = S3Connection(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
s3_bucket = s3_connection.get_bucket(keys.AWS_BUCKET_NAME)
local_file = '/tmp/classifier.pkl'
s3_bucket.get_key(aws_app_assets + 'classifier.pkl').get_contents_to_filename(local_file)
clf = joblib.load(local_file)
os.remove(local_file)

希望这会有所帮助。

附：您可以使用这种方法来腌制整个sklearn 管道。这也包括特征插补。请注意训练和预测之间库的版本冲突。

【讨论】：

谢谢，希望如此。我查看了源代码并看到了上面的内容，但不清楚这是否意味着它必须来自相对于文件系统的路径。

我有一个类似的版本，它也使用tempfile 来更安全地创建临时文件：***.com/questions/56571731/…