推荐google cloud ：穷人也能玩深度学习

Posted 2021-05-02 机器学习研究会

导语： 想玩深度学习但是没钱更新电脑配置怎么办？google cloud，只要1美元，只要1美元，300美元赠金带回家！365天免费使用，让你轻松入门深度学习！是的，你没有听错，只要1美元，只要1美元，买1赠300，还在犹豫什么，机不可失，失不再来，赶紧掏出你的电脑抢购吧！

背景

由于深度学习计算量大，常常会遇到一个训练跑几小时甚至1天多的情况。一段时间后，你肯定会有升级电脑的想法。而其中很重要的一块是gpu运算需要一块好显卡。

但是当我看看价钱，再看看信用卡账单，我觉得人穷还是应该多忍忍。

我以前还不幸上了农企的船，而目前主流的深度学习框架都是使用cuda，用opencl的速度大部分时候比直接跑cpu还慢。所以如果看完后有同学觉得自己装机更方便的话记住不要买amd的显卡（当然好像土豪也不会买amd的显卡...），另外不差钱的推荐上双TITAN X

介绍

前段时间听richardcliu介绍，google cloud现在有优惠，充值1美元赠送300美元，最多可使用1年。用了之后觉得价格挺公道的。

google cloud有专门的ml-engine（machine learning engine）模块，可以直接用来跑tensorflow，不用像虚拟机一样开关机。只需要根据需要指定配置就行。收费分为训练收费和预测收费两种：

这里意思是如果进行模型训练，那么每个训练单位1小时0.49美元（美国服务器）。有5中配置可供选择（具体介绍），每种占用的训练单位不同。比如如果选用STANDARD_1就是1小时4.9美元。如果是执行预测任务是每1000次预测0.1美元，plus会员按每小时0.4美元收费（升级plus不要钱，就是会在帐号没钱的时候自动扣信用卡的钱）。

使用google cloud有个好处就是完全不占用本地电脑资源，需要跑的时候扔个命令让google cloud跑就是，而且不阻塞自己的其它任何工作。跑的过程中生成的数据全部都会存储在存储分区中。

安装和配置

以mac安装做说明，包括之后的示例也以mac为准。

1.安装python 2.7，gcloud目前只支持python2.x。

2.更新pip

pip install -U pip

如果安装的tensorflow不是基于python2.7的，那么再安装一个基于python 2.7的tensorflow

tensorflow 1.3之后的版本tensorboard和tensorflow分开了，写这篇文章的时候刚把tensorflow从1.2.1更新到了1.3，独立的tensorboard一直跑不了，就先用1.2.1版本说明好了

pip install tensorflow==1.2.1

这个版本的tensorflow不是用来跑代码的，是用来之后把代码提交到google cloud运行前检查语法的。

3.下载google cloud sdk并解压

4.安装

sh ./google-cloud-sdk/install.sh

5.配置ml-engine。

a.创建一个新的云平台项目
https://console.cloud.google.com/cloud-resource-manager
b.启用付费
https://support.google.com/cloud/answer/6293499#enable-billing
c.启用机器学习api
https://console.cloud.google.com/flows/enableapi

6.初始化gcloud

gcloud init

然后会提示你登录，确认后会弹出登录页面，然后在弹出的网页选允许

To continue, you must log in. Would you like to log in (Y/n)? Y

选择项目，如果只有一个项目会默认帮你选择，选刚才那个创建的云平台项目（注意是填选择序号）。

Pick cloud project to use: [1] [my-project-1]
 [2] [my-project-2]
 ... Please enter your numeric choice:

选择默认区域，建议选us-east1，那里机器便宜,而且在运算时支持gpu

Which compute zone would you like to use as project default?
 [1] [asia-east1-a]
 [2] [asia-east1-b]
 ...
 [14] Do not use default zone
 Please enter your numeric choice:

全部设置完成后会有提示已经设置完成。

配置完成后可以用gcloud config list查看配置。更加详细的gcloud命令见

https://cloud.google.com/sdk/gcloud/reference/

示例

准备数据

下载示例代码，解压后进入estimator目录

cd cloudml-samples-master/census/estimator

mkdir data，将数据下载下来放在data里面。

创建存储分区。如果是第一次使用，进入后会有配置引导。

https://console.cloud.google.com/storage/browse

在命令行中设置BUCKET_NAME临时变量

BUCKET_NAME="刚刚设置的存储分区"

设置完成后可以通过echo命令查看是否正常设置

设置REGION临时变量。值与刚刚创建BUCKET_NAME的区域相同。我的是us-east1

REGION=us-east1

将data文件夹上传到google cloud

gsutil cp -r data gs://$BUCKET_NAME/data

设置TRAIN_DATA和EVAL_DATA临时变量

TRAIN_DATA=gs://$BUCKET_NAME/data/adult.data.csvEVAL_DATA=gs://$BUCKET_NAME/data/adult.test.csv

把test.json也上传上去并且设置临时变量

gsutil cp ../test.json gs://$BUCKET_NAME/data/test.json
TEST_JSON=gs://$BUCKET_NAME/data/test.json

训练

这时候终于可以跑训练任务了。对于每次训练或者预测，都要取一个专门的名称标识。

JOB_NAME=census_test_1