初学者学习深度学习，不得不会的Google Colab基本操作

Posted 2021-06-13 刘润森！

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了初学者学习深度学习，不得不会的Google Colab基本操作相关的知识，希望对你有一定的参考价值。

@Author：Runsen

最近，一直在学习Google Colab。可以来说，学习Ai，入门就是Google Colab

文章目录

Google Colab
启动Google Colab
从GitHub上传笔记本
Kaggle上传数据
Google云端硬盘读取文件
使用硬件加速器GPU
Google Colab中的TPU
其他操作

Google Colab

Google Colab是Google 的一个免费的基于Jupyter的环境，它使我们能够创建Jupyter编程笔记本来编写和执行Python以及其他基于Python的第三方工具和机器学习框架，例如Pandas ，PyTorch，Tensorflow，Keras，Monk，OpenCV等。

Google Colab具有独特且重要的功能：

它提供了免费的Jupyter笔记本环境。
它带有预装的软件包。
它完全托管在Google Cloud上。
它提供基于浏览器的Jupyter笔记本。
它完全免费，并提供GPU和TPU功能

启动Google Colab

可以使用 Colab 在 Web 浏览器上直接执行 Python 代码。我们可以使用以下网址启动它：

https://colab.research.google.com/notebooks/intro.ipynb?utm_source=towardsai.net&utm_medium=referral&utm_campaign=marketing&utm_term=google+colab&utm_content=google+colab

它提供了创建笔记本以及从不同来源上载的选项，例如：

GitHub
Google云盘
本地电脑

从GitHub上传笔记本

可以使用其项目的URL或搜索组织或用户，直接从Github上传Python代码。以下步骤重点介绍了如何使用Github URL上传项目：

启动Google Colab。
从弹出框中选择GitHub选项卡。

输入GitHub的项目URL并搜索以获取代码

它将一键上传完整的代码到 Google Colab notebook。

同样，可以通过按名称，日期，所有者或修改日期过滤保存的笔记本，直接从Google云端硬盘上传代码。

Kaggle上传数据

来自Kaggle的数据可以直接上传到Colab进行处理。需要Kaggle的API令牌才能完成数据导入。

从Kaggle生成API令牌的步骤

打开Kaggle
转至“我的账户”
向下滚动到“ API”部分
点击“创建新的API令牌”。它将生成一个新令牌并下载一个名为“ kaggle.json ”的JSON文件。
“ kaggle.json”文件包含用户名和密钥，例如：

在这里插入图片描述

从Kaggle上传数据的步骤，将“ kaggle.json”文件保存在本地计算机上。

安装Kaggle软件包

！pip install  kaggle

导入包：

from google.colab import files

上载本地文件“ kaggle.json”

files.upload（）

在这里插入图片描述
检查Colab笔记本是否与Kaggle正确连接。

!kaggle datasets list

Kaggle下载数据

!kaggle competitions download -c competitive-data-science-predict-future-sales<比赛名称>

Google云端硬盘读取文件

Google Colab也提供从Google Drive读取数据的功能。

导入包

import glob
import pandas as pd
from google.colab import drive
drive.mount('/gdrive')

这将要求Google驱动授权码。

单击链接并生成授权码。

读取CSV文件

file_path = glob.glob("/gdrive/My Drive/***.csv")for file in file_path:
    df = pd.read_csv(file)
    print(df)

使用硬件加速器GPU

在Colab中设置硬件加速器GPU
设置GPU的步骤：

转到运行时→更改运行时类型。
从弹出窗口中选择“ GPU”

在 Colab 中检查有关 GPU 的详细信息。

import tensorflow as tf
from tensorflow.python.client import device_lib
Check the GPU accelerator
tf.test.gpu_device_name()

在这里插入图片描述

Google Colab中的TPU

我们使用Tensor处理单元（TPU）在Tensorflow图上进行加速。

在Google Colab中设置TPU的步骤：

运行时菜单→更改运行时

在这里插入图片描述
它需要TensorFlow软件包。在代码下方，实现检查Colab是否设置了TPU加速器？

import tensorflow as tf
try:
    tpu = tf.distribute.cluster_resolver.TPUClusterResolver()  
    print('Running on TPU ', tpu.cluster_spec().as_dict()['worker'])
except ValueError:
    print('Exception')