Jupyter Notebook教程 in Python

Posted 2022-12-02 yofer张耀琦

主要内容：如何安装，运行和使用IPython进行交互式 matplotlib 绘图，数据分析，还有发布代码。

简单介绍

Jupyter 是一个笔记本，这个笔记本可以编写和执行代码，分析数据，嵌入内容，以及共享可重复性的工作。Jupyter Notebook （以前成为iPython Notebook）可以在一个简单的笔记本中轻松分享代码，数据，图标以及说明。发布格式也比较灵活：PDF， html，ipynb，dsahboards，slides，等等。代码单元是基于输入和输出格式。例如：

安装

有多种方式可以安装 Jupyter Notebook:

• 使用 pip 安装。在终端中输入 $ pip install jupyter
• Windows用户可以使用 setuptools 安装。
• Anaconda 和 Enthought 可以下载 Jupyter Notebook的桌面版。
• nteract 可以通过一个桌面应用在 notebook 环境中工作。
• Microsoft Azure 提供对 Jupyter Notebook 的托管访问。
• Domino Data Lab 提供基于web的notebook。
• tmpnb 为个人用户启动一个临时在线的notebook。

主观观点：Windows 下常用Anaconda ，但并不是说 Mac 和 Linux用户就不需要了，个人觉得 Anaconda 都应该尝试一下，启动和管理库都很方便。

入门指南

安装 notebook 之后，在终端中输入 $ jupyter notebook 来启动。此时将在 localhost 打开浏览器到notebook的URL，默认是 http://127.0.0.1:8888。Windows 用户打开Command Prompt. 可以在一个dashboard 中看到所有的notebook，打开很方便。当编码和发布的时候，Notebook具有相同的优势。有所有的选项，移动代码，运行cell，更改 kernel，并且运行 NB的时候使用 Markdown

有用的命令

• Tab Completion: Jupyter 支持tab 自动补全！可以键入 object_name.<TAB> 来查看对象的属性。有关cell magics，运行 notebook，探索对象的提示，可以查看 Jupyter docs。
• Help: 提供介绍和功能概述。
• Quick Reference: 运行后打开快速参考：
• Keyboard Shortcuts: Shift-Enter将运行一个cell, Ctrl-Enter将在空间内运行cell, Alt-Enter 将运行cell，并在下面插入一个cell. 更多的快捷键请看 here.

语言

本教程的主要内容是讨论在 Jupyter notebooks 中执行python 代码。也可以使用 Jupyter notebooks 来执行 R 语言的代码。

Package 管理

在Jupyter安装 package时，需要在shell中安装，或者运行感叹号前缀，例如：

!pip install packagename

如果已经编辑了代码，可能需要 reload submodules。IPython 自带重载机制。可以在执行新行之前重新加载所有更改的模块。

%load_ext autoreload
%autoreload 2

本教程使用到的一些package：

• Pandas: 通过网址导入数据，创建数据框架，可以很简单的处理数据，进行分析和绘图。请参阅使用 Panda的例子：https://plot.ly/pandas/。
• NumPy: 用于科学计算的package，用于代数，随机数生成，与数据库集成和管理数据的工具。请参阅使用 Numpy 的例子：https://plot.ly/numpy/。
• SciPy: 一个基于Python的数学、科学和工程库。
• Plotly: 用于制作交互式，达到出版品质图表的图形库。更多统计，科学，3D图表等，请参阅：https://plot.ly/python

如果使用的是Anaconda 在Environments中可以发现，前三个库都已经默认帮你下载安装好了。然后把过滤条件改为All，搜Plotly，安装即可。非常方便

Import 数据

可以使用 pandas 的 read_csv() 函数来导入数据。下面的示例中，导入了一个 hosted on github 的csv，并使用Plotly将数据展示在一个table中。(table using Plotly)

plotly.plotly.iplot() 函数是在线的，需要先设置账号和key，具体请参阅：https://plot.ly/python/getting-started/

使用dataframe.column_title 来索引 dataframe：

pandas大多数的函数也适用于整个 dataframe。例如，调用 std() 计算每列的标准差

内联绘图

可以使用 Plotly’s python API ，通过调用 plotly.plotly.iplot() 或者离线工作的时候使用 plotly.offline.iplot() 。在notebook中绘制，可以将数据分析和绘图保存在一个位置。下面是一个可以交互的绘图。转到 Plotly getting started 页面，了解如何设置凭据。通过调用 iplot 自动生成内嵌 iframe 的交互式版本：

绘制多个轨道，并使用 Plotly语法，自定义颜色和标题，来对图标进行样式化。还可以进行控制，将 sharing 设置为 public , private, 或者 secret。

现在notebook中显示了交互式图标。将鼠标悬停在图标上来查看每一栏的值，单击并拖动来放大到特定部分，或单击图例以隐藏/显示轨道。

绘制交互式地图

Plotly 现在集成了 Mapbox。下面的例子，将绘制世界分级统计图。

import plotly.plotly as py
import pandas as pd

df = pd.read_csv('https://raw.githubusercontent.com/plotly/datasets/master/2014_world_gdp_with_codes.csv')

data = [ dict(
        type = 'choropleth',
        locations = df['CODE'],
        z = df['GDP (BILLIONS)'],
        text = df['COUNTRY'],
        colorscale = [[0,"rgb(5, 10, 172)"],[0.35,"rgb(40, 60, 190)"],[0.5,"rgb(70, 100, 245)"],\\
            [0.6,"rgb(90, 120, 245)"],[0.7,"rgb(106, 137, 247)"],[1,"rgb(220, 220, 220)"]],
        autocolorscale = False,
        reversescale = True,
        marker = dict(
            line = dict (
                color = 'rgb(180,180,180)',
                width = 0.5
            ) ),
        colorbar = dict(
            autotick = False,
            tickprefix = '$',
            title = 'GDP
Billions US$'),
      ) ]

layout = dict(
    title = '2014 Global GDP
Source:\\
            <a href="https://www.cia.gov/library/publications/the-world-factbook/fields/2195.html">\\
            CIA World Factbook</a>',
    geo = dict(
        showframe = False,
        showcoastlines = False,
        projection = dict(
            type = 'Mercator'
        )
    )
)

fig = dict( data=data, layout=layout )
py.iplot( fig, validate=False, filename='d3-world-map' )

3D绘图

使用Numpy和Plotly，可以在Notebook中绘制交互式3D图。

import plotly.plotly as py
from plotly.graph_objs import *

import numpy as np

s = np.linspace(0, 2 * np.pi, 240)
t = np.linspace(0, np.pi, 240)
tGrid, sGrid = np.meshgrid(s, t)

r = 2 + np.sin(7 * sGrid + 5 * tGrid) # r = 2 + sin(7s + 5t)
x = r * np.cos(sGrid) * np.sin(tGrid) # x = r * con(s) * sin(t)
y = r * np.sin(sGrid) * np.sin(tGrid) # y = r * sin(s) * sin(t)
z = r * np.cos(tGrid)                 # z = r * cos(t)

surface = Surface(x = x, y = y, z = z)
data = Data([surface])

layout = Layout(
    title = 'Parametric Plot',
    scene = Scene(
        xaxis = XAxis(
            gridcolor = 'rgb(255, 255, 255)',
            zerolinecolor = 'rgb(255, 255, 255)',
            showbackground = True,
            backgroundcolor = 'rgb(230, 230, 230)'
        ),
        yaxis = YAxis(
            gridcolor = 'rgb(255, 255, 255)',
            zerolinecolor = 'rgb(255, 255, 255)',
            showbackground = True,
            backgroundcolor = 'rgb(230, 230, 230)'
        ),
        zaxis = ZAxis(
            gridcolor = 'rgb(255, 255, 255)',
            zerolinecolor = 'rgb(255, 255, 255)',
            showbackground = True,
            backgroundcolor = 'rgb(230, 230, 230)'
        )
    )
)

fig = Figure(data = data, layout = layout)
py.iplot(fig, filename = 'parametric_plot')

绘制动画

查看Plotly的 animation documentation ，来了解如果在Jupyter notebook中创建内联动画，比如：

Plot 控件和IPython 小部件

给内联图表添加 silder, button, 和 dropdown：

import plotly.plotly as py
import numpy as np

data = [dict(
        visible = False,
        line = dict(color = '00CED1', width = 6),
        name = 'v = ' + str(step),
        x = np.arange(0, 10, 0.01),
        y = np.sin(step * np.arange(0, 10, 0.01))) for step in np.arange(0, 5, 0.1)]
data[10]['visible'] = True

steps = []
for i in range(len(data)):
    step = dict(
        method = 'restyle',
        args = ['visible', [False] * len(data)],
    )
    step['args'][1][i] = True # Toggle i'th trace to "visible"
    steps.append(step)

sliders = [dict(
    active = 10, 
    currentvalue = "prefix": "Frequency: ",
    pad = "t": 50,
    steps = steps
)]

layout = dict(sliders = sliders)
fig = dict(data = data, layout = layout)

py.iplot(fig, filename = 'Sina Wave Slider')

此外，IPython widgets 可以给notebook添加 silder， widget， 搜索框等。更多信息请参阅 widget docs 。为了让其他人能够访问你的工作，他们需要IPython，或者你可以使用基于云的NB选项。

运行R代码

IRkernel是Jupyter的R内核，允许在Jupyter笔记本中编写和执行R代码。 检查 IRkernel文档 以获取一些简单的安装说明。 安装IRkernel后，通过调用 $ jupyter notebook 打开Jupyter Notebook，并使用“新建”下拉列表选择一个R笔记本。

完整实例地址：https://plot.ly/~chelsea_lyn/14069

附加嵌入功能

IPython.display可以嵌入其他功能，如视频。 例如，从YouTube：

LaTeX

可以通过将数学内容用$$包住，来将LaTeX嵌入notebook中，然后将该单元格作为Markdown cell 运行。 例如，下面的 cell 是 $$ c = \\ sqrt a ^ 2 + b ^ 2 $$，但Notebook会呈现表达式。

或者可以在python的输出中展示，请参阅：here

导出和发布 notebook

可以将Notebook导出为HTML，PDF，.py，.ipynb，Markdown和reST文件。 也可以将NB 转换成幻灯片。 可以在Plotly上发布Jupyter notebook。 只需访问 plot.ly并选择右上角的 + Create 按钮。 选择 notebook 并上传Jupyter notebook（.ipynb）文件！ 上传的笔记本将存储在你的 Plotly organize folder 中，并托管在一个唯一的链接，能快速和简单分享。下面是一些例子：

• https://plot.ly/~chelsea_lyn/14066
• https://plot.ly/~notebook_demo/35
• https://plot.ly/~notebook_demo/85
• https://plot.ly/~notebook_demo/128

Publishing Dashboards

发布交互式图形的用户也可以使用 Plotly’s dashboarding tool 工具来绘制和拖放界面。 这些 dashboards 可以发布，嵌入和共享。

Publishing Dash Apps

对于希望传播和生产Python应用程序的用户，dash 是Flask，Socketio，Jinja，Plotly和 boiler plate CSS and JS的集合，用于通过Python数据分析后端轻松创建数据可视化Web应用程序。

Jupyter Gallery

对于更多Jupyter教程，请查看 Plotly’s python documentation：所有文档都是用jupyter notebook 编写的，可以自行下载并运行，或者查看 [user submitted examples!](https://plot.ly/ipython-notebooks/
)