Mac M1 运行 conda 和 jupyter notebook 备忘

PyTorch是一个开源机器学习框架,允许开发人员构建和训练神经网络。由于其灵活性和易用性,它在数据科学界被广泛使用。

PyTorch可以使用 Anaconda 安装,Anaconda 是Python编程语言的流行发行版,广泛用于数据科学。

在这篇文章中,我将记录在 Mac 中 使用 Conda 和 pip 安装PyTorch 的步骤。

Anaconda是一个包含了许多用于数据科学和机器学习的软件包的Python发行版。它包括了Python解释器本身以及许多常用的科学计算和数据处理库,如NumPy、Pandas、Matplotlib和SciPy等。Anaconda的目标是为数据科学家提供一个完整的工具集,以便他们能够快速搭建和管理数据分析环境。

而conda是Anaconda的默认包管理器。它是一个跨平台的包管理和环境管理系统,用于安装、升级、删除和管理不同版本的软件包。conda可以让你轻松地创建、复制和共享Python环境,使你能够在不同项目之间快速切换并管理不同的软件依赖关系。conda还可以从Anaconda仓库或其他第三方仓库中下载和安装软件包。

总结起来,Anaconda是一个集成了Python和许多数据科学和机器学习库的发行版,而conda是Anaconda的包管理器,用于安装和管理软件包及其依赖关系。

1. 安装 homebrew

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

2. 下载 Miniforge3 (安装conda)

Miniforge3 是一个 Conda 安装工具,专为 macOS 苹果芯片编写的 (M1, M1 Pro, M1 Max, M1 Ultra, M2).

chmod +x ~/Downloads/Miniforge3-MacOSX-arm64.sh
sh ~/Downloads/Miniforge3-MacOSX-arm64.sh
source ~/miniforge3/bin/activate

image-20230213上午100817720

image-20230213上午100842133

image-20230213上午100755897

我发现他会给 .zshrc 自动加上 source 信息

image-20230213上午101018563

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/Users/kelu/miniforge3/bin/conda' 'shell.zsh' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/Users/kelu/miniforge3/etc/profile.d/conda.sh" ]; then
        . "/Users/kelu/miniforge3/etc/profile.d/conda.sh"
    else
        export PATH="/Users/kelu/miniforge3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

有时候 conda 会提示要求升级,按提示升级:

conda update -n base -c conda-forge conda

3. conda创建虚拟环境

conda create -n pytorch_env python=3.11

ps: 删除虚拟环境:

conda remove -n pytorch_env --all

image-20230630171712787

conda 常用命令:

  1. conda list:查看安装了哪些包。
  2. conda install package_name(包名):安装包
  3. conda env list 或 conda info -e:查看当前存在哪些虚拟环境
  4. conda update conda:检查更新当前conda

切换到虚拟环境

conda activate pytorch_env

image-20230630171025638

查一下版本

image-20230630192255305

查看 conda 的源地址:

conda config --show channels

4. conda安装pytorch

查找相关包

conda search pytorch

image-20230630200700384

conda install pytorch torchvision torchaudio

image-20230630190508963

确定安装成功:

>>> import torch
>>> torch.__version__

image-20230630192954877

5. conda安装jupyter

conda install jupyter pandas numpy matplotlib scikit-learn tqdm 

image-20230213上午105451310

jupyter notebook

image-20230213上午110153434

验证:

image-20230213上午110655986

验证的脚本:

import torch
import numpy as np
import pandas as pd
import sklearn
import matplotlib.pyplot as plt
import math

print(f"PyTorch version: {torch.__version__}")

# Check PyTorch has access to MPS (Metal Performance Shader, Apple's GPU architecture)
print(f"Is MPS (Metal Performance Shader) built? {torch.backends.mps.is_built()}")
print(f"Is MPS available? {torch.backends.mps.is_available()}")

# Set the device      
device = "mps" if torch.backends.mps.is_available() else "cpu"
print(f"Using device: {device}")

# Create data and send it to the device
x = torch.rand(size=(3, 4)).to(device)
x

dtype = torch.float
device = torch.device("mps")

# Create random input and output data
x = torch.linspace(-math.pi, math.pi, 2000, device=device, dtype=dtype)
y = torch.sin(x)

# Randomly initialize weights
a = torch.randn((), device=device, dtype=dtype)
b = torch.randn((), device=device, dtype=dtype)
c = torch.randn((), device=device, dtype=dtype)
d = torch.randn((), device=device, dtype=dtype)

learning_rate = 1e-6
for t in range(2000):
    # Forward pass: compute predicted y
    y_pred = a + b * x + c * x ** 2 + d * x ** 3

    # Compute and print loss
    loss = (y_pred - y).pow(2).sum().item()
    if t % 100 == 99:
        print(t, loss)

# Backprop to compute gradients of a, b, c, d with respect to loss
    grad_y_pred = 2.0 * (y_pred - y)
    grad_a = grad_y_pred.sum()
    grad_b = (grad_y_pred * x).sum()
    grad_c = (grad_y_pred * x ** 2).sum()
    grad_d = (grad_y_pred * x ** 3).sum()

    # Update weights using gradient descent
    a -= learning_rate * grad_a
    b -= learning_rate * grad_b
    c -= learning_rate * grad_c
    d -= learning_rate * grad_d

print(f'Result: y = {a.item()} + {b.item()} x + {c.item()} x^2 + {d.item()} x^3')

image-20230213上午112823055

image-20230630194750307

6. conda 环境管理

1. 再次启动环境

再次启动环境,只需要激活虚拟环境然后启动jupyter即可:

conda activate pytorch_env  # 激活
conda deactivate            # 退出

2. 环境列表

conda info --env

image-20230926173520344

3. 删除环境

conda remove -n langchain --all

image-20230926173800542

参考资料


《动手学深度学习》第二版 摘录 在 Mac M1 上运行 pytorch MNIST 模型