Python 模組 PyTorch 簡介與基礎語法

1140225 Meeting

發佈於 2025-02-23 更新於 2025-04-23 約 2654 字預計閱讀 6 分鐘次閱讀

封面圖片是 PyTorch 的官方 Logo ， 2025 年 2 月 22 日擷取自 Github 。

前言

PyTorch 是基於 Python 語言所開發的開源機器學習庫，是目前廣受歡迎的深度學習框架之一。 PyTorch 的前身源自於多個研究機構和專案的技術累積，主要是由基於 Lua 語言的 Torch 函式庫與 Facebook 的人工智慧研究團隊 (Facebook Artificial Intelligence Research, FAIR, 現為 Meta AI) 所開發的跨平台高效能計算 Caffe2 高效能深度學習框架。 2017 年，微軟 (Microsoft) 、 Facebook 和 IBM 等公司合作開發開放神經網路交換格式 (Open Neural Network Exchange, ONNX) ，並以開放原始碼的方式託管於 Github ，使 PyTorch 可以與其他深度學習框架互通。

特性

PyTorch 相較於其他深度學習框架有以下的優勢和特性：

與 Python 的整合

PyTorch 使用 Python 作為主要 API，對其他 Python 模組，如 NumPy 和 SciPy 等模組的支援性非常好。同時由於 Pytorch 神經網路模組化的設計，我們可以建立線性層、卷積神經網路層 (CNN)、循環神經網路層 (RNN)、長短期記憶層 (LSTM) 等，簡單且快速的建立一個模型。

自動微分與梯度計算

為模型進行微分或進行梯度的計算往往是一件惱人的事，然而 PyTorch 的子模組 torch.autograd 能夠自動計算梯度。對於程式設計者而言，這無疑使各種深度學習和優化問題能夠以簡單、直觀的方式解決，我們僅僅需要在 Python 中寫下 .backward() 即可自動計算梯度，實現高效且準確的反向傳播。

GPU 加速運算

PyTorch 定義一個叫做張量 (Tensor) 的類別，用於儲存或計算多維度的數字陣列。Tensor 與 NumPy 的陣列格式相似，可以方便的與 NumPy 的陣列格式相互轉換。與 NumPy 不同的是， PyTorch 可以在支援 CUDA 的輝達 (Nvidia) GPU 上運作，只需要寫下 .to(device) 即可將 Tensor 或模型搬移到 GPU 進行相較於 CPU 更快速的運算。

兼容性

PyTorch 支援 ONNX ，可與其他深度學習框架互通，也可以方便的轉移、部屬到不同的環境、機器。

基礎語法

安裝 PyTorch

我們必須安裝 Python 才能使用 PyTorch 。以下使用 Python 和其模組管理系統 pip 示範安裝，如果有使用其他的 Python 發行版，如 Anaconda 等，請自行搜尋相關安裝方法。

我們可以在終端機輸入下方指令安裝 Pytorch ，或是參考官方文件 https://pytorch.org/get-started/locally/ 進行安裝。

1
pip install torch torchvision torchaudio

安裝完成後，我們就可以在 Python 的終端機中載入 PyTorch 模組。

1
import torch

並檢視 PyTorch 的版本、是否安裝成功。

1
print(torch.__version__)

執行結果參考

1
2.6.0+cpu

如果您有 Nvidia 所產的 GPU 且您的 GPU 支援 CUDA ，請您更新 GPU 驅動程式至最新版本，並由官方文件 https://pytorch.org/get-started/locally/ 取得安裝指令後於終端機進行安裝，方可調用 GPU 進行運算。

/python-module-pytorch-introduction-and-basic-syntax/image/Pytorch%20website.png — PyTorch 官方文件

1
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

我們可以使用

1
2
print(torch.__version__)
print(torch.cuda.is_available())

檢視 CUDA 是否安裝成功且可被 PyTorch 讀取、使用。如果可用時將回傳 True 。

執行結果參考

1
2
2.6.0+cu126
True

建立 Tensor

使用 PyTorch 時，我們可以新建一個 Tensor 並對其進行操作。

1
2
3
4
5
6
7
8
9
# 載入 PyTorch 模組
import torch

# 建立 2x2 Tensor
x = torch.tensor([[1, 2], [3, 4]], dtype=torch.float32)
# 查看儲存於 x 變數中的 Tensor 類別陣列
print(x)
# 檢查在哪個設備上 (CPU or GPU)
print(x.device)

執行結果參考

1
2
3
tensor([[1., 2.],
        [3., 4.]])
cpu

我們也可以將 NumPy 的 array 類別轉換為 Tensor 類別。

1
2
3
4
5
6
7
8
import torch
import numpy as np

# 這是一個 NumPy 的陣列類別
y = np.array([[1, 2], [3, 4]])

# 轉換為 Tensor 類別
x = torch.tensor(y, dtype=torch.float32)

同理，我們也可以將 Tensor 類別轉換為 NumPy 的陣列類別。

1
2
# 將 Tensor 轉換回 NumPy 陣列
y = x.cpu().numpy()

其中 .cpu() 的作用是確保在轉換的過程中 Tensor 類別的資料可以由 GPU 複製到 CPU 再轉換，防止轉換錯誤。

GPU 加速

我們可以使用 .to("cuda") 將變數從 CPU 移動到 GPU。

1
2
x = x.to("cuda")
print(x.device)  # 確認 Tensor 已移動到 GPU

執行結果參考

1
cuda:0

然而，對於相同程式碼在不同的環境下執行時每次都要進行修改，這略顯麻煩。因此我們可以改寫如下，讓程式碼自動判別應該在什麼處理器下運行。

1
2
3
x = x.to("cuda")
device = "cuda" if torch.cuda.is_available() else "cpu"
x = x.to(device)

建立簡單的神經網路模型

在 Python 中可以使用 class 函數透過 PyTorch 建立一個神經網路模型，以下是一個範例。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import torch
import torch.nn as nn
import torch.optim as optim

class SimpleNN(nn.Module): # 定義神經網路並繼承 PyTorch 的 nn.Module 模組
    def __init__(self): # 定義神經網路的初始化
        # 繼承父模組 nn.Module 的初始化條件
        super(SimpleNN, self).__init__() 

        # 定義第一層
        self.layer1 = nn.Sequential( # 定義一個容器，可執行多個步驟
            nn.Linear(2, 3), # 全連接層，輸入 2 維，輸出 3 維
            nn.ReLU(), # 經過 ReLU 激活函數
        )

        # 定義第二層
        self.layer2 = nn.Sequential( # 定義一個容器，可執行多個步驟
            nn.Linear(3, 1), # 全連接層，輸入 3 維，輸出 1 維
            nn.Sigmoid(), # 經過 Sigmoid 激活函數
        )

    def forward(self, x): # 定義向前傳播
        x = self.layer1(x) # 第一層
        x = self.layer2(x) # 第二層
        return x

上述範例建立了一個輸入為 2 維且輸出為 1 維的模型，適合用於簡單的二元分類問題。

成功建立模型後，如果執行環境支援 CPU 加速運算，我們可以將模型移動到 GPU 。

1
2
3
device = "cuda" if torch.cuda.is_available() else "cpu"
model = SimpleNN().to(device)
print(model) # 顯示模型架構

執行結果參考

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
SimpleNN(
  (layer1): Sequential(
    (0): Linear(in_features=2, out_features=3, bias=True)
    (1): ReLU()
  )
  (layer2): Sequential(
    (0): Linear(in_features=3, out_features=1, bias=True)
    (1): Sigmoid()
  )
)

訓練模型

接下來，我們定義 criterion 和 optimizer，分別是模型的損失函數以及梯度下降辦法。由於先前定義的模型是二元分類模型，這裡我們使用二元交叉熵損失函數 (Binary Cross Entropy Loss) 作為損失函數。梯度下降的學習率 (learning rate, lr) 則設為 0.01.

1
2
criterion = nn.BCELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

準備用於訓練的資料。

1
2
3
# 假設有 4 筆輸入特徵，每筆資料有 2 個數值
inputs = torch.tensor([[0.1, 0.2], [0.4, 0.5], [0.7, 0.8], [0.9, 0.1]], dtype=torch.float32).to(device)
labels = torch.tensor([[0], [1], [1], [0]], dtype=torch.float32).to(device)  # 0 或 1 的標籤

下面我們用簡單的迴圈訓練模型。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
num_epochs = 100 # 訓練次數
for epoch in range(num_epochs):
    optimizer.zero_grad() # 清空上次的梯度
    outputs = model(inputs) # 向前傳播
    loss = criterion(outputs, labels) # 計算損失
    loss.backward() # 計算梯度並反向傳播
    optimizer.step() # 更新模型權重

    if (epoch + 1) % 10 == 0:  # 每 10 次輸出一次損失
        print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')

執行結果參考

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
Epoch [10/100], Loss: 0.7178
Epoch [20/100], Loss: 0.7162
Epoch [30/100], Loss: 0.7146
Epoch [40/100], Loss: 0.7132
Epoch [50/100], Loss: 0.7117
Epoch [60/100], Loss: 0.7103
Epoch [70/100], Loss: 0.7090
Epoch [80/100], Loss: 0.7077
Epoch [90/100], Loss: 0.7064
Epoch [100/100], Loss: 0.7052

向前傳播 (Forward Propagation) 是指從輸入層開始，資料經過每一層的計算，直到輸出層。
反向傳播 (Backpropagation) 是訓練神經網路的重要算法，其目的在於計算並更新模型的權重 (weight) 和偏差 (bias) ，以最小化損失函數。

測試模型

假設我們有一組資料用於測試，則預測結果如下。

1
2
3
test_input = torch.tensor([[0.5, 0.6]], dtype=torch.float32).to(device) # 生成測試資料
test_output = model(test_input) # 進行預測
print("Test output:", test_output.item()) # 輸出預測值

執行結果參考

1
Test output: 0.41304945945739746

由於訓練的資料是 0 或 1 標籤的二元分類模型，因此我們可以設定由神經網路模型輸出結果小於 0.5 為標籤 0 ，大於 0.5 為標籤 1 ，以此完成分類。

這樣就完成簡單的神經網路模型建立了。

當然，越大量的訓練資料與更多的訓練次數都可能可以提升模型預測的準確率，但訓練時間也會因此而拉長。資料量、訓練次數與預測準確率並不是完全相關的，反而過多的資料量和訓練次數會造成預測準確率下降，這都是要進行取捨的。

結語

神經網路是現今機器學習、人工智慧的核心技術之一。隨著深度學習的發展，神經網路儼然成為許多先進技術的基礎，包括語音辨識、圖片辨識、時間序列預測、資料填補等應用。有著對神經網路的深入理解，我們可以嘗試建立更複雜的模型結構，並應用在更複雜的領域，嘗試讓神經網路為我們解決各種複雜的問題。

參考資料

Get Started: Select preferences and run the command to install PyTorch locally, or get started quickly with one of the supported cloud platforms.（無日期）。PyTorch。2025年2月24日參考自 https://pytorch.org/get-started/locally/
ONNX（2024年10月7日）。維基百科，自由的百科全書。2025年2月24日參考自 https://zh.wikipedia.org/zh-tw/ONNX
PyTorch（2024年10月7日）。維基百科，自由的百科全書。2025年2月24日參考自 https://zh.wikipedia.org/wiki/PyTorch
PyTorch（2025年2月24日）。Github。2025年2月24日參考自 https://github.com/pytorch/pytorch

目錄

Python 模組 PyTorch 簡介與基礎語法

1140225 Meeting

前言

特性

與 Python 的整合

自動微分與梯度計算

GPU 加速運算

兼容性

基礎語法

安裝 PyTorch

建立 Tensor

GPU 加速

建立簡單的神經網路模型

訓練模型

測試模型

結語

參考資料

相關文章