常見演算法參數

學習率 Learning Rate每次更新weight的步長。

學習率大,代表更新速度快,但容易在局部最佳解附近震蕩。學習率小,較容易到達最佳解,但更新速度慢。

批次大小 Batch Size指一次性進入模型的資料數量。

可能會受限於GPU記憶體大小和計算性能,只能取較小的值。在迭代次數一樣下,批次大小越大,模型較為穩定,泛化能力越強,模型也更快收斂,但每次迭代需要花費更多的時間。

訓練周期 Epoch代表所有訓練資料在模型訓練的次數。

通常會依照訓練資料的多寡和模型難易,設定不同的值。訓練資料較少或模型較為簡單時,epoch 不適合太高,否則容易overfitting 過度擬合;反之,訓練資料較多或模型較為複雜,可適當提高epoch 大小,避免underfitting欠擬合。

輸入尺寸 Input Size模型輸入層的初始大小。

會依照不同深度學習框架所需輸入不同維度,常見如Pytorchbatch size, input channel size, height, widthTensorflowbatch size, height, width, input channel size

模型 Model具有特定神經網絡結構的權重組合。可透過增加網絡層,提高模型表達能力。

損失函數 Loss用來評估模型的預測值和真實值不一致的程度,也是神經網絡中優化的目標函數,訓練神經網絡的過程就是最小化損失函數的過程,當loss越小時,說明模型的預測值就越接近真實值。

評估標準 Metrics模型評估指標,通常會在Validation set上衡量模型好壞。

與模型(Model)有關的演算法參數,如Object Detection

IOU intersection over union兩個框交集/聯集的比例。

在目標檢測(Object Detection)中,我們通常會把預測出來的框與實際目標 Ground Truth進行IOU計算,如果IOU大於一個閥值,代表預測出來的框足以代表真實的目標,認為此框為TP(True Positive), 反之為FP(False Positive)