发表于 | 阅读次数:

使用MAE损失（特别是对于神经网络）的一个大问题是它的梯度始终是相同的，这意味着即使对于小的损失值，其梯度也是大的。这对模型的学习可不好。为了解决这个问题，我们可以使用随着接近最小值而减小的动态学习率。MSE在这种情况下的表现很好，即使采用固定的学习率也会收敛。MSE损失的梯度在损失值较高时会比较大，随着损失接近0时而下降，从而使其在训练结束时更加精确（参见下图）

如果我们只给一个预测结果来最小化MSE，那么该预测值应该是所有目标值的均值。但是如果我们试图最小化MAE，那么这个预测就是所有目标值的中位数。我们知道中位数对于离群点比平均值更鲁棒，这使得MAE比MSE更加鲁棒。

发表于 | 分类于 | 阅读次数:

np.float默认是np.float64,
不是np.float32

发表于 | 分类于 | 阅读次数:

1.先把所有数据放在一起

2.使用idx标记每段数据的开始和结束位置

核心代码

1
2
3
flip_idx = [len(x) for x in data]
flip_idx = np.cumsum(flip_idx)
flip_idx = np.insert(flip_idx, 0, 0)

发表于 | 分类于 | 阅读次数:

转置卷积相对于卷积在神经网络结构的正向和反向传播中做相反的运算
使用的时候需要注意
padding 和 output_padding。

因为卷积操作是 floor(input_size / stride), 所以可能存在不同
的input_size对应着同样的output_size, is ambiguious. 所以需要指定
output_size来说明对应的input_size

发表于 | 阅读次数: 
1
https://www.wfonts.com/font/stxinwei

发表于 | 阅读次数: 
1
:e ++enc=someencoding somefile

发表于 | 阅读次数: 
1
2
% !TEX program = xelatex
% !BIB program = bibtex