一维线性回归模型

前言

本来今天是开始读取MNIST数据集完成手写数字识别的,但是遇到很大问题,MNIST的图像通道不一样导致运行错误。所以转向简单一点的线性模型来做做看。

测试代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
import torch
import numpy as np
import torch.nn as nn
import torch.optim as optim
import matplotlib.pyplot as plt
from torch.autograd import Variable

x_train = np.array(
[[3.3], [4.4], [5.5], [6.71], [6.93], [4.168], [9.779], [6.182], [7.59],
[2.167], [7.042], [10.791], [5.313], [7.997], [3.1]],
dtype=np.float32)
y_train = np.array(
[[1.7], [2.76], [2.09], [3.19], [1.694], [1.573], [3.366], [2.596], [2.53],
[1.221], [2.827], [3.465], [1.65], [2.904], [1.3]],
dtype=np.float32)

x_train = torch.from_numpy(x_train)
y_train = torch.from_numpy(y_train)

class LinearRegression(nn.Module):
def __init__(self):
super(LinearRegression, self).__init__()
self.linear = nn.Linear(1, 1)

def forward(self, x):
out = self.linear(x)
return out

model = LinearRegression()

loss_fn = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=1e-3)

epoch_n = 1000

for epoch in range(epoch_n):
inputs = Variable(x_train)
target = Variable(y_train)

out = model(inputs)
loss = loss_fn(out, target)

optimizer.zero_grad()
loss.backward()
optimizer.step()

if epoch % 100 == 0:
print("Epoch[{}/{}], Loss:{:.6f}".format(epoch, epoch_n, loss.item())

model.eval()
predict = model(Variable(x_train))
predict = predict.data.numpy()
plt.plot(x_train.numpy(), y_train.numpy(), "ro", label="Original Data")
plt.plot(x_train.numpy(), predict, label="Fitting Line")
plt.show()

测试结果

1
2
3
4
5
6
7
8
9
10
Epoch[0/1000], Loss:1.168603
Epoch[100/1000], Loss:0.179088
Epoch[200/1000], Loss:0.178578
Epoch[300/1000], Loss:0.178095
Epoch[400/1000], Loss:0.177635
Epoch[500/1000], Loss:0.177198
Epoch[600/1000], Loss:0.176784
Epoch[700/1000], Loss:0.176390
Epoch[800/1000], Loss:0.176015
Epoch[900/1000], Loss:0.175660

matplotlib图像

代码分析

先给几个横坐标和预期纵坐标,然后将numpy的ndarray形式转换成torch的tensor形式。
接着定义一个类继承自torch.nn.Module,用于前向传播,init()和forward()两个函数是自定义类的主要函数。在init()中添加一句super(LinearRegression, self).init()用于继承父类的初始化函数。init()中主要是对神经网络的模块进行声明,具体函数实现则是在forward()中。自定义类中的成员都通过self指针来进行访问,所以参数列表中都包含了self。
在这里误差函数还是使用MSELoss()用于计算均方误差,因为有的点可能在直线下面,我们不允许有负数存在;优化函数则使用SGD(),具体不知道为什么,但是换成Adam()运行效果没有SGD()好。
开始训练时要把节点用Variable()纳入计算图中,不然计算不了梯度。
optimizer.zero_grad()用于梯度置零,否则会造成结果不收敛。
loss.backward()计算梯度。
optimizer.step()更新梯度。

打印结果后可以整一个matplotlib的图出来看看。