神经网络简介
收藏

简单解释神经网络是如何工作的,以及如何在Python中从头实现一个。


这句话可能会让你大吃一惊:神经网络并没有那么复杂!“神经网络”这个词经常被用作流行语,但实际上它们往往比人们想象的要简单得多。


这篇文章是完全针对初学者准备的,我们假设你没有任何机器学习的知识。我们将了解神经网络如何工作,同时在Python中从零开始实现一个。


让我们开始吧!


1. 构建块:神经元


首先,我们必需讨论神经元,神经网络的基本单位。一个经元接受输入,对它们进行一些数学运算,然后产生一个输出。这里是一个2输入神经元的样子:

这里发生了三件事。首先,每个输入被乘以一个权重:

接下来,将所有加权后的输入与一个偏差b相加:

最后,总和被传入一个激活函数:

激活函数用于将一个无界输入转换为一个具有良好的、可预测形式的输出。一个常用的激活函数是sigmoid函数:

sigmoid函数只输出(0,1)范围内的数字。你可以认为它是把(−∞,+∞) 压缩到(0,1)——大负数变成~0,大正数变成~1。

一个简单的例子


假设我们有一个使用sigmoid激活函数的2输入神经元,并带有以下参数:

w =[0,1]就是向量形式的w1 =0,w2 =1。现在,我们给这个神经元提供一个x=[2,3]的输入 。我们用点积来写得更简洁一些:

给定输入x=[2,3] ,神经元会输出0.999。就是这样!这个将输入向前传递以获得输出的过程称为前馈。


编写一个神经元


是时候实现一个神经元了!我们将使用NumPy,一个流行而强大的Python计算库,来帮助我们处理数学运算:

认出这些数了吗?这就是我们刚才举的例子!我们得到了相同的答案0.999。


2. 将神经元组合成一个神经网络


一个神经网络只不过是一群连接在一起的神经元。下面是一个简单的神经网络的样子:


这个网络有2个输入,一个带有2个神经元(h1和h2)的隐藏层,一个带有1个神经元(σ1)的输出层。注意σ1的输入是来自h1和h2的输出——这就是一个网络的组成。


隐藏层是在输入(第一个)层和输出(最后一个)层之间的任何层。可以有多个隐藏层!


一个例子:前馈 


我们来使用上图所示的网络,假设所有的神经元都具有相同的权重w=[0,1] ,相同的偏差b= 0,以及相同的sigmoid激活函数。让h1、h2、σ1表示它们所表示的神经元的输出。


如果我们传入输入x=[2,3] 会发生什么?


该神经网络对输入x=[2,3] 的输出为0.7216。很简单,对吧?

一个神经网络可以有任意数量的层,每个层可以包含任意数量的神经元。其基本思想是相同的: 通过网络中的神经元向前反馈输入以便最终得到输出。为了简单起见,我们将在本文的其余部分继续使用上面所示的网络。


编写一个神经网络: 前馈


我们来实现我们神经网络的前馈。这里是该网络的图片,再次供参考:



我们又得到了0.7216 !看起来它可以工作。


3.训练神经网络,第1部分


假设我们有以下测量值:

我们来训练我们的网络,并根据一个人的体重和身高来预测他的性别:

我们将用0表示男性,用1表示女性,我们还将对数据进行移位,使其更容易使用:

我随意选择了移位量(135和66)来使数字看起来漂亮一些。一般情况下,你应该使用平均值来移位。


损失


在训练我们的网络之前,我们首先需要一种方法来量化它做得有多“好”,这样它就可以尝试做得“更好”。这种方法就是损失。


我们将使用均方误差(MSE)损失:

让我们来分解一下:

  • n是样本的个数,这里是4 (Alice、 Bob、 Charlie、 Diana)。

  • y表示要预测的变量,即性别。

  • ytrue是变量(“正确答案”)的真值。例如,对于Alice来说,ytrue是1(女性)。

  • ypred是变量的预测值。它是我们网络的输出。


(ytrue - ypred)2称为平方误差。我们损失函数只是取所有平方误差的平均值(因此得名均方误差)。我们的预测越好,我们的损失就会越低!


更好的预测=更低的损失。


训练一个网络=尽量减少它的损失。


一个损失计算例子


假设我们的网络总是输出0,换句话说,它确信所有的人类都是男性。那我们的损失是多少?


代码: 均方误差损失

下面是一些计算损失的代码:

如果你不理解这段代码的工作原理,请阅读NumPy数组操作快速入门。


好了。开始!


4.训练神经网络,第2部分


我们现在有了一个明确的目标: 最小化神经网络的损失。我们知道我们可以改变网络的权重和偏差来影响它的预测,但我们如何才能以一种减少损失的方式做到这一点呢?


本节使用了一些多变量微积分。如果你对微积分不熟悉,你可以跳过数学部分。


为了简单起见,假设我们的数据集中只有Alice:



那么均方误差损失就是Alice的平方误差:

另一种考虑损失的方法是将损失看作是一个权重和偏差的函数。我们来标记我们的网络中的每个权重和偏差:

然后,我们可以将损失写成一个多元函数:

假设我们想调整w1。如果我们改变w1,损失L将如何变化? 偏导数∂L/∂w1可以回答这个问题。我们如何计算它?


这就是数学开始变得更加复杂的地方。不要气馁!我建议你带一支笔和一张纸来跟着计算,它们可以帮助你理解。


首先,我们用∂ypred/∂w1来重写偏导数代替:

由于我们上边计算出了L=(1-ypred)2,因此,我们可以计算∂L/∂ypred:

现在,让我们算出∂ypred/∂w1的值。就像之前一样,假设h1、 h2 、σ1是它们所代表的神经元的输出。那么

由于w1只影响h1(不影响h2),因此,我们可以写

我们对∂h1/∂w1做相同的事情:

这里的x1 是体重 , x2是身高。现在已经是我们第二次看到f'(x)(sigmoid函数的推导式)了!我们对它进行推导:

我们稍后将使用f'(x)这个漂亮的形式。


我们完成了!我们已经将∂L/∂w1分解成了几个我们可以计算的部分:

这种通过逆向运行计算偏导数的系统称为反向传播,或者“backprop”。


哦。这里有很多符号——如果你仍然有点困惑,也没关系。让我们举一个例子来实际看一下!


例子: 计算偏导数


我们将继续假设我们的数据集中只有Alice:

我们初始化所有的权重为1,所有的偏差为0。如果我们执行一个前馈通过网络,我们得到:

该网络输出 ypred =0.524,这并没有特别偏向男性(0)或女性(1)。我们来计算∂L/∂w1:

提醒: 我们在前面为我们的 sigmoid函数推导出了f'(x) = f(x) * (1 - f(x))。


我们做到了!这告诉我们,如果我们增加w1,L就会相应地增加一点点。


训练:随机梯度下降法


我们现在有了训练神经网络所需的所有工具! 我们将使用一种称为随机梯度下降(SGD)的优化算法,它告诉我们如何改变权重和偏差以最小化损失。它基本上就是这个更新方程:

η是一个称为学习率的常数,它控制我们训练的速度。我们所做的就是从w1中减去η∂L/∂w1:

  • 如果∂L/∂w1是正数,w1会减小,从而使得L也减小。

  • 如果∂L/∂w1 是负数,w1会增加,从而使得L也减小。


如果我们对网络中的每一个权重和偏差都这样做,损失就会慢慢减小,我们的网络就会改善。


我们的训练过程如下:

  1. 从数据集中选择一个样本。这就是称其为随机梯度下降的原因——我们一次只对一个样本进行操作。

  2. 计算所有关于权重或偏差的损失的偏导数(例如∂L/∂w1、∂L/∂w2等等)。

  3. 使用更新方程来更新每个权重和偏差。

  4. 回到步骤1。


让我们实际看一下!


代码: 一个完整的神经网络

终于是时候实现一个完整的神经网络了:

你可以自己运行/测试这段代码(https://repl.it/@vzhou842/An-Introduction-to-Neural-Networks  )。你也可以在Github上找到它。(https://github.com/vzhou842/neural-network-from-scratch  )


随着网络的学习,我们的损失逐渐减小:

我们现在可以用这个网络来预测性别:



现在怎么办?


你成功了!现在来快速回顾一下我们所做的:


  • 介绍了神经元——神经网络的构建块。

  • 在我们的神经元中使用了sigmoid激活函数。

  • 看到了神经网络只是连接在一起的神经元。

  • 创建了一个带有体重和身高的数据集,并将其作为输入(或特征),性别作为输出(或标签)。

  • 学习了损失函数和均方误差(MSE)损失。

  • 意识到训练一个网络只是最小化它的损失。

  • 使用反向传播计算偏导数。

  • 利用随机梯度下降法(SGD)对网络进行训练。


还有很多事情要做:


  • 使用合适的机器学习库(如Tensorflow、Keras和PyTorch)来测试更大/更好的神经网络。

  • 使用Keras构建你的第一个神经网络。

  • 在你的浏览器中修补一个神经网络。

  • 发现除了sigmoid之外的其它激活函数,如Softmax。

  • 发现除了SGD之外的其它优化器。

  • 阅读我的《卷积神经网络(CNNs)介绍》。CNNs给计算机视觉领域带来了革命性的变化,其功能非常强大。

  • 阅读我的《递归神经网络(RNNs)介绍》。RNNs经常用于自然语言处理(NLP)。


我可能会在将来写这些主题或类似的主题,所以如果你想获得关于新文章的通知,请订阅我吧。


感谢阅读!


英文原文:https://victorzhou.com/blog/intro-to-neural-networks/ 
译者:Nothing

    公众号
    关注公众号订阅更多技术干货!