神经网络(1)

  • 生物学中的神经网络
  • 人类的大脑有白质和灰质,简单的说,灰质负责接收指令,发出指令,而白质负责传递指令!而最小的处理单元我们认为是神经细胞,如下图所示:


    神经细胞利用电-化学过程交换信号。输入信号来自另一些神经细胞。这些神经细胞的轴突末梢(也就是终端)和本神经细胞的树突相遇形成突触,信号就从树突上的突触进入本细胞。我们可以把这个过程看成现代计算机信号处理过程,利用一系列的0和1来进行操作,大脑的神经细胞也只有两种状态:兴奋和不兴奋(即抑制)。发射信号的强度不变,变化的仅仅是频率。神经细胞利用一种我们还不知道的方法,把所有从树突突触上进来的信号进行相加,如果全部信号的总和超过某个阀值,就会激发神经细胞进入兴奋状态,这时就会有一个电信号通过轴突发送出去给其他神经细胞。如果信号总和没有达到阀值,神经细胞就不会兴奋起来。
    由于人体的神经细胞数量巨大,而且每个细胞都以独立处理单元的形式并行工作着!使人类大脑具备了如下的特点:
    1 能实现无监督的学习
    2 对损伤有冗余性
    3 处理信息的效率极高
    4 善于归纳推广
    5 具有意识

  • 数字神经网络
  • 上一节我们了解了生物学的神经网络是由神经细胞进行信息传导的,那么我们的人工神经网络也需要一个信息传导介质,我们称之为人工神经细胞,其示意图如下:

    如图所示进入人工神经细胞的每一个input(输入)都与一个权重w相联系,正是这些权重将决定神经网络的整体活跃性。你现在暂时可以设想所有这些权重都被设置到了-1和1之间的一个随机小数。因为权重可正可负,故能对与它关联的输入施加不同的影响,如果权重为正,就会有激发作用,权重为负,则会有抑制作用。
    当输入信号进入神经细胞时,它们的值将与它们对应的权重相乘,作为图中大圆的输入。而大圆的本质是一个函数,我们成为激励函数,它把所有这些新的、经过权重调整后的输入全部加起来,形成单个的激励值。激励值也是一浮点数,且同样可正可负。然后,再根据激励值来产生函数的输出也即神经细胞的输出:如果激励值超过某个阀值,就会产生一个值为1的信号输出;如果激励值小于阀值,则输出一个0。
    

    有了上面的了解,下面我们将人工神经细胞统一称之为神经细胞。神经细胞可以有一个或者多个输入,我们通过数学表达式x1, x2, x3, x4, …, xn(n表示输入总数),每个输入对应的权值为w1, w2, w3, w4, …, wn。而此时我们的激励值即为A = x1*w1 + x2*w2 + x3*w3 + … + xn*wn和图中所表示意义一致。我们此时可以将(x1, w1)、(x2, w2)…看成一个n维向量。下一步我们知道,如果激励值超过阀值,神经细胞的output则为1,否则为0。

  • 神经细胞可以用来干什么?
  • 我们有了上面对神经细胞的了解,下面就让我们来看看它到底用来干什么?大脑里的生物神经细胞和其他的神经细胞是相互连接在一起的。为了创建一个人工神经网络,人工神经细胞也要以同样方式相互连接在一起。虽然连接方式有很多种,我们一般通过下图所示的方式,一层一层的将神经细胞连接起来,这一种类型的神经网络就叫前馈网络,因为网络的每一层神经细胞的输出都向前馈送到了它们的下一层,直到获得整个网络的输出为止。


    下面我们通过一个实例来具体说明,我们知道神经网络经常用作模式识别。说的具体一点就是神经网络善于把一种输入状态(它所企图识别的模式)映射到一种输出状态(它曾被训练用来识别的模式)。
    我们以字符识别作为例子。设想有一个由8×8个格子组成的一块面板。每一个格子里放了一个小灯,每个小灯都可独立地被打开(格子变亮)或关闭(格子变黑),这样面板就可以用来显示十个数字符号。如下图所示表示数字4

    现在为了识别显示内容,我们设计如下神经网络:这个面板作为输入,1或0作为输出,1代表神经网络确认已显示了数字“4”,而输出0表示没有显示数字“4”。神经网络需要有64个输入,即识别图中的每个方格。以及由许多神经细胞组成的一个隐藏层,还有仅有一个神经细胞的输出层,隐藏层的所有输出都馈送到它。
    一旦神经网络体系创建成功后,它必须接受训练来认出数字“4”。为此可用这样一种方法来完成:先把神经网的所有权重初始化为任意值。然后给它一系列的输入,在本例中,就是代表面板不同配置的输入。对每一种输入配置,我们检查它的输出是什么,并调整相应的权重。如果我们送给网络的输入模式不是“4”, 则我们知道网络应该输出一个0。因此每个非“4”字符时的网络权重应进行调节,使得它的输出趋向于0。当代表“4”的模式输送给网络时,则应把权重调整到使输出趋向于1。这种类型的训练称作有监督的学习,用来训练的数据称为训练集。调整权重可以采用许多不同的方法。对本类问题最常用的方法就是反向传播方法,后面我们会阐述到。除了这种需要监督的学习训练还有一种不需要任何导师来监督的训练,或称无监督学习。

    欢迎留言

    avatar
      Subscribe  
    Notify of