头像
智能制造  •  Maicn-01  •  发表于2个月前  •  306次阅读

摘 要 : 深 度 学 习 是 一 类 新 兴 的 多 层 神 经 网 络 学 习 算 法 , 因 其 缓 解 了 传 统 训 练 算 法 的 局 部 最 小 性 , 引 起 机 器 学习 领 域 的 广 泛 关 注 。 首 先 论 述 了 深 度 学 习 兴 起 渊 源 , 分 析 了 算 法 的 优 越 性 , 并 介 绍 了 主 流 学 习 算 法 及 应 用 现 状 , 最 后 总 结 了 当 前 存 在 的 问 题 及 发 展 方 向 。

关 键 词 : 深 度 学 习 ; 分 布 式 表 示 ; 深 信 度 网 络 ; 卷 积 神 经 网 络 ; 深 凸 网 络

引言:

深 度 学 习 的 概 念 源 于 人 工 神 经 网 络 的 研 究 , 含 多 隐 层 的 多

层 感 知 器 ( MLP) 就 是 一 种 深 度 学 习 结 构 。 深 度 学 习 通 过 组 合低 层 特 征 形 成 更 加 抽 象 的 高 层 表 示 ( 属 性 类 别 或 特 征 ) , 以 发现 数 据 的 分 布 式 特 征 表 示 [ 1] 。 BP 算 法 作 为 传 统 训 练 多 层 网 络的 典 型 算 法 , 实 际 上 对 于 仅 含 几 层 网 络 , 该 训 练 方 法 就 已 很 不理 想 [ 2] 。 深 度 结 构 ( 涉 及 多 个 非 线 性 处 理 单 元 层 ) 非 凸 目 标 代

价 函 数 中 普 遍 存 在 的 局 部 最 小 是 训 练 困 难 的 主 要 来 源 。

Hinton 等 人 [ 3 ~ 5] 基 于 深 信 度 网 ( DBN) 提 出 非 监 督 贪 心 逐

层 训 练 算 法 , 为 解 决 深 层 结 构 相 关 的 优 化 难 题 带 来 希 望 , 随 后提 出 多 层 自 动 编 码 器 深 层 结 构 。 此 外 Lecun 等 人 提 出 的 卷 积

神 经 网 络 ( CNNs) 是 第 一 个 真 正 多 层 结 构 学 习 算 法 [ 6] , 它 利 用 空 间 相 对 关 系 减 少 参 数 数 目 以 提 高 BP 训 练 性 能 。 此 外 深 度学 习 还 出 现 许 多 变 形 结 构 如 去 噪 自 动 编 码 器 [ 7] 、 DCN[ 8] 、 sum product[ 9] 等 。

当 前 多 数 分 类 、 回 归 等 学 习 方 法 为 浅 层 结 构 算 法 , 其 局 限

性 在 于 有 限 样 本 和 计 算 单 元 情 况 下 对 复 杂 函 数 的 表 示 能 力 有限 , 针 对 复 杂 分 类 问 题 其 泛 化 能 力 受 到 一 定 制 约 [ 2] 。 深 度 学习 可 通 过 学 习 一 种 深 层 非 线 性 网 络 结 构 , 实 现 复 杂 函 数 逼 近 ,

表 征 输 入 数 据 分 布 式 表 示 , 并 展 现 了 强 大 的 从 少 数 样 本 集 中 学习 数 据 集 本 质 特 征 的 能 力 [ 1, 10] 。 本 文 意 在 向 读 者 介 绍 这 一 刚刚 兴 起 的 深 度 学 习 新 技 术 。

0 深 度 学 习 神 经 学 启 示 及 理 论 依 据

1 1 深 度 学 习 神 经 学 启 示

尽 管 人 类 每 时 每 刻 都 要 面 临 着 大 量 的 感 知 数 据 , 却 总 能 以一 种 灵 巧 方 式 获 取 值 得 注 意 的 重 要 信 息 。 模 仿 人 脑 那 样 高 效准 确 地 表 示 信 息 一 直 是 人 工 智 能 研 究 领 域 的 核 心 挑 战 。 神 经科 学 研 究 人 员 利 用 解 剖 学 知 识 发 现 哺 乳 类 动 物 大 脑 表 示 信 息的 方 式 : 通 过 感 官 信 号 从 视 网 膜 传 递 到 前 额 大 脑 皮 质 再 到 运 动

神 经 的 时 间 , 推 断 出 大 脑 皮 质 并 未 直 接 地 对 数 据 进 行 特 征 提 取处 理 , 而 是 使 接 收 到 的 刺 激 信 号 通 过 一 个 复 杂 的 层 状 网 络 模型 , 进 而 获 取 观 测 数 据 展 现 的 规 则 [ 11 ~ 13] 。 也 就 是 说 , 人 脑 并 不是 直 接 根 据 外 部 世 界 在 视 网 膜 上 投 影 , 而 是 根 据 经 聚 集 和 分 解过 程 处 理 后 的 信 息 来 识 别 物 体 。 因 此 视 皮 层 的 功 能 是 对 感 知信 号 进 行 特 征 提 取 和 计 算 , 而 不 仅 仅 是 简 单 地 重 现 视 网 膜 的 图像 [ 14] 。 人 类 感 知 系 统 这 种 明 确 的 层 次 结 构 极 大 地 降 低 了 视 觉系 统 处 理 的 数 据 量 , 并 保 留 了 物 体 有 用 的 结 构 信 息 。 对 于 要 提取 具 有 潜 在 复 杂 结 构 规 则 的 自 然 图 像 、 视 频 、 语 音 和 音 乐 等 结构 丰 富 数 据 , 深 度 学 习 能 够 获 取 其 本 质 特 征 。

受 大 脑 结 构 分 层 次 启 发 , 神 经 网 络 研 究 人 员 一 直 致 力 于 多层 神 经 网 络 的 研 究 。 BP 算 法 是 经 典 的 梯 度 下 降 并 采 用 随 机 选定 初 始 值 的 多 层 网 络 训 练 算 法 , 但 因 输 入 与 输 出 间 非 线 性 映 射使 网 络 误 差 函 数 或 能 量 函 数 空 间 是 一 个 含 多 个 极 小 点 的 非 线性 空 间 , 搜 索 方 向 仅 是 使 网 络 误 差 或 能 量 减 小 的 方 向 , 因 而 经常 收 敛 到 局 部 最 小 , 并 随 网 络 层 数 增 加 情 况 更 加 严 重 。 理 论 和实 验 表 明 BP 算 法 不 适 于 训 练 具 有 多 隐 层 单 元 的 深 度 结 构 [ 15] 。此 原 因 在 一 定 程 度 上 阻 碍 了 深 度 学 习 的 发 展 , 并 将 大 多 数 机 器学 习 和 信 号 处 理 研 究 从 神 经 网 络 转 移 到 相 对 较 容 易 训 练 的 浅层 学 习 结 构 。

传 统 机 器 学 习 和 信 号 处 理 技 术 探 索 仅 含 单 层 非 线 性 变 换

的 浅 层 学 习 结 构 。 浅 层 模 型 的 一 个 共 性 是 仅 含 单 个 将 原 始 输入 信 号 转 换 到 特 定 问 题 空 间 特 征 的 简 单 结 构 。 典 型 的 浅 层 学习 结 构 包 括 传 统 隐 马 尔 可 夫 模 型 ( HMM ) 、 条 件 随 机 场

( CRFs) 、 最 大 熵 模 型 ( MaxEnt) 、 支 持 向 量 机 ( SVM) 、 核 回 归 及仅 含 单 隐 层 的 多 层 感 知 器 ( MLP) 等 。

1 2 浅 层 结 构 函 数 表 示 能 力 的 局 限 性

早 期 浅 层 结 构 局 限 性 结 论 是 关 于 利 用 逻 辑 门 电 路 实 现 函数 奇 偶 性 问 题 。 利 用 一 个 深 度 为 O( log d) 的 网 络 用 O( d) 个计 算 节 点 去 计 算 一 个 d 比 特 和 的 奇 偶 性 , 而 对 于 两 层 网 络 则 需要 指 数 倍 数 目 的 计 算 单 元 。 随 后 又 有 学 者 指 出 可 以 利 用 深 度为 K 的 多 项 式 级 的 逻 辑 门 电 路 实 现 的 函 数 , 对 于 K - 1 层 电 路需 要 指 数 倍 的 计 算 节 点 。 文 献 [ 10] 指 出 深 度 学 习 结 构 可 以 很简 洁 地 表 示 复 杂 函 数 , 否 则 一 个 不 合 适 的 结 构 模 型 将 需 要 数 目非 常 大 的 计 算 单 元 。 这 里 简 洁 包 含 三 方 面 内 容 : a) 需 要 的 数据 量 特 别 是 带 类 标 记 的 样 本 ; b) 需 要 的 计 算 单 元 的 数 目 ; c) 需

规 划 技 术 学 习 数 据 的 核 矩 阵 , 然 后 利 用 该 核 矩 阵 获 取 较 好 的 泛化 性 能 。 然 而 当 学 习 到 的 核 函 数 相 互 关 联 时 , 能 否 获 取 更 加 简洁 的 表 示 ? 深 度 学 习 即 基 于 这 种 思 想 并 通 过 多 次 网 络 学 习 输入 样 本 的 分 布 式 表 示 , 被 认 为 是 较 有 前 景 的 方 法 。

分 布 式 表 示 [ 18] 是 在 机 器 学 习 和 神 经 网 络 研 究 中 可 以 处 理维 数 灾 难 和 局 部 泛 化 限 制 的 一 个 古 老 的 思 想 。 如 图 1 所 示 , 分布 式 表 示 由 一 系 列 有 可 能 是 统 计 独 立 的 显 著 特 征 组 成 , 与 局 部泛 化 的 方 法 对 比 , 基 于 分 布 式 表 示 的 可 区 分 模 式 的 数 目 与 分 布式 表 示 的 维 数 ( 学 习 到 的 特 征 ) 是 指 数 倍 关 系 的 。 参 数 数 目 上的 减 少 对 统 计 机 器 学 习 是 非 常 有 意 义 的 , 因 为 不 仅 可 以 降 低 运算 量 , 同 时 仅 需 相 对 较 少 的 样 本 即 可 避 免 过 拟 合 现 象 的 发 生 。而 聚 类 算 法 和 最 近 邻 算 法 等 局 部 表 示 算 法 将 输 入 空 间 切 分 如图 1 左 侧 所 示 , 不 同 局 部 之 间 是 互 斥 的 , 不 能 形 成 简 洁 的 分 布式 表 示 。 ICA 、 PCA 和 RBM 等 算 法 用 较 少 的 特 征 将 输 入 空 间切 分 如 图 1 右 侧 所 示 , 并 构 建 分 布 式 表 示 , 参 数 数 目 和 需 要 的样 本 数 要 比 子 区 域 的 数 目 少 得 多 , 这 也 是 为 什 么 会 对 未 观 测 数据 泛 化 的 原 因 。 PCA 和 ICA 可 以 获 取 输 入 的 主 要 分 量 信 息 ,但 对 于 输 出 信 号 数 目 小 于 输 入 信 号 数 目 时 , 不 能 很 好 地 解 决 欠定 问 题 。 文 献 [ 19] 中 提 出 了 利 用 自 联 想 神 经 网 络 来 提 取 数 据的 非 线 性 主 分 量 的 方 法 , 该 学 习 方 法 的 目 的 是 通 过 事 物 的 部 分信 息 或 者 带 噪 声 的 信 息 来 还 原 事 物 的 本 来 信 息 。 自 联 想 神 经

要 的 人 为 先 验 知 识 。 例 如 多 项 式 ∏n

j = 1

aij xj

可 以 高 效 地

网 络 的 隐 层 节 点 数 目 少 于 输 入 节 点 数 目 时 , 可 认 为 在 自 联 想 过

( 相 对 于 需 训 练 的 计 算 单 元 数 目 ) 利 用 O( mn) 运 算 量 表 示 成 和

程 中 , 这 些 隐 层 能 够 保 留 数 据 集 中 的 主 要 信 息 。 多 层 神 经 网 络

和 Boltzmann 机 已 被 用 于 学 习 分 布 式 表 征 。 文 献 [ 20] 已 证 明

积 ( sumproduct) 结 构 , 如 果 表 示 成 积 和 结 构 , 将 需 要 O( n ) 计

算 量 。 此 外 文 献 [ 16] 指 出 存 在 一 大 类 函 数 不 能 用 浅 层 电 路 表示 。 这 些 数 学 结 果 指 出 了 浅 层 学 习 网 络 的 局 限 性 , 激 发 了 利 用深 度 网 络 对 复 杂 函 数 建 模 的 动 机 。

1 3 局 部 表 示 、 分 布 式 表 示 和 稀 疏 表 示

最 近 许 多 研 究 者 已 经 研 究 了 分 布 式 表 示 的 一 个 变 体 , 它 介于 纯 粹 局 部 表 示 和 稠 密 分 布 式 表 示 之 间 ——— 稀 疏 表 示 。 它 的思 想 是 尽 量 要 求 所 获 取 表 示 中 只 有 少 数 维 是 有 效 的 , 使 绝 大 多数 维 设 为 0 或 接 近 于 0 的 无 效 维 。 目 的 是 尽 量 找 出 信 号 的 主要 驱 动 源 。

基 于 模 板 匹 配 的 模 型 可 认 为 含 两 层 计 算 单 元 , 第 一 层 构 建对 输 入 数 据 进 行 匹 配 的 多 个 模 板 , 每 一 匹 配 单 元 可 输 出 一 个 匹配 度 ; 第 二 层 采 用 特 定 机 制 融 合 第 一 层 的 输 出 匹 配 度 。 典 型 基于 局 部 匹 配 的 例 子 是 核 方 法 。

f( x) = b + ∑i αi K( x, xi ) ( 1)

这 里 b 和 αi 形 成 第 二 计 算 层 。 核 函 数 K( x, xi ) 将 输 入 x匹 配 到 训 练 样 本 xi , 并 在 全 局 范 围 求 和 。 式 ( 1) 的 结 果 可 作 为 分 类 器 的 区 分 类 标 签 , 或 者 回 归 器 的 值 。 利 有 局 部 核函 数 的 核 方 法 能 获 取 泛 化 性 能 , 因 其 利 用 光 滑 性 的 先 验 知 识 ,

即 目 标 函 数 可 利 用 光 滑 函 数 逼 近 。 在 监 督 学 习 中 , 由 训 练 样 本

( xi , yi ) 组 建 测 器 , 当 输 入 x 与 xi 靠 近 时 , 输 出 接 近 yi 。 通 常这 是 合 理 假 设 , 但 文 献 [ 10] 中 指 出 当 目 标 函 数 非 常 复 杂 时 , 这样 的 模 型 泛 化 能 力 很 差 。 其 原 因 是 利 用 局 部 估 计 学 习 算 法 表示 函 数 时 , 一 个 局 部 估 计 子 将 输 入 空 间 进 行 切 分 , 并 需 要 不 同自 由 度 参 数 来 描 述 目 标 函 数 在 每 一 区 域 的 形 状 。 当 函 数 较 为复 杂 时 , 需 要 利 用 参 数 进 行 描 述 的 区 域 数 目 也 是 巨 大 的 。 固 定核 函 数 的 这 种 局 限 性 已 引 起 基 于 先 验 知 识 设 计 核 函 数 的 研 究 , 而 如 果 缺 乏 足 够 的 先 验 知 识 是 否 可 通 过 学 习 获 取 一 个 核 函 数 ? 该 问 题 同 样 引 起 大 量 研 究 。 Lanckriet 等 人 [ 17] 提 出 利 用 半 正 定

利 用 DBN 学 习 特 征 空 间 对 高 斯 过 程 回 归 的 性 能 进 行 提 高 。 深度 学 习 算 法 可 以 看 成 核 机 器 学 习 中 一 个 优 越 的 特 征 表 示 方 法 。文 献 [ 2] 指 出 单 个 决 策 树 的 泛 化 性 能 随 目 标 函 数 变 量 增 加 而降 低 。 多 个 树 的 集 成 ( 森 林 ) 比 单 个 树 更 加 强 大 , 也 是 因 为 增加 了 一 个 第 三 层 , 并 潜 在 地 形 成 分 布 式 表 示 , 可 表 达 与 子 树 数目 指 数 倍 个 的 分 布 。

1 (fi$ .fi$1(})ªyfifi$1(@)

1 4 深 度 学 习 成 功 的 关 键

深 度 学 习 具 有 多 层 非 线 性 映 射 的 深 层 结 构 , 可 以 完 成 复 杂的 函 数 逼 近 是 深 度 学 习 优 势 之 一 ; 此 外 深 度 学 习 理 论 上 可 获 取分 布 式 表 示 , 即 可 通 过 逐 层 学 习 算 法 获 取 输 入 数 据 的 主 要 驱 动变 量 。 该 优 势 是 通 过 深 度 学 习 的 非 监 督 预 训 练 算 法 完 成 , 通 过生 成 性 训 练 可 避 免 因 网 络 函 数 表 达 能 力 过 强 而 出 现 过 拟 合 情

况 。 但 由 于 单 层 有 限 的 计 算 能 力 , 通 过 多 层 映 射 单 元 可 提 取 出主 要 的 结 构 信 息 。 文 献 [ 15] 深 入 分 析 并 通 过 实 验 验 证 了 贪 婪层 次 非 监 督 深 度 学 习 方 法 的 优 势 所 在 。

0 典 型 的 深 度 学 习 结 构

深 度 学 习 涉 及 相 当 广 泛 的 机 器 学 习 技 术 和 结 构 , 根 据 这 些结 构 和 技 术 应 用 的 方 式 , 可 以 将 其 分 成 如 下 三 类 :

a) 生 成 性 深 度 结 构 。 该 结 构 描 述 数 据 的 高 阶 相 关 特 性 ,或 观 测 数 据 和 相 应 类 别 的 联 合 概 率 分 布 。

b) 区 分 性 深 度 结 构 。 目 的 是 提 供 对 模 式 分 类 的 区 分 性 能力 , 通 常 描 述 数 据 的 后 验 分 布 。

c) 混 合 型 结 构 。 它 的 目 标 是 区 分 性 的 , 但 通 常 利 用 了 生成 型 结 构 的 输 出 会 更 易 优 化 。

2 1 生 成 型 深 度 结 构

文 献 [ 3] 首 次 提 出 的 DBN 是 目 前 研 究 和 应 用 都 比 较 广 泛的 深 度 学 习 结 构 。 与 传 统 区 分 型 神 经 网 络 不 同 , 可 获 取 观 测 数据 和 标 签 的 联 合 概 率 分 布 , 这 方 便 了 先 验 概 率 和 后 验 概 率 的 估计 , 而 区 分 型 模 型 仅 能 对 后 验 概 率 进 行 估 计 。 DBN 解 决 传 统BP 算 法 训 练 多 层 神 经 网 络 的 难 题 : a) 需 要 大 量 含 标 签 训 练 样本 集 ; b) 较 慢 的 收 敛 速 度 ; c) 因 不 合 适 的 参 数 选 择 陷 入 局 部最 优 。

DBN 由 一 系 列 受 限 波 尔 兹 曼 机 ( RBM) 单 元 组 成 。 RBM是 一 种 典 型 神 经 网 络 , 如 图 2 所 示 。 该 网 络 可 视 层 和 隐 层 单 元彼 此 互 连 ( 层 内 无 连 接 ) , 隐 单 元 可 获 取 输 入 可 视 单 元 的 高 阶相 关 性 。 相 比 传 统 sigmoid 信 度 网 络 , RBM 权 值 的 学 习 相 对 容 易 。 为 了 获 取 生 成 性 权 值 , 预 训 练 采 用 无 监 督 贪 心 逐 层 方 式 来实 现 。 在 训 练 过 程 中 , 首 先 将 可 视 向 量 值 映 射 给 隐 单 元 ; 然 后可 视 单 元 由 隐 层 单 元 重 建 ; 这 些 新 可 视 单 元 再 次 映 射 给 隐 单 元 , 这 样 就 获 取 了 新 的 隐 单 元 。 反 复 执 行 这 种 步 骤 叫 做 吉 布 斯采 样 。

2 RBM #

RBM 在 给 定 模 型 参 数 条 件 下 的 联 合 分 布 为

p( v, h; θ) = exp( - E( v, h; θ) ) / Z ( 2)

其 中 : Z = ∑ ∑ exp( - E( v, h; θ) ) 是 归 一 化 因 子 或 剖 分 函 数 。模 型 赋 予 可 视 向 量 v 的 边 际 概 率 为

p( v; θ) = ∑h exp( - E( v, h; θ) ) / Z ( 3)

对 伯 努 利 ( 可 视 ) — 伯 努 利 ( 隐 藏 ) RBM 能 量 函 数 定 义 为

E( v, h; θ) = - ∑I ∑J wij vi hj - ∑I bi vi - ∑J aj hj

其 中 : Edata ( vi hj ) 是 在 观 测 数 据 训 练 集 中 的 期 望 ; Emodel ( vi hj ) 是模 型 中 定 义 的 期 望 。 精 心 训 练 RBM 对 成 功 应 用 深 度 学 习 是 一个 关 键 。 文 献 [ 21] 提 供 了 对 RBM 实 际 训 练 的 指 导 。

通 过 自 底 向 上 组 合 多 个 RBM 可 以 构 建 一 个 DBN, 如 图 3

所 示 。 应 用 高 斯 — 伯 努 利 RBM 或 伯 努 利 — 伯 努 利 RBM, 可 用隐 单 元 的 输 出 作 为 训 练 上 层 伯 努 利 — 伯 努 利 RBM 的 输 入 , 第二 层 伯 努 利 和 伯 努 利 的 输 出 作 为 第 三 层 的 输 入 等 。 这 个 逐 层高 效 的 学 习 策 略 理 论 证 明 可 参 见 文 献 [ 3] , 它 指 出 上 述 逐 层 学习 程 序 提 高 了 训 练 数 据 基 于 混 合 模 型 的 似 然 概 率 的 变 化 下 界 。

3 DBN #

2 2 区 分 性 深 度 结 构

卷 积 神 经 网 络 ( CNNs) 是 第 一 个 真 正 成 功 训 练 多 层 网 络 结 构 的 学 习 算 法 , 与 DBNs 不 同 , 它 属 于 区 分 性 训 练 算 法 。 受 视觉 系 统 结 构 的 启 示 , 当 具 有 相 同 参 数 的 神 经 元 应 用 于 前 一 层 的不 同 位 置 时 , 一 种 变 换 不 变 性 特 征 就 可 获 取 了 。 后 来 LeCun 等 人 沿 着 这 种 思 路 , 利 用 BP 算 法 设 计 并 训 练 了 CNNs 。 CNNs 作 为 深 度 学 习 框 架 是 基 于 最 小 化 预 处 理 数 据 要 求 而 产 生 的 。受 早 期 的 时 间 延 迟 神 经 网 络 影 响 , CNNs 靠 共 享 时 域 权 值 降 低复 杂 度 。 CNNs 是 利 用 空 间 关 系 减 少 参 数 数 目 以 提 高 一 般 前 向BP 训 练 的 一 种 拓 扑 结 构 , 并 在 多 个 实 验 中 获 取 了 较 好 性能 [ 6, 22] 。 在 CNNs 中 被 称 做 局 部 感 受 区 域 的 图 像 的 一 小 部 分 作 为 分 层 结 构 的 最 底 层 输 入 。 信 息 通 过 不 同 的 网 络 层 次 进 行传 递 , 因 此 在 每 一 层 能 够 获 取 对 平 移 、 缩 放 和 旋 转 不 变 的 观 测数 据 的 显 著 特 征 。

文 献 [ 6, 22] 描 述 了 CNNs 在 MNIST 数 据 库 中 的 手 写 体 识

i = 1j = 1

i = 1

j = 1

别 应 用 情 况 。 如 图 4 所 示 , 本 质 上 , 输 入 图 形 与 一 系 列 已 训 练

其 中 : wij 为 可 视 单 元 和 隐 单 元 连 接 权 值 ; bj 和 aj 是 偏 置 量 ; I 和

J 是 可 视 单 元 和 隐 单 元 的 数 目 。 条 件 概 率 如 式 ( 4) 计 算 :

p( hj = 1 | v; θ) = δ( ∑I wij vi + aj )

的 滤 波 器 系 数 进 行 卷 积 操 作 ; 后 经 加 性 偏 置 和 压 缩 、 特 征 归 一化 等 , 最 初 阶 段 伴 随 进 一 步 降 维 的 下 采 样 ( Cx ) 提 供 对 空 域 变化 的 鲁 棒 性 ; 下 采 样 特 征 映 射 经 加 权 后 的 可 调 偏 置 , 最 终 利 用

i = 1

p( vi = 1 | h; θ) = δ( ∑I wij hj + bi )

( 4)

激 活 函 数 进 行 传 递 。 组 合 多 个 上 述 映 射 层 ( 图 5) 可 获 取 层 间

关 系 和 空 域 信 息 , 这 样 CNNs 适 于 图 像 处 理 和 理 解 。 国 内 学 者

这 里 δ( x) = 1 / ( 1 + exp ( x) ) 。 相 似 地 , 对 于 高 斯 ( 可视 ) — 伯 努 利 ( 隐 ) RBM 能 量 函 数 为

E( v, h; θ) = - ∑I ∑J wij vi hj + 1 ∑I ( vi - bj ) 2 - ∑J aj hj ( 5)

夏 丁 胤 [ 23] 将 这 种 网 络 应 用 于 网 络 图 像 标 注 中 。 最 近 CNNs 已应 用 于 包 括 人 脸 检 测 、 文 件 分 析 和 语 音 检 测 等 不 同 机 器 学 习 的问 题 中 。

i = 1j = 1

对 应 的 条 件 概 率 变 成 :

2 i = 1

j = 1

( hj = 1 | v; θ) = δ( i∑= 1wij vi + aj )

( 6) Cs

Ss+1

p( vi = 1 | h; θ) = N( i∑= 1wij hj + bi , 1)

其 中 : vi 是 满 足 均 值 为 j∑= 1wij hj + bi 、 方 差 为 1 的 高 斯 分 布 的 实 数值 。 高 斯 — 伯 努 利 RBMs 可 将 实 值 随 机 变 量 转 换 到 二 进 制 随

机 变 量 , 然 后 再 进 一 步 利 用 伯 努 利 — 伯 努 利 RBMs 处 理 。 利 用对 数 似 然 概 率 log ( p( v; θ) 梯 度 可 推 导 出 RBM 的 权 值 更 新准 则 :

4 €NN ا%ª¿fi‰¼

C1 S2 C3 S4

5 §$%&fi +

文 献 [ 8] 近 期 提 出 一 新 的 深 度 学 习 算 法 。 DCN 如 图 6 所示 , 每 层 子 模 块 是 含 单 隐 层 和 两 个 可 训 练 的 加 权 层 神 经 网 络 。DCN 是 由 一 系 列 分 层 子 模 块 串 联 组 成 。 模 块 第 一 个 线 性 输 入层 对 应 输 入 特 征 维 数 , 隐 层 是 一 系 列 非 线 性 参 数 可 调 单 元 , 第二 线 性 输 出 包 含 线 性 输 出 单 元 及 原 始 输 入 数 据 , 最 顶 模 块 的 输出 代 表 分 类 目 标 单 元 。 例 如 , 如 果 DCN 设 定 用 于 实 现 数 字 识别 , 输 出 可 表 示 成 1 ~ 10 的 01 编 码 。 如 用 于 语 音 识 别 , 输 入对 应 语 音 波 形 采 样 或 波 形 提 取 特 征 ; 如 功 率 谱 或 倒 谱 系 数 , 输出 单 元 代 表 不 同 音 素 。

更多咨询请关注获取更多资料

详情 李:幺叁柒幺陆叁陆八叁伍柒

暂无回复