基于深度学习的自然语言处理_车万翔1

preview
试读
276页
需积分: 0 4 下载量 113 浏览量 更新于2022-08-03 1 收藏 38.39MB PDF 举报
基于深度学习的自然语言处理_车万翔1
EE
－
E
辅
智能科学与技术丛书
仅
拱非商业用途或交流学习使用
作者介绍：约阿夫·戈尔德贝格（
Yoav
Goldberg)
以色列巴伊兰大
学
计
算机
科学系高级讲师，曾任
Google
Re
s
ea
「
ch
研究员
。
他于
2011
年获得本古里安大学博士
学
｛豆
。
他曾经担任
EMN
LP
、
E
AC
L
等重要国际会议领域主席，在自然语言处理
领域发表论文
50
余篇，并多次获得最佳论文以及
杰
出论文
奖。同时他也是
自
然语言处理领域顶级期
刊
《
Computationa
l
L
ingu
i
st
i
cs
》
的编辑部成员
。
他的研究万向包括面向自然语
言处理
的机 器学
习
方
法
、
结构预测
、
句法与词；去分析等
。
近
几年
，他专
注于神
经网络模型，在墓
于
深度学
习的自
然语
言处
理方法
方
面做出
了
重要贡献，同时他也是主流深度
学习
工
具包
D
y
Net
的主
要研发者之
一
。
译者介绍：辛万翔
博
士
，哈尔滨
工业大
学教授，
博士生
导师，斯坦福大学访问学
者
。
研
究方
向为自
然语言处理
。
在
CoNL
L
,
SANC
L
、
Se
m
E
va
l
等国际评
j!JW
获得过冠军
。
任
AC
L
、
CO
LI
NG
、
E
MN
L
P
等国际会议领域
王
席
。
负责研发的语言技术平台（
LTP
）
已
被
600
余家单
位共享，并授权给百度、腾
讯
、华为等公司使
用
。
曾获黑
龙江科技进步
一
等奖、技术发明
二
等奖；汉
王青 年创
新奖
一
等桨
，
钱伟长中文信患处理科学奖
等奖
项
。
20
1
7
年主
i
井的
“
P
yt
hon
语言程序设计”
课程获国家精晶在线
开
放课程称号
。
译者介绍：郭江
博 士
，
毕业于哈尔滨工业大
学社会计算
与
信息检索
研究中
心
，
就
i
卖期间
先后于美国
普林斯
顿大学以及约翰·~昔金斯大学
进行访问研究
，
现
为
美国麻省理
工
学院
计
算
机科
学
与入工智能实
验室博
士后研究员
。
研究领域主要为自然语言处理
与
机器学习
。
在人工
智能、自然语言处理等领域国际重要会议及期刊（如
ACL
、
E
MN
L
P
、
AAA
I
、
IJ
CAI,
J
A
IR
等）
上
发
表论文
10
余篇
。
制制
仅供非商业用途或交流学习使用
仅供非商业用途成
交
流
学习
使用
++
LM
A
－
－
口口
A
－－
M
-
--
U
川
4
｜｜
口
41l
口
$｜｜
几
++
h
A
｜
｜
口
Al
－－
口
A
－
－
M
J
++
J
a
）朴素丢弃卧刑
•••
•••
•••
b
）变分
阳刑
图
15.
2
Gal
提出的用于
卧刑
的丢弃机制（
b
）与之前由
Ph
a
m
等
［
2013
］
和
Za
r
emba
等［
2014 ]
提出的方法（
a
）的对比
。
图来自
Gal
[
2015
］
，已经得到了授权
。
每一个方格代表
一
个
时制
单元，横
向
箭头代表时间依赖关系（循环连接）
。
垂直的箭头代表每个
RNN
单元
的输入和输出
。
彩色的连接代表丢弃的输
出
，不同的颜色代表了不
同的
丢弃掩码
。
Effi
线
代
表没有丢弃的标准连接
。
之前的技术（朴素丢弃，左）在不同的时间片使用了不同
的掩码，循环层上没有使用丢弃
。
Ga
l
提出的技术（ 变
分
RNN
，
右）在包括循环层在内
的每一个时间片使用了相同的丢弃掩码
DET
ADJ
X
rh
e
X
brown
a
）
词
性标注网络
B-NP I-NP
xrhe X
brown
b
）
组块标注网络
Xfo
x
Xjump
ed
X
ov
er
VB
Xfox
Xjumped
Xove
r
B-VP
B-PP
图
2
0.3
词性标注网络与组块标注网络
制制
仅供非商业剧途或
交
流学习使用
仅供非商业用途或
交 流学
习使闸
DET
BNP
I-NP
NN
I-NP
VB
B-
VP
IN
B-PP
x
出
E
xb
rown
x fox
x
jumped
x
over
阁
20.4
一
个词性标
注与组块分
析的联
合
网
络
。
biRNN
的
参数
由两个任务共享，且
biRNN
组 件
也
是
为两
者
共同设计的
。
最终预
测 层
是任
务 独 立
的
B-NP I-NP
I
NP
B-
VP
B-PP
x
the
xbrown
xfox
xj
umped
x
over
罔
2
0
.5
一
个选择性共
亭
的同性标注与组块分析网络
。
bi
肘例中
较低的层
由两个任
务所共
享
，
而较高的层则只用于组块分析
制
W
叫
仅供非商业用途或交流
学习
使用

剩余275页未读，继续阅读

身份认证 购VIP最低享 7 折!
30元优惠券
资源推荐
资源评论
練心
  • 粉丝: 27
  • 资源: 305
上传资源 快速赚钱
voice
center-task 前往需求广场，查看用户热搜

最新资源