技术标签: tensorflow nlp rnn 深度学习
tf.nn.bidirectional_dynamic_rnn(
cell_fw,
cell_bw,
inputs,
sequence_length=None,
initial_state_fw=None,
initial_state_bw=None,
dtype=None,
parallel_iterations=None,
swap_memory=False,
time_major=False,
scope=None
)
一个(outputs,output_states)元组,其中:
思想: 利用最后一层的输出(因为最后一层融合了所有的信息) 跟每一层进行相乘得出attention权重,然后利用权重把每一步的结果都加起来得到最终的一个结果
import tensorflow as tf
import numpy as np
tf.reset_default_graph()
# Bi-LSTM(Attention) Parameters
embedding_dim = 2
n_hidden = 5 # number of hidden units in one cell
# 3 words sentences (=sequence_length is 3)
sentences = ["i love you", "he loves me", "she likes baseball", "i hate you", "sorry for that", "this is awful"]
word_list = " ".join(sentences).split()
word_list = list(set(word_list))
word_dict = {
w: i for i, w in enumerate(word_list)}
vocab_size = len(word_dict)
input_batch = []
for sen in sentences:
input_batch.append(np.asarray([word_dict[n] for n in sen.split()]))
target_batch = []
for out in labels:
target_batch.append(np.eye(n_class)[out]) # ONE-HOT : To using Tensor Softmax Loss function
# LSTM Model
X = tf.placeholder(tf.int32, [None, n_step])
Y = tf.placeholder(tf.int32, [None, n_class])
out = tf.Variable(tf.random_normal([n_hidden * 2, n_class]))
embedding = tf.Variable(tf.random_uniform([vocab_size, embedding_dim]))
input = tf.nn.embedding_lookup(embedding, X) # [batch_size, len_seq3, embedding_dim2]
lstm_fw_cell = tf.nn.rnn_cell.LSTMCell(n_hidden) # 5
lstm_bw_cell = tf.nn.rnn_cell.LSTMCell(n_hidden)
# output : [batch_size, len_seq, n_hidden], states : [batch_size, n_hidden]
output, final_state = tf.nn.bidirectional_dynamic_rnn(lstm_fw_cell,lstm_bw_cell, input, dtype=tf.float32)
# Attention
# Training
with tf.Session() as sess:
init = tf.global_variables_initializer()
sess.run(init)
#print(input_batch.shape)
output, final_state = sess.run([output, final_state], feed_dict={
X: input_batch, Y: target_batch})
#print(output.shape())
print("output_fw-----------------------")
print(output[0])
print("output_bw-----------------------")
print(output[1])
print("=-----------------*****************************************------------------=")
print("output_fw_C-----------------------")
print(final_state[0][0])
print("output_fw_H-----------------------")
print(final_state[0][1])
print("output_bw_C-----------------------")
print(final_state[1][0])
print("output_bw_H-----------------------")
print(final_state[1][1])
#结果
output_fw-----------------------
[[[ 0.00394321 -0.02351782 -0.03405523 0.00305696 0.00405202]
[ 0.06117373 -0.08493181 -0.10548183 0.0173593 0.01642234]
[ 0.09302159 -0.14045352 -0.18056425 0.02292664 0.02151979]]
[[ 0.00897689 -0.0114818 -0.01073236 0.0026193 0.00251714]
[-0.01570433 -0.01093796 -0.02816775 -0.00127712 0.00047153]
[ 0.03564881 -0.08152001 -0.12945394 0.01309824 0.01412579]]
[[ 0.0022017 -0.0556691 -0.09676469 0.00533017 0.00813764]
[-0.02163241 -0.03916193 -0.09379555 0.00117761 0.0033054 ]
[-0.02534943 -0.03482693 -0.09665176 0.00129206 0.00241509]]
[[ 0.00394321 -0.02351782 -0.03405523 0.00305696 0.00405202]
[ 0.0251001 -0.04374754 -0.05323521 0.00777274 0.00770803]
[ 0.06088063 -0.10670137 -0.14363492 0.01596653 0.01687609]]
[[-0.02074501 -0.03782491 -0.08010133 0.00106625 0.0042809 ]
[-0.02030762 -0.02580994 -0.06796815 0.00064477 0.00200086]
[ 0.01159763 -0.09142994 -0.1786155 0.01095188 0.01238727]]
[[ 0.03423732 -0.04540066 -0.0511797 0.0099178 0.00961432]
[ 0.03746802 -0.09071141 -0.12944394 0.01133813 0.0131082 ]
[ 0.04090166 -0.07015887 -0.0894173 0.00954981 0.00913159]]]
output_bw-----------------------
[[[ 0.02337044 0.12136219 0.05673089 -0.01224817 0.0593852 ]
[ 0.01874987 0.09703043 0.0713386 -0.05112801 0.09921131]
[ 0.03311865 0.06603951 0.02200164 -0.0013612 0.04199017]]
[[ 0.04622315 0.08167503 -0.02331962 0.02814881 -0.01469414]
[ 0.06475978 0.1021239 -0.02712514 0.05594093 -0.01951348]
[ 0.02701424 0.06634663 0.03368881 -0.01682826 0.05579737]]
[[ 0.17932206 0.11006899 -0.17011283 0.17438392 -0.14428209]
[ 0.13817243 0.08259486 -0.13932668 0.15030426 -0.13008778]
[ 0.06183491 0.04734965 -0.05742453 0.07186026 -0.05271984]]
[[ 0.03479569 0.09810638 0.01812333 0.01501928 0.02510414]
[ 0.02493659 0.08395203 0.03107387 -0.00838013 0.04572592]
[ 0.03311865 0.06603951 0.02200164 -0.0013612 0.04199017]]
[[ 0.16409379 0.1282753 -0.13091424 0.17192362 -0.10831039]
[ 0.09441089 0.10732475 -0.05974932 0.08499315 -0.04574324]
[ 0.06810828 0.07835089 -0.01157835 0.05307872 0.00895631]]
[[ 0.0615179 0.09249893 -0.00614712 0.01541615 0.02442793]
[ 0.07529346 0.07565043 -0.03864583 0.07073426 -0.02094099]
[ 0.01069495 0.01040417 -0.01082753 0.01262293 -0.00998173]]]
=-----------------*****************************************------------------=
output_fw_C-----------------------
[[ 0.18077272 -0.25065544 -0.2970943 0.05401518 0.04332165]
[ 0.0666052 -0.14184129 -0.21055089 0.03050351 0.02707803]
[-0.04982244 -0.06662414 -0.17368984 0.00284229 0.00523079]
[ 0.11556551 -0.18880183 -0.23572075 0.03740995 0.03326564]
[ 0.0214364 -0.15807846 -0.28311607 0.0270236 0.02515054]
[ 0.08471472 -0.13929133 -0.17238948 0.01954564 0.01927523]]
output_fw_H-----------------------
[[ 0.09302159 -0.14045352 -0.18056425 0.02292664 0.02151979]
[ 0.03564881 -0.08152001 -0.12945394 0.01309824 0.01412579]
[-0.02534943 -0.03482693 -0.09665176 0.00129206 0.00241509]
[ 0.06088063 -0.10670137 -0.14363492 0.01596653 0.01687609]
[ 0.01159763 -0.09142994 -0.1786155 0.01095188 0.01238727]
[ 0.04090166 -0.07015887 -0.0894173 0.00954981 0.00913159]]
output_bw_C-----------------------
[[ 0.04923753 0.29065222 0.10612877 -0.02204721 0.12080507]
[ 0.09414361 0.17565773 -0.04700623 0.05542824 -0.02873464]
[ 0.3784477 0.3159748 -0.2940823 0.28821698 -0.27351445]
[ 0.07218795 0.23126517 0.03378158 0.02722929 0.05014303]
[ 0.32902873 0.36530167 -0.22143884 0.27972797 -0.21702379]
[ 0.13681822 0.22507632 -0.01161141 0.02861859 0.04536273]]
output_bw_H-----------------------
[[ 0.02337044 0.12136219 0.05673089 -0.01224817 0.0593852 ]
[ 0.04622315 0.08167503 -0.02331962 0.02814881 -0.01469414]
[ 0.17932206 0.11006899 -0.17011283 0.17438392 -0.14428209]
[ 0.03479569 0.09810638 0.01812333 0.01501928 0.02510414]
[ 0.16409379 0.1282753 -0.13091424 0.17192362 -0.10831039]
[ 0.0615179 0.09249893 -0.00614712 0.01541615 0.02442793]]
文章浏览阅读2.6k次。解决Python词云库wordcloud不显示中文的问题2018-11-25背景:wordcloud是基于Python开发的词云生成库,功能强大使用简单。github地址:https://github.com/amueller/word_cloudwordcloud默认是不支持显示中文的,中文会被显示成方框。安装:安装命令:pip install wordcloud解决:经过测试发现不支持显示中文..._词云python代码无法输出文字
文章浏览阅读807次。扩展。_jmap 在线分析
文章浏览阅读1.1w次。随着炎热夏季的到来,当玩游戏正爽的时候,电脑突然死机了,自动关机了,是不是有想给主机一脚的冲动呢?这个很大的原因是因为CPU温度过高导致的。很多新手玩家可能都有一个疑虑,cpu温度多少以下正常?有些说是60,有些说是70,到底多高CPU温度不会死机呢?首先我们先看看如何查看CPU的温度。下载鲁大师并安装,运行鲁大师软件,即可进入软件界面,并点击温度管理,即可看到电脑各个硬件的温度。鲁大师一般情况下..._台式机玩游戏温度多少正常
文章浏览阅读243次。Day2-打印打印打印!我终于更新了!(哭腔)一、 最简单的打印最最简单的打印语句: print(“打印内容”)注意:python是全英的,符号记得是半角下面是我写的例子:然后进入power shell ,注意:你需要使用cd来进入你保存的例子的文件夹,保存时名字应该取为xxx.py我终于知道为什么文件夹取名都建议取英文了,因为进入的时候是真的很麻烦!如果你没有进入正确的文件夹..._puthon打印任务收获
文章浏览阅读1k次。centos8问题参考CentOS 8 EOL如何切换源? - 云服务器 ECS - 阿里云_"cenerrors during download metadata for repository \"appstream"
文章浏览阅读2.7k次,点赞3次,收藏11次。SpringBoot+Maven+MabatisPlusmaven在新建springboot项目引入RELEASE版本出错maven在新建springboot项目引入RELEASE版本出错maven详解maven就是通过pom.xml中的配置,就能够从仓库获取到想要的jar包。仓库分为:本地仓库、第三方仓库(私服)、中央仓库springframework.boot:spring-boot-starter-parent:2.2.1.RELEASE’ not found若出现jar包下载不了只有两_基于微服务的在线教育平台尚硅谷
文章浏览阅读316次。路由的概念路由器它称之为网关设备。路由器就是用于连接不同网络的设备路由器是位于OSI模型的第三层。路由器通过路由决定数据的转发。网关的背景:当时每家计算机厂商,用于交换数据的通信程序(协议)和数据描述格式各不相同。因此,就把用于相互转换这些协议和格式的计算机称为网关。路由器与三层交换器的对比路由协议对比路由器的作用:1.路由寻址2.实现不同网络之间相连的功能3.通过路由决定数据的转发,转发策略称为 路由选择。VLAN相关技术什么是VLAN?中文名称叫:虚拟局域网。虚_路由和vlan
文章浏览阅读2.8w次,点赞6次,收藏22次。设置div背景颜色透明度,内部元素不透明:.demo{ background-color:rgba(255,255,255,0.15) } 错误方式:.demo{ background-color:#5CACEE;opacity:0.75;} 这样会导致div里面的元素内容和背景颜色一起变透明只针对谷歌浏览器的测试_div设置透明度,里面的内容不透明
文章浏览阅读563次。1.[ u]文字:在文字的位置可以任意加入您需要的字符,显示为下划线效果。2.[ align=center]文字:在文字的位置可以任意加入您需要的字符,center位置center表示居中,left表示居左,right表示居右。5.[ color=red]文字:输入您的颜色代码,在标签的中间插入文字可以实现文字颜色改变。6.[ SIZE=数字]文字:输入您的字体大小,在标签的中间插入文..._discuzcode 大全
文章浏览阅读2.6k次。iOS中定时器有三种,分别是NSTimer、CADisplayLink、dispatch_source,下面就分别对这三种计时器进行说明。一、NSTimerNSTimer这种定时器用的比较多,但是特别需要注意释放问题,如果处理不好很容易引起循环引用问题,造成内存泄漏。1.1 NSTimer的创建NSTimer有两种创建方法。方法一:这种方法虽然创建了NSTimer,但是定时器却没有起作用。这种方式创建的NSTimer,需要加入到NSRunLoop中,有NSRunLoop的驱动才会让定时器跑起来。_ios nstimer
文章浏览阅读4.8k次,点赞17次,收藏51次。Linux的命令有几百个,对程序员来说,常用的并不多,考虑各位是初学者,先学习本章节前15个命令就可以了,其它的命令以后用到的时候再学习。1、开机 物理机服务器,按下电源开关,就像windows开机一样。 在VMware中点击“开启此虚拟机”。2、登录 启动完成后,输入用户名和密码,一般情况下,不要用root用户..._ls-lmore
文章浏览阅读4.1k次。1.登录MYSQL系统命令打开DOS命令框shengfen,以管理员的身份运行命令1:mysql -u usernae -p password命令2:mysql -u username -p password -h 需要连接的mysql主机名(localhost本地主机名)或是mysql的ip地址(默认为:127.0.0.1)-P 端口号(默认:3306端口)使用其中任意一个就OK,输入命令后DOS命令框得到mysql>就说明已经进入了mysql系统2. 查看mysql当中的._mysql -u user