【论文阅读】2023 MTS-Mixers-程序员宅基地

技术标签: 论文阅读  机器学习  深度学习  自然语言处理  时序预测  

2023,华为 

1. 简介

由于擅长捕获了长期依赖性,基于Transformer的模型最近取了很多进展,也是研究的热点。但是作者发现Attention机制有以下问题(1)对于捕获时间相关,注意力机制性不是必需的(2)时间和channel的交互作用的捕获中的纠缠和冗余影响了预测性能,(3)对输入和预测序列之间的映射进行建模很重要。为此,我们提出了MTS混合器,它使用两个因子化模块来捕获时间和信道相关性。在多个真实数据集上的实验结果表明,MTS Mixer以更高的效率优于现有的基Transformer的模型。

如下图所示,多元时间序列无论是在temporal维度还是channel维度,都存在比较强的冗余性。这些冗余性都表明,大多数多元时间序列都存在低秩性,即只用一小部分数据就可以表示出近似完整的原始矩阵。利用这个性质,可以简化多多元时间序列的建模。

                          

 

2. MTS-Mixer模型

MTS-Mixer的模型结构如下,第二列是一个抽象结构,后面3列是具体的实现方法

这三种实现方式的整体计算逻辑可以表示为如下形式,时间维度信息提取+空间维度信息提取+信息融合和输出映射


Attention-based MTS-Mixer

Random matrix MTS-Mixer

Factorized temporal and channel mixing

 

 

3. 实验结果

论文对比了MTS-Mixer和多种模型的效果,基本都达到了SOTA效果

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/mataolc/article/details/129232940

智能推荐

Fork-Join及Phaser-程序员宅基地

文章浏览阅读109次。为什么80%的码农都做不了架构师?>>> ..._phaser和forkjoinpool

MySQL主键和外键详解:定义和使用方法-程序员宅基地

文章浏览阅读245次。MySQL数据库的主键和外键详解主键主键的定义主键:表中经常有一个列或多列的组合,其值能唯一地标识表中的每一行。这样的一列或多列称为表的主键,通过它可强制表的实体完整性。当创建或更改表时可通过定义 PRIMARY KEY 约束来创建主键。一个表只能有一个 PRIMARY KEY 约束,而且 PRIMARY KEY 约束中的列不能接受空值。由于 PRIMARY KEY 约束确保唯一数据,所以经常用来..._主键 外键 公共维度

UE4_常见动画节点学习_Two Bone IK双骨骼IK-程序员宅基地

文章浏览阅读889次,点赞20次,收藏9次。关节目标位置空间设为BCSBoneSpace时,用作关节目标位置的骨骼命名。执行器位置空间设为BCSBoneSpace时,用作执行器位置的骨骼命名。要应用IK解算器的骨骼命名。启用时,执行器(组件、父或骨骼)的旋转将应用到IK骨骼。肢体最大长度的比率,用于决定缩放骨骼的时间。在关节目标位置空间中指定位置关节目标的向量。XYZ组件在目标骨骼上的平移。XYZ组件在目标骨骼上的旋转。XYZ组件在目标骨骼上的缩放。XYZ组件在目标骨骼上的平移。XYZ组件在目标骨骼上的旋转。XYZ组件在目标骨骼上的缩放。

百练 4102 宠物小精灵之收服 【二维费用01背包】_宠物小精灵之收服 百练-程序员宅基地

文章浏览阅读1.2k次。传送门 // 题意: 有k个怪物, 告诉每个怪物捕捉它需要的精灵球和皮卡丘收到的伤害, 给定精灵球的一共的数量和皮卡丘总的体力值, 问最多可以捕捉到多少个怪物, 然后如果能捕捉到的怪物相同则要消耗的体力值尽量的小….思路: 很明显的二维背包费用的题, 加了一维费用那么dp数组同时加一维即可……捡起一个物品所需要付出两种代价, 所以dp[i][u][v] 代表捕捉前i个怪物用掉精灵球u个, 体..._宠物小精灵之收服 百练

stm32中断服务函数c语言,STM32中断数据回调函数接收处理-程序员宅基地

文章浏览阅读2k次。1.定义一个空的指针函数 指针函数的参数是uint8_t 类型chtypedef void (* usart_recv_callback)(uint8_t ch);2.声明这个类型usart_recv_callback usart1_recv_cb;3.串口配置时,一个形参为串口中断接收回调void Usart_Config(USART_TypeDef* USARTx, uint32_t bau..._stm32回调函数和中断服务函数

对比文件,生成类似github diff对比报告_github文件对比-程序员宅基地

文章浏览阅读794次。对比文件,生成github diff报告_github文件对比

随便推点

将眼动追踪加入Vive头显,Tobii Pro推出VR研究工具-程序员宅基地

文章浏览阅读668次。这款VR研究工具可以用于心理学、消费者行为和人类表现等方面,是低成本、高效率的解决方案。 最近,Tobii Pro推出一款新的研究工具,可用于沉浸式VR研究。这种沉浸式VR研究与传统的研究方式大相径庭,可广泛应用于各类研究。据了解,Tobii Pro VR集成方案基于Tobii的眼动追踪技术和HTC Vive头显,并结..._vive unity vr 眼动数据

软件开发常用名词中英文对照-程序员宅基地

文章浏览阅读543次。  abort 中止  abstract class 抽象类  accelerator 快捷键  accelerator mapping 快捷键映射  accelerator table 快捷键对应表  access modifier 访问修饰符  Access Pack 访问包  access specifier 访问说明符  access violation 访问冲突  accessibili..._implementation 开发人员 setup

2022 届大四学长实习心得、职场经验分享、转型思考_学长实习经验分享-程序员宅基地

文章浏览阅读9.2w次,点赞108次,收藏95次。一位大四学长的实习体验,职场建议,经验分享,转型思考。_学长实习经验分享

单片机编程语言——C语言(1)-程序员宅基地

文章浏览阅读2.3k次。C语言结构注释变量定义与赋值数据类型强制转换前言:我们都知道单片机要对其写指令、编程等就需要一种编程语言。在众多的编程语言中不可否认的是c语言是最适合成为单片机的编程语言的。我们在这里分享一下c语言的知识点。结构一般来说c语言的结构,一般都是包括若干个头文件(以#include" xxx ")和函数组合而成的。例:#include "stdio.h"int main(void){ printf("hello wold"); return 0;}在这里我们看到有两部分#include_单片机编程

Linux 网络命令知多少-程序员宅基地

文章浏览阅读326次。在一片漆黑的界面下,我们该如何查看和配置系统网卡、IP地址、路由等信息呢?最传统基本的网络命令,几乎所有旧的发行版都支持的配置命令:ifconfig查看系统的所有网卡及IP配置信息:ifconfig禁用网卡:ifconfig eth0 down,启用网卡:ifconfig eth0 up为网卡配置IP地址:ifconfig eth0 192.168.1.56 netmask 255.255.255.0Ifconfig命令的替代者,最新版本的linux发行版都支持:查看系统的所有...

论文笔记 | 语义解析相关论文_a syntactic neural model for general-purpose code -程序员宅基地

文章浏览阅读1.7k次。文章目录1. Language to Logical Form with Neural Attention2. Abstract Syntax Networks for Code Generation and Semantic Parsing3. A Syntactic Neural Model for General-Purpose Code Generation4. Tree-structured Decoding with Doubly-recurrent Neural Network5. Seman_a syntactic neural model for general-purpose code generation,