|
- 稀疏（sparse）在机器学习中很重要吗？为什么？ - 知乎
sparse 代表数据为0，sparse数据的存在让不为0的dense数据聚集在一起； 因为存在数据聚集效应，所以才能学到特征和规律； 如果数据维度很高，噪音很多，原本为0的位置，占比会越来越少，稀疏区域在消失； 对应的dense数据的聚集效应减弱，因为看上去全是数据，看不见产生聚集效应的稀疏隔离区域
- 通俗理解，Sparse Attention是什么原理？ - 知乎
Sparse Attention（稀疏注意力）正是为了解决这一问题而提出的一种优化方法。它通过在计算时仅关注部分重要的输入元素，从而大大减少了计算和存储的开销。 Attention机制简介 在了解Sparse Attention之前，先简要回顾一下标准的Attention机制是如何工作的。
- 如何看待Native Sparse Attention？ - 知乎
Sparse-Tuning 题目：Sparse-Tuning: Adapting Vision Transformers with Efficient Fine-tuning and Inference 名称：稀疏调优：通过高效的微调和推理来调整视觉变换器
- 1. Sparse Transformer 提出背景 - 知乎
Sparse Transformer 的提出动机是基于一个在 CIFAR-10 数据集上，使用一个 128 层 Self-Attention 模型，对注意力模式可视化后得到的。 如图 1 到图 4 所示，它是一个基于自回归的图像生成模型，图中白色区域是注意力机制的高权值位置，黑色区域是被 mask 掉的像素。
- 深度学习中的sparse和dense模型指的是什么？ - 知乎
在Sparse双塔模型中，稀疏特征通常通过one-hot编码或者稀疏表示（如TF-IDF）来处理。这种表示方式会为每个可能的值创建一个维度，即使某些值在实际数据中从未出现过。 Sparse双塔模型在处理稀疏特征时，可能会面临维度灾难，因为特征空间可能会非常大。
- 什么是稀疏特征(Sparse Features)? - 知乎
如果你想知道为什么sparse feature在某些应用里面表现很好，可以参考： 为什么sparse representation比起其它成分分析方法（DFT，Wavelet）能得到更好的效果？ - Bihan Wen 的回答 如果你想知道sparse的意义何在，可以参考： 稀疏表达的意义在于？
- 如何看待OpenAI发布的Sparse Autoencoder? - 知乎
Sparse Autoencoder虽然强大，但同样存在局限性。 首先，由于其加入了稀疏性约束，模型的训练过程可能会变得更加复杂，需要更多的调试和优化。 其次，Sparse Autoencoder的效果也受到数据质量和数量的影响，如何获取高质量、大量的数据仍然是一个需要解决的问题。
- 请问机器学习中的稀疏先验（sparse prior）是什么？ - 知乎
sparse prior是指在机器学习中，使用一个概率分布来描述参数的分布，其中大多数参数的值都是零或接近零。 这个概念出自于2006年的论文《Sparse Bayesian Learning and the Relevance Vector Machine》，该论文提出了一种基于稀疏先验的机器学习算法，即关联向量机（Relevance Vector Machine）。
|
|
|