|
- vllm内部怎么根据max_model_len自动计算max_num_batched_tokens？
4 内存使用效率：模型需要在保证性能的同时，尽量减少内存的使用。 max_num_batched_tokens 的计算可能不是简单的数学公式，而是模型内部通过一系列测试和评估来确定的最佳值。 这个值可能会根据模型的版本、硬件配置和使用场景有所不同。
- NLP领域中的token和tokenization到底指的是什么？ - 知乎
Tokenizer是将文本切分成多个tokens的工具或算法。 它负责将原始文本分割成tokens 序列。 在NLP中，有多种不同类型的tokenizer，每种tokenizer都有其特定的应用场景和适用范围。 基于字符的Tokenizer：将文本按照字符分割成token，适用于处理中文等没有空格分隔的语言。
- 在中文 NLP 等论文中，应该如何翻译 token 这个词？ - 知乎
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
- Deekseek r1本地部署，14b和32b最小需要多大显存吗？ - 知乎
如题，本地部署的话，14b的用16g显存显卡能用gpu跑吗，32b的用32g显存显卡能用gpu跑吗？我看到过有篇文章…
- 大模型训练的性能指标：吞吐率 Throughput 是指什么？ - 知乎
每秒处理的Token数： Throughput_ {tokens} = Throughput_ {samples} * seq\_len \\ 假设GLM10B网络模型使用DGX A100（8x 80GB）训练的吞吐量为25 samples s，max seq_len为1024，那么按照tokens来计算吞吐量为 25 * 1024 = 25600 tokens s，也就是每秒能处理2万多个tokens。 单卡吞吐量为 3200 token s p
- 视觉Transformer中的token具体指什么，如何理解？ - 知乎
个人觉得，token可能比较类似于patch，我们一般所说的patch就是由一组像素构成的，就是图像中的一个小区域或者一个小片段，patch是由patch embedding 将图像分成固定大小的patch，并将每一个patch嵌入到低维向量中。token也可以由patch embedding得到（你可以去看看 2022年 CVPR的MixFormer），但是token貌似比patch要
- o1、GPT4、GPT4o 这三个有什么区别？ - 知乎
GPT-4已经无了。 GPT omni，模态全能者 GPT-4o，o代表着omni (全能)，体现了OpenAI将大部分模态，统一在Transform框架下，激发模型进行全模态思考的野心。 比如S2S，比传统的TTS，多了声波的维度，你可以从声波的频率中解读出额外的信息。还有图片识别，在统一框架下的图片识别，可以更有机地调用主模型
- 为什么gpt模型输入的token最大数量被限制在几万，是有技术问题吗？ - 知乎
目前为止，StreamingLLM不需要做训练，把initial tokens数目设置为4就可以获得不错的长输入下的推理表现了。 如过我们接解除不能训练模型限制，可以通过Pre-training LLMs with attention sinks获得更好的表现。
|
|
|