|
- 如何评价RoBERTa? - 知乎
roberta 是bert 的一个完善版，相对于模型架构之类的都没有改变，改变的只是三个方面： 预训练数据： BERT采用了BOOKCORPUS 和英文维基百科， 总共16GB。 而 RoBERTa采用了BOOKCORPUS + 英文维基百科+ CC-NEWS+OPENWEBTEXT+STORIES， 总共160GB。
- [读论文] RoBERTa: 健壮优化的 BERT 预训练方法 - 知乎
论文题目：RoBERTa: A Robustly Optimized BERT Pretraining Approach 作者单位：华盛顿大学保罗·艾伦计算机科学与工程学院，FaceBook AI 这篇文章是 BERT 系列模型和 XLNet 模型的又一次交锋，是 FaceBook 与 Go…
- “追星”Transformer（七）：RoBERTa——“鲁棒版BERT”
RoBERTa认为BERT的符号化粒度还是过大，无法克服很多稀有词汇容易产生“OOV”的问题。 为了解决上述问题，RoBERTa借鉴了GPT-2 0的做法，使用力度更小的 字节级BPE （byte-level BPE）进行输入的符号化表示和词典构造，从而词典的规模增加至大约5万。
- 请问 HuggingFace 的 roberta 的 pooler_output 是怎么来 . . . - 知乎
junnyu 学生 关注 结论：你的理解是错误的，roberta删除了NSP任务，huggingface添加这个pooler output应该是为了方便下游的句子级别的文本分类任务。 pooler output是取[CLS]标记处对应的向量后面接个全连接再接tanh激活后的输出。
- BERT and RoBERTa 知识点整理有哪些？ - 知乎
可以看一下，我之前整理的一份预训练语言模型总结，不仅仅包含BERT和RoBERTa，还有Nezha、MacBERT、SpanBERT、ERNIE等等，具体如下：
- 知乎盐选 | 基于 RoBERTa-BiLSTM-CRF 的简历实体识别
2 理论方法 本文建立了 RoBERTa-BiLSTM-CRF 模型，该模型是端到端的语言模型，能够较好地捕捉文本中存在的语法和语义特征，并且能够自动理解上下文的关联性。 模型主要由三个模块构成，分别是 RoBERTa 模块、BiLSTM 模块和 CRF 模块，各层的功能和原理如图 1 所示。
- 如何评价ModelScope，较hugging face如何？ - 知乎
最近魔搭社区 ModelScope 在知乎挺火啊，前两天刚看到开了个讨论ModelScope怎么样，今天就又看到这个话题。作为深度试用过这个社区的用户，我先抛出个人的一个结论，ModelScope确实和hugging face有一些相似之处，但确实更适合中国的开发者，特别是刚刚接触AI的一些开发者。感受到的几点不同之处： 一
- Roberta为什么不需要token_type_ids? - 知乎
RoBERTa中去掉了NSP任务，使用Full-Sentence作为segment当着输入，只有segment跨文档时才会在文档间加入 [SEP]，由于去掉了NSP任务，无需区分输入的不同的segment，所以，也就不需要用token-type-ids来标识segment了； token-type-ids相当于是不同segment的tags，两个segment分别对应了0和1，主要是区分前后两段的segment，被
|
|
|