使用tfrecord构建数据集2021-05-05算法约 6380 字 预计阅读 13 分钟背景 最近在打比赛,听说tfrecord的格式可以以二进制的方式高效存储数据,并利用protobuf协议读取数据,所以就想着把训练代码改成tf阅读更多
获取模型的中间层输出2021-04-29算法约 139 字 预计阅读 1 分钟背景 最近在疯狂搭模型,突然有人来问我要我模型的中间层输出的embedding,于是,我就研究了一下怎么获取模型的中间层输出。 代码实现 1 2 3 4阅读更多
将类别特征通过Embedding层映射并进行拼接2021-04-28算法约 513 字 预计阅读 2 分钟背景 最近有一道题,想把类别特征也放到模型里去,跟bert输出拼接到一起。 所以便设计了,使用Embedding层,将类别特征的词表映射到X维向阅读更多
用自定义损失函数实现选择启用不同子网络2021-03-31算法约 6073 字 预计阅读 13 分钟背景 最近发现有一道题,还挺有意思的。题目大意是,每条训练样本是一个文章对,labelA标签标识这两篇文章相似,labelB标签标识这两篇文章阅读更多
用transformers实现多输出、参数共享的bert模型2021-03-27算法约 7887 字 预计阅读 16 分钟背景 在nlp领域,预训练模型bert可谓是红得发紫。 但现在能搜到的大多数都是pytorch写的框架,而且大多都是单输出模型。 所以,本文以 有相阅读更多