本仓库储藏我写的BERT模型代码，我将其用在了蛋白质序列的编码上，所以文件内容也与之相匹配。若你的任务与之不同，只需更改原始词编码、分词模式、dataloader等相关内容即可。相比于Hugging face或者transformers等处的函数，模型架构以及训练过程包括数值特征的提取都是利用pytorch的api一步一步实现的，个人认为这份代码写得还是很详细的，可用于学习模型。

• utils.py: 对蛋白质序列进行预处理的函数文件，包括蛋白质的分词等。
• word2vec.py: 在我的任务中，我先把蛋白质的三联碱基对转换成了word2vec模型编码的数值特征，再将该基础编码输入到BERT中以获得新的数值特征，所以若你的任务与之不同，该文件可以直接跳过。
• BERT.py: 整个BERT模型的pytorch版本代码。
• MLM.py: 用MLM任务训练BERT模型。
• RunBERT.py: 总运行文件。
• get_emb.py: BERT模型训练完成后获得数值特征的文件。

若有任何问题也欢迎讨论，主页有我的邮箱。