Transformer 是由谷歌于 2017 年在 Attention Is All You Need 中首次提出。Transformer的提出在很大程度上改变了自然语言处理领域的局面，取代了传统的循环神经网络和卷积神经网络在语言模型、机器翻译等任务中的地位。
Transformers是一个开源的自然语言处理（NLP）库，由Hugging Face开发和维护。它基于Transformer架构，提供了各种预训练模型和工具，用于解决各种NLP任务，如文本分类、问答、命名实体识别等。
在学习的过程中，本站整理记录了一些机器学习相关的内容和文章，但看起来稍显杂乱，故此专门以机器学习的基本流程为主线，制作了本站机器学习相关的内容进行导航跳转。（持续更新）
样本不平衡问题是在生产过程中普遍存在的问题，在很多场景中样本的比例极度失衡，如果不进行处理，那么模型最终的效果可能不尽如人意。本篇收集整理了常用的样本平衡手段和方法。
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。所以机器学习的大部分时间都是在处理数据的过程中，掌握好特征工程的思路和方法，有更高的概率能获得高质量数据。
异常值可能是在数据采集、数据记录、数据提取等步骤中产生的，异常值的出现会对模型学习进行干扰，所以需要进行特殊处理。而在实际的生产环境中的异常值更是五花八门。
根据原数据构建了67个特征，尝试了多种算法和多次参数调优最终得分0.6925，记录过程分享一下。感觉数据指标还可以再优化，调参也还有进步空间，可以进一步优化提升。
