预训练语料的清洗决定模型的上限,而这门手艺没有神奇的单一算法——它是一条流水线:语言识别、启发式过滤、精确去重、模糊去重、质量分级。这篇文章实现每一级的核心算法,并指出各级的失效模式与调参依据。 一、