无监督分类模型 用途:可以用于文章分类,也可以用于关键词聚类,与WordAnalyzer,MutualinfoCluster等模块结合使用
关键词抽取类 用途:输入文章,抽取关键词
关联词团挖掘器,结合ClusterModel使用 用途1. 为关键词打上关联tag,如:沈天晴 与 佳源服务 高度关联(高管)。达达快送 与 山姆 高度关联(近期合作,具体去查查新闻) 用途2.帮助过滤关键词,为关键词提供 是否保留 的特征(即在一个词团中更容易成为一个关键词)
NMF主题模型 用途1.分析文章主题 用途2.帮助过滤关键词,为关键词提供 是否保留 的特征(属于某主题更容易成为关键词)
关联词挖掘工具 用途1.关键词高速标注,例如:已知阿里巴巴为关键词,则同类的 腾讯 字节跳动 美团优选 均为关键词 用途2.帮助过滤关键词,为关键词提供 是否保留 的特征 (相似词为关键词的,本身也更容易成为关键词)
关键词提取器 用途:根据统计信息提取文章中的词汇(公司、人名、股票名等),替代传统ner的作用
数据集加载
全局变量,路径等
数据处理、分词、计算
全局工具函数,缓存、字符处理等
见 eval_sim/ref_files/statmodels,将其copy到eval_sim/StatModels/WordMiner/gp.py 中的 SOURCE_DIR 下即可