基于机器学习与深度学习不同算法(crf_HMM_gru_Transformer等)的中文分词实现python源码+说明.zip

{'text': ['“', '人', '们', '常', '说', '生', '活', '是', '一', '部', '教', '科', '书', '，', '而', '血', '与', '火', '的', '战', '争', '更', '是', '不', '可', '多', '得', '的', '教', '科', '书', '，', '她', '确', '实', '是', '名', '副', '其', '实', '的', '‘', '我', '的', '大', '学', '’', '。'], 'label': ['S', 'B', 'E', 'S', 'S', 'B', 'E', 'S', 'S', 'S', 'B', 'M', 'E', 'S', 'S', 'S', 'S', 'S', 'S', 'B', 'E', 'S', 'S', 'B', 'M', 'M', 'E', 'S', 'B', 'M', 'E', 'S', 'S', 'B', 'E', 'S', 'B', 'M', 'M', 'E', 'S', 'S', 'S', 'S', 'B', 'E', 'S', 'S']} {'text': ['“', '心', '静', '渐', '知', '春', '似', '海', '，', '花', '深', '每', '觉', '影', '生', '香', '。'], 'label': ['S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S']} {'text': ['“', '吃', '屎', '的', '东', '西', '，', '连', '一', '捆', '麦', '也', '铡', '不', '动', '呀', '？'], 'label': ['S', 'S', 'S', 'S', 'B', 'E', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S']} {'text': ['他', '“', '严', '格', '要', '求', '自', '己', '，', '从', '一', '个', '科', '举', '出', '身', '的', '进', '士', '成', '为', '一', '个', '伟', '大', '的', '民', '主', '主', '义', '者', '，', '进', '而', '成', '为', '一', '位', '杰', '出', '的', '党', '外', '共', '产', '主', '义', '战', '士', '，', '献', '身', '于', '崇', '高', '的', '共', '产', '主', '义', '事', '业', '。'], 'label': ['S', 'S', 'B', 'M', 'M', 'E', 'B', 'E', 'S', 'S', 'B', 'E', 'B', 'E', 'B', 'E', 'S', 'B', 'E', 'B', 'E', 'B', 'E', 'B', 'E', 'S', 'B', 'M', 'M', 'E', 'S', 'S', 'B', 'E', 'B', 'E', 'S', 'S', 'B', 'E', 'S', 'B', 'E', 'B', 'M', 'M', 'E', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'M', 'M', 'E', 'B', 'E', 'S']} {'text': ['“', '征', '而', '未', '用', '的', '耕', '地', '和', '有', '收', '益', '的', '土', '地', '，', '不', '准', '荒', '芜', '。'], 'label': ['S', 'S', 'S', 'S', 'S', 'S', 'B', 'E', 'S', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'B', 'E', 'S']} {'text': ['“', '这', '首', '先', '是', '个', '民', '族', '问', '题', '，', '民', '族', '的', '感', '情', '问', '题', '。'], 'label': ['S', 'S', 'B', 'E', 'S', 'S', 'B', 'E', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'B', 'E', 'S']} {'text': ['’', '我', '扔', '了', '两', '颗', '手', '榴', '弹', '，', '他', '一', '下', '子', '出', '溜', '下', '去', '。'], 'label': ['S', 'S', 'S', 'S', 'B', 'E', 'B', 'M', 'E', 'S', 'S', 'B', 'M', 'E', 'S', 'S', 'B', 'E', 'S']} {'text': ['“', '废', '除', '先', '前', '存', '在', '的', '所', '有', '制', '关', '系', '，', '并', '不', '是', '共', '产', '主', '义', '所', '独', '具', '的', '特', '征', '。'], 'label': ['S', 'B', 'E', 'B', 'E', 'B', 'E', 'S', 'B', 'M', 'E', 'B', 'E', 'S', 'B', 'M', 'E', 'B', 'M', 'M', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'S']} {'text': ['“', '这', '个', '案', '子', '从', '始', '至', '今', '我', '们', '都', '没', '有', '跟', '法', '官', '接', '触', '过', '，', '也', '没', '有', '跟', '原', '告', '、', '被', '告', '接', '触', '过', '。'], 'label': ['S', 'B', 'E', 'B', 'E', 'S', 'S', 'B', 'E', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'B', 'E', 'S', 'S', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'B', 'E', 'S', 'S']} {'text': ['“', '你', '只', '有', '把', '事', '情', '做', '好', '，', '大', '伙', '才', '服', '你', '。'], 'label': ['S', 'S', 'B', 'E', 'S', 'B', 'E', 'B', 'E', 'S', 'B', 'E', 'S', 'S', 'S', 'S']} {'text': ['“', '那', '阵', '子', '，', '条', '件', '虽', '艰', '苦', '，', '可', '大', '家', '热', '情', '高', '着', '呢', '，', '什', '么', '活', '都', '抢', '着', '干', '，', '谁', '都', '争', '着', '多', '作', '贡', '献', '。'], 'label': ['S', 'B', 'M', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'S', 'B', 'E', 'B', 'E', 'B', 'E', 'S', 'S', 'B', 'E', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'B', 'E', 'S']} {'text': ['“', '哎', '呀', '，', '怎', '么', '也', '不', '来', '告', '诉', '我', '一', '声', '？'], 'label': ['S', 'B', 'E', 'S', 'B', 'E', 'S', 'S', 'S', 'B', 'E', 'S', 'S', 'S', 'S']} {'text': ['“', '种', '菜', '，', '也', '有', '烦', '恼', '，', '那', '是', '累', '的', '时', '候', '；', '另', '外', '，', '大', '棚', '菜', '在', '降', '价', '。'], 'label': ['S', 'B', 'E', 'S', 'S', 'S', 'B', 'E', 'S', 'S', 'S', 'S', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'S', 'S', 'S', 'S', 'B', 'E', 'S']} {'text': ['“', '种', '田', '要', '有', '个', '明', '白', '账', '，', '投', '本', '要', '赚', '利', '润', '是', '起', '码', '的', '道', '理', '。'], 'label': ['S', 'B', 'E', 'S', 'S', 'S', 'B', 'E', 'S', 'S', 'S', 'S', 'S', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'S']} {'text': ['“', '成', '长', '的', '岁', '月', '，', '传', '统', '、', '激', '进', '、', '前', '卫', '，', '都', '曾', '经', '历', '过', '。'], 'label': ['S', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'S', 'S', 'B', 'E', 'S', 'S']} {'text': ['“', '为', '什', '么', '大', '家', '在', '火', '车', '上', '什', '么', '话', '都', '敢', '讲', '，', '到', '了', '单', '位', '就', '不', '出', '声', '了', '呢', '？'], 'label': ['S', 'B', 'M', 'E', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'B', 'E', 'S', 'S', 'B', 'E', 'S', 'S', 'S']} {'text': ['虽', '然', '一', '路', '上', '队', '伍', '里', '肃', '静', '无', '声', '，', '但', '“', '不', '要', '失', '望', '，', '让', '我', '们', '共', '同', '迎', '战', '艾', '滋', '病', '！'], 'label': ['B', 'E', 'B', 'M', 'E', 'B', 'E', 'S', 'B', 'E', 'B', 'E', 'S', 'S', 'S', 'B', 'E', 'B', 'E', 'S', 'S', 'B', 'E', 'B', 'E', 'B', 'E', 'B', 'M', 'E', 'S']} {'text': ['“', '在', '现', '代', '化', '的', '战', '舰', '上', '，', '不', '存', '在', '技', '术', '简', '单', '的', '岗', '位', '。'], 'label': ['S', 'S', 'B', 'M', 'E', 'S', 'B', 'E', 'S', 'S', 'S', 'B', 'E', 'B', 'E', 'B', 'E', 'S', 'B', 'E', 'S']} {'text': ['“', '当', '时', '我', '很', '伤', '心', '，', '认', '为', '这', '辈', '子', '算', '完', '了', '。'], 'label': ['S', 'B', 'E', 'S', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'S']} {'text': ['“', '我', '的', '孩', '子', '天', '资', '还', '不', '错', '，', '但', '学', '习', '成', '绩', '一', '般', '，', '小', '动', '作', '较', '多', '，', '老', '师', '不', '是', '特', '别', '喜', '欢', '，', '也', '不', '是', '特', '别', '反', '感', '。'], 'label': ['S', 'S', 'S', 'B', 'E', 'B', 'E', 'S', 'B', 'E', 'S', 'S', 'B', 'E', 'B', 'E', 'B', 'E', 'S', 'B', 'M', 'E', 'B', 'E', 'S', 'B', 'E', 'B', 'E', 'B', 'E', 'B', 'E', 'S', 'S', 'B', 'E', 'B', 'E', 'B', 'E', 'S']} {'text': ['“', '鲨', '鱼', '软', '骨', '素', '—', '—', '—', '人', '类', '抗', '癌', '、', '防', '癌', '、', '治', '癌', '的', '新', '希', '望', '。'], 'label': ['S', 'B', 'E', 'B', 'E', 'S', 'S', 'S', 'S', 'B', 'E', 'B', 'E', 'S', 'B', 'E', 'S', 'S', 'S', 'S', 'S', 'B', 'E', 'S']} {'text': ['他', '关', '于', '“', '教', '育', '要', '面', '向', '现', '代', '化', '，', '面', '向', '世', '界', '，', '面', '向', '未', '来', '”', '；', '“', '我', '们', '要', '实', '现', '现', '代', '化', '，', '关', '键', '是', '科', '学', '技', '术', '要', '能', '上', '去', '。'], 'label': ['S', 'B', 'E', 'S', 'B', 'E', 'S', 'B', 'E', 'B', 'M', 'E', 'S', 'B', 'E', 'B', 'E', 'S', 'B', 'E', 'B', 'E', 'S', 'S', 'S', 'B', 'E', 'S', 'B', 'E', 'B', 'M', 'E', 'S', 'B', 'E', 'S', 'B', 'M', 'M', 'E', 'S', 'S', 'B', 'E', 'S']} {'text': ['偶', '尔', '有', '老', '乡', '拥', '上', '来', '想', '看', '“', '大', '官', '”', '，', '立', '即', '会', '遭', '到',