當前位置:成語大全網 - 新華字典 - 在python 環境下,使用結巴分詞,自動導入文本,分詞,提取關鍵詞.腳本 大俠給個

在python 環境下,使用結巴分詞,自動導入文本,分詞,提取關鍵詞.腳本 大俠給個

# -*- coding: utf-8 -*-

import jieba

import jieba.posseg as pseg

import jieba.analyse

#jieba.load_userdict('userdict.txt')#jieba默認有壹個dict.txt詞庫,但可以根據自己需要加入自己的詞條

str1 = "訓練壹個可進行N維分類的網絡的常用方法是使用多項式邏輯回歸"

str2 = "可以嘗試修改網絡架構來準確的復制全連接模型"

str3 = "模型的目標函數是求交叉熵損失和所有權重衰減項的和,loss()函數的返回值就是這個值"

seg_list = jieba.cut(str1,cut_all =True) #全模式

print("/".join(seg_list))

result = pseg.cut(str1)

result2 = jieba.cut(str2) #精準模式

result3 = jieba.analyse.extract_tags(str3,4) #關鍵詞提取

result4 = jieba.cut_for_search(str3) #搜索引擎模式

for w in result:

print(w.word,w.flag)

print(" ".join(result2))

print(" ".join(result3))

print(" ".join(result4))