當前位置:成語大全網 - 英語詞典 - 以下函數可以實現分詞,但是為什麽去停用詞沒有效果呢?問題在哪裏?

以下函數可以實現分詞,但是為什麽去停用詞沒有效果呢?問題在哪裏?

我覺得可能還是編碼不對吧。我也遇到這種情況,所以搜到了這個問題,查了很多東西也沒有個結果。

我最開始數據都是用GB2312處理的,後來用結巴分詞看文檔上說用好用utf-8編碼,就寫了段代碼把文本改成utf-8了,然後停用詞文件也是用的utf-8保存的,但是不是用代碼保存的,使用Notpad,之後就壹直不能停用文件裏的詞。

後來,在代碼中加了幾個比較明顯的停用詞組成的list,當分出來的詞不在list裏的時候,才輸出該詞,結果就成功的停用了list裏的所有詞。

建議樓主再調整壹下編碼試試吧。

另外,我最開始用的是Python2.7.10,因為停用詞沒反應,我查到壹個網頁說他用Python3.4就好了,我又換了Python3.4.3,可是壹樣不能用,然後向我上面那麽做的就好了,Python2.7還沒有試,估計問題都差不多了吧...

樓主加油!Python程序猿加油!