FlashText 算法是由 Vikash Singh 於2017年發表的大規模關鍵詞替換算法,這個算法的時間復雜度僅由文本長度(N)決定,算法時間復雜度為O(N)。
而對於正則表達式的替換,算法時間復雜度還需要考慮被替換的關鍵詞數量(M),因此時間復雜度為O(MxN)。
簡而言之, 基於FlashText算法的字符串替換比正則表達式替換快M倍以上,這個M是需要替換的關鍵詞數量,關鍵詞越多,FlashText算法的優勢就越明顯 。
下面就給大家介紹如何在 Python 中基於 flashtext 模塊使用 FlashText 算法進行字符串查找和替換,如果覺得對妳的項目團隊很有幫助,請記得幫作者轉發壹下哦。
1.準備
開始之前,妳要確保Python和pip已經成功安裝在電腦上,如果沒有,可以訪問這篇文章:超詳細Python安裝指南 進行安裝。
(可選1) 如果妳用Python的目的是數據分析,可以直接安裝Anaconda:Python數據分析與挖掘好幫手—Anaconda,它內置了Python和pip.
(可選2) 此外,推薦大家用VSCode編輯器,它有許多的優點:Python 編程的最好搭檔—VSCode 詳細指南。
請選擇以下任壹種方式輸入命令安裝依賴 :
1. Windows 環境 打開 Cmd (開始-運行-CMD)。
2. MacOS 環境 打開 Terminal (command+空格輸入Terminal)。
3. 如果妳用的是 VSCode編輯器 或 Pycharm,可以直接使用界面下方的Terminal.
pip install flashtext
2.基本使用
提取關鍵詞
壹個最基本的提取關鍵詞的例子如下:
from flashtext import KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關鍵詞
keyword_processor.add_keyword( 'Big Apple' , 'New York' )
keyword_processor.add_keyword( 'Bay Area' )
# 3. 處理目標句子並提取相應關鍵詞
keywords_found = keyword_processor.extract_keywords( 'I love Big Apple and Bay Area.' )
# 4. 結果
print(keywords_found)
# ['New York', 'Bay Area']
其中 add_keyword 的第壹個參數代表需要被查找的關鍵詞,第二個參數是給這個關鍵詞壹個別名,如果找到了則以別名顯示。
替換關鍵詞
如果妳想要替換關鍵詞,只需要調用處理器的 replace_keywords 函數:
from flashtext import KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關鍵詞
keyword_processor.add_keyword( 'New Delhi' , 'NCR region' )
# 3. 替換關鍵詞
new_sentence = keyword_processor.replace_keywords( 'I love Big Apple and new delhi.' )
# 4. 結果
print(new_sentence)
# 'I love New York and NCR region.'
關鍵詞大小寫敏感
如果妳需要精確提取,識別大小寫字母,那麽妳可以在處理器初始化的時候設定 sensitive 參數:
from flashtext import KeywordProcessor
# 1. 初始化關鍵字處理器, 註意設置大小寫敏感(case_sensitive)為TRUE
keyword_processor = KeywordProcessor(case_sensitive= True )
# 2. 添加關鍵詞
keyword_processor.add_keyword( 'Big Apple' , 'New York' )
keyword_processor.add_keyword( 'Bay Area' )
# 3. 處理目標句子並提取相應關鍵詞
keywords_found = keyword_processor.extract_keywords( 'I love big Apple and Bay Area.' )
# 4. 結果
print(keywords_found)
# ['Bay Area']
標記關鍵詞位置
如果妳需要獲取關鍵詞在句子中的位置,在 extract_keywords 的時候添加 span_info=True 參數即可:
from flashtext import KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關鍵詞
keyword_processor.add_keyword( 'Big Apple' , 'New York' )
keyword_processor.add_keyword( 'Bay Area' )
# 3. 處理目標句子並提取相應關鍵詞, 並標記關鍵詞的起始、終止位置
keywords_found = keyword_processor.extract_keywords( 'I love big Apple and Bay Area.' , span_info= True )
# 4. 結果
print(keywords_found)
# [('New York', 7, 16), ('Bay Area', 21, 29)]
獲取目前所有的關鍵詞
如果妳需要獲取當前已經添加的所有關鍵詞,只需要調用處理器的 get_all_keywords 函數:
from flashtext import KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關鍵詞
keyword_processor.add_keyword( 'j2ee' , 'Java' )
keyword_processor.add_keyword( 'colour' , 'color' )
# 3. 獲取所有關鍵詞
keyword_processor.get_all_keywords()
# output: {'colour': 'color', 'j2ee': 'Java'}
批量添加關鍵詞
批量添加關鍵詞有兩種方法,壹種是通過詞典,壹種是通過數組:
from flashtext import KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. (第壹種)通過字典批量添加關鍵詞
keyword_dict = {
"java" : [ "java_2e" , "java programing" ],
"product management" : [ "PM" , "product manager" ]
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 2. (第二種)通過數組批量添加關鍵詞
keyword_processor.add_keywords_from_list([ "java" , "python" ])
# 3. 第壹種的提取效果如下
keyword_processor.extract_keywords( 'I am a product manager for a java_2e platform' )
# output ['product management', 'java']
單壹或批量刪除關鍵詞
刪除關鍵詞也非常簡單,和添加類似:
from flashtext import KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 通過字典批量添加關鍵詞
keyword_dict = {
"java" : [ "java_2e" , "java programing" ],
"product management" : [ "PM" , "product manager" ]
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 3. 提取效果如下
print(keyword_processor.extract_keywords( 'I am a product manager for a java_2e platform' ))
# ['product management', 'java']
# 4. 單個刪除關鍵詞
keyword_processor.remove_keyword( 'java_2e' )
# 5. 批量刪除關鍵詞,也是可以通過詞典或者數組的形式
keyword_processor.remove_keywords_from_dict({ "product management" : [ "PM" ]})
keyword_processor.remove_keywords_from_list([ "java programing" ])
# 6. 刪除了java programing關鍵詞後的效果如下
keyword_processor.extract_keywords( 'I am a product manager for a java_2e platform' )
# ['product management']
3.高級使用
支持額外信息
前面提到在添加關鍵詞的時候第二個參數為其別名,其實妳不僅可以指示別名,還可以將額外信息放到第二個參數中:
from flashtext import KeywordProcessor
# 1. 初始化關鍵字處理器
kp = KeywordProcessor()
# 2. 添加關鍵詞並附帶額外信息
kp.add_keyword( 'Taj Mahal' , ( 'Monument' , 'Taj Mahal' ))
kp.add_keyword( 'Delhi' , ( 'Location' , 'Delhi' ))
# 3. 效果如下
kp.extract_keywords( 'Taj Mahal is in Delhi.' )
# [('Monument', 'Taj Mahal'), ('Location', 'Delhi')]
這樣,在提取關鍵詞的時候,妳還能拿到其他壹些妳想要在得到此關鍵詞時輸出的信息。
支持特殊單詞邊界
Flashtext 檢測的單詞邊界壹般局限於 w [A-Za-z0-9_] 外的任意字符,但是如果妳想添加某些特殊字符作為單詞的壹部分也是可以實現的:
from flashtext import KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關鍵詞
keyword_processor.add_keyword( 'Big Apple' )
# 3. 正常效果
print(keyword_processor.extract_keywords( 'I love Big Apple/Bay Area.' ))
# ['Big Apple']
# 4. 將 '/' 作為單詞壹部分
keyword_processor.add_non_word_boundary( '/' )
# 5. 優化後的效果
print(keyword_processor.extract_keywords( 'I love Big Apple/Bay Area.' ))
# []
4.結尾
個人認為這個模塊已經滿足我們的基本使用了,如果妳有壹些該模塊提供的功能之外的使用需求,可以給 flashtext 貢獻代碼:
/vi3k6i5/flashtext
附 FlashText 與正則相比 查詢關鍵詞 所花費的時間之比:
附 FlashText 與正則相比 替換關鍵詞 所花費的時間之比:
這篇文章如果對妳有幫助的話,記得轉發壹下哦。