當前位置:成語大全網 - 新華字典 - 急求:如何用python刪除文本中的重復行?

急求:如何用python刪除文本中的重復行?

1.如果妳的txt?文件不大的話?可以直接?

tmp?=?open('**.txt').readlines()?#把內容壹次性全部讀取出來?是壹個列表

set(tmp)?#這個就是把列表?去重復?

然後?妳可以把?這個去重後的tmp?寫入到新的文件

2.txt很大,那麽只能壹行壹行的讀取去重了

#!/usr/bin/env?python

#?coding=utf-8

#?python?2.7

outfile?=?open('result-readline.txt',?'w')?#新的文件

list_1=[]

for?line?in?open('test.txt'):?#老文件

tmp?=?line.strip()

if?tmp?not?in?list_1:

list_1.append(tmp)

outfile.write(line)

outfile.close()