本文实例为大家分享了python脚本筛选出两个文件中重复的行数,供大家参考,具体内容如下
''' 查找A文件中,与B文件中内容不重复的内容 ''' #!usr/bin/python import sys import os ''' 字符串查找函数,使用二分查找法在列表中进行查询 ''' def binarySearch(value, lines): right = len(lines) - 1 left = 0 a = value.strip() while left <= right: middle = int((right + left + 1)/2) b = lines[middle].strip() if a == b: return 1 if a < b: right = middle - 1 else: left = middle + 1 return 0 DPT = 100000 # DPT 是Data Per File的意思 fileAName = sys.argv[1]; fileBName = sys.argv[2]; #STEP1:先拆掉B文件,作为比较基准,临时文件命名为temp1,temp2,...,tempN print("拆分比对文件...\n") fB = open(fileBName) tempFileNo = 1 tempFileName = "temp{0}".format(tempFileNo) fTemp = open(tempFileName, "w+") line = fB.readline() lineCount = 0 while line: if lineCount >= DPT: fTemp.flush() fTemp.close() tempFileNo = tempFileNo + 1 tempFileName = "temp{0}".format(tempFileNo) fTemp = open(tempFileName, "w+") lineCount = 0 fTemp.write(line) lineCount = lineCount + 1 line = fB.readline() fTemp.flush() fTemp.close() fB.close() print("拆分完成,一共{0}个临时文件,{1}条数据。\n".format(tempFileNo, (tempFileNo-1)*DPT + lineCount)) #STEP2:把A文件与B文件拆出来的临时文件逐个进行比较,将结果轮流写入文件result0, result1 # 最后写入的result文件就是最终结果 fA = open(fileAName) resultTempFile = {"result0", "result1"}; tempIndex = 0 fOut = open("repeat", "w+") repeatCount = 0 for i in range(1, tempFileNo + 1): print("比较第{0}个临时文件...\n".format(i)) if 0 == tempIndex: resultTempFile = "result0" tempIndex = 1 else: resultTempFile = "result1" tempIndex = 0 fResult = open(resultTempFile, "w+") fTemp = open("temp{0}".format(i)) lineSet = fTemp.readlines() fTemp.close() lineList = list(lineSet) lineList.sort() line = fA.readline() while line: if 0 == binarySearch(line, lineList): fResult.write(line) else: fOut.write(line) repeatCount = repeatCount + 1 line = fA.readline() fA.close() fResult.flush() fResult.close() fA = open(resultTempFile) fA.close() fOut.flush() fOut.close() print("比较完成,重复数据{0}条".format(repeatCount)) os.rename(resultTempFile, "result") #STEP3:结束后把临时文件都删掉 print("删除临时文件...\n") while tempFileNo > 0: tempFileName = "temp{0}".format(tempFileNo) os.remove(tempFileName) tempFileNo = tempFileNo - 1 print("脚本结束。\n")
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
风云阁资源网 Design By www.bgabc.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
风云阁资源网 Design By www.bgabc.com
暂无评论...
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
2024年09月22日
2024年09月22日
- 魔兽世界地心之战神牧用什么附魔宝石 地心之战神牧附魔宝石推荐
- 明达年度发烧碟MasterSuperiorAudiophile2019[DSF]
- 明达年度发烧碟MasterSuperiorAudiophile2020[DSF]
- 【发烧唱片】Naim《示范碟(第二辑)》1999[WAV+CUE]
- 《优米雅的炼金工房》“妮娜”战斗实机:大雷黑丝金发御姐
- 许冠杰.2003-四合一珍藏集4CD【宝丽金】【WAV+CUE】
- 李宇春.2014-1987我不知会遇见你【天娱传媒】【WAV+CUE】
- 梁汉文.1995-抱着你感觉很好【华星】【WAV+CUE】
- 《情歌回首 HIFI国语老歌 2CD》[WAV/分轨][1.2GB]
- 《降央卓玛 草原绝色醇美的歌声 金色的卓玛》[WAV/分轨][520MB]
- 《赵雷 30首经典城市民谣 2CD》[WAV/分轨][1.3GB]
- 仙境传说新启航兑换码怎么使用 仙境传说兑换码使用方法
- 魔兽世界地心之战武器战用什么饰品 地心之战武器战饰品推荐
- 仙境传说新启航一区是哪个区 仙境传说一区服务器介绍
- 叶倩文2014《影视金曲》LPCD45【WAV+CUE】