2022年 11月 8日

python 提取代码中的所有汉字

遇到一个需求，需要提取代码中所有用到的汉字，有lua代码c++代码还有oc代码，于是研究了一个脚本，专门提取代码中的汉字，现在研究好了，在这里贴一下，供大家参考

  1. # -*- coding: UTF-8 -*-
  2. import os
  3.  
  4. strStr = []
  5. suf_set = ('.lua','.cpp','.h','.hpp','.m','.mm')
  6. isFilterEnglish = 0 #是否过滤英文
  7. #指定目录下 (可修改)
  8. filePathC = "C:\\Users\\panyafei\\Desktop\\test\\src"
  9. #写入指定文件 (可修改)
  10. saveFilePath = 'C:\\Users\\panyafei\\Desktop\\test\\666.txt'
  11. #写入文本名称 (可修改)
  12. saveName = "words.txt" #默认存储文件名
  13.  
  14. # 遍历指定目录，显示目录下的所有文件名
  15. def eachFile(filepath,saveFilePath):
  16.     for root, dirs, files in os.walk(filepath):
  17.         for file in files:
  18.             luaFileName = os.path.join(root, file)
  19.             if luaFileName.endswith(suf_set):
  20.                 readFile(luaFileName,saveFilePath)
  21.  
  22. # 保存字符串到文本中
  23. def save_to_file(file_name, contents):
  24.     str = ""
  25.     content = ""
  26.     if isFilterEnglish == 1:
  27.         for char in contents:
  28.             if ord(char)>=65 and ord(char)<90 or ord(char)>=97 and ord(char)<122:
  29.                 print("过滤英文")
  30.             else:
  31.                 content = content + char
  32.     else:
  33.         content = contents
  34.  
  35.     f = open(file_name, 'r')
  36.     str = f.read()
  37.     f.close()
  38.  
  39.     fh = open(file_name, 'w')
  40.     if str == "":
  41.         fh.write(str + content)
  42.     else:
  43.         fh.write(str+ '\n' +content)
  44.     fh.close()
  45.  
  46. # 读取文件内容并打印
  47. def readFile(filename,saveFilePath):
  48.     # 搜寻以下文件类型
  49.     isPiZS = 0  # 批注释
  50.     f = open(filename)  # 返回一个文件对象
  51.     line = f.readline()  # 调用文件的 readline()方法
  52.     while line:
  53.         line = line.lstrip()
  54.         line = line.lstrip('\t')
  55.         #print("line = "+line)  # 后面跟 ',' 将忽略换行符
  56.         l = len(line)
  57.         if l>0:
  58.             #如果是批注释的话不管是不是中文字符都不管
  59.             index = filename.find(".lua")
  60.             if judgeIsZhiShiBegan(filename, line):
  61.                 isPiZS = 1
  62.  
  63.             #如果是批注释中，那么就找到结尾，并且把结尾后的字符截取出来
  64.             if isPiZS == 1 :
  65.                 pos = 0
  66.                 isfound,pos = judgeIsZhiShiEnd(filename,line)
  67.                 if isfound == 1:
  68.                     if pos+2<l-1:
  69.                         line = line[pos+2:l-1]
  70.                     else:
  71.                         line = "\n"
  72.                     isPiZS = 0
  73.                     l = len(line)
  74.  
  75.             if judgeIsZhuShi(filename,line) == 1 or line[0] == '\n' or isPiZS != 0 :
  76.                 print("过滤注释！")
  77.             else:
  78.                 findChinaStr(line,saveFilePath)
  79.  
  80.         line = f.readline()
  81.  
  82.     f.close()
  83.  
  84. #检测这是否是一个注释行
  85. def judgeIsZhuShi(filename,str):
  86.     value = filename.find(".lua")
  87.     pos = 0 #表示的是生效开始下表位置
  88.     lens = len(str)
  89.     isZhuShi = 0
  90.     # pp = ord(' ')
  91.     for num in range(0,lens-1):  # 迭代 0 到 len 之间的数字
  92.         if str[num] !=' ':
  93.             pos = num
  94.             break
  95.     if value>0: #lua文件
  96.         if str[pos] == '-' and (lens-pos) >= 2 and str[pos+1] == '-':
  97.             isZhuShi = 1
  98.     else:
  99.         if ord(str[pos]) == 47 and (lens-pos) >= 2 and ord(str[pos]) == 47:
  100.             isZhuShi = 1
  101.  
  102.     return isZhuShi
  103.  
  104. #检测批注释的开始
  105. def judgeIsZhiShiBegan(filename,str):
  106.     value = filename.find(".lua")
  107.     pos = 0  # 表示的是生效开始下表位置
  108.     lens = len(str)
  109.     isZhuShi = 0
  110.     for num in range(0, lens - 1):  # 迭代 0 到 len 之间的数字
  111.         if str[num] != ' ':
  112.             pos = num
  113.             break
  114.     if value > 0:  # lua文件
  115.         if str[pos] == '-' and (lens - pos) >= 4 and str[pos+1] == '-' and str[pos+2] == '[' and str[pos+3] == '[':
  116.             isZhuShi = 1
  117.     else:
  118.         if ord(str[pos]) == 47 and (lens - pos) >= 2 and ord(str[pos+1]) == 42:
  119.             isZhuShi = 1
  120.  
  121.     return isZhuShi
  122.  
  123. #检测批注释的结尾
  124. def judgeIsZhiShiEnd(filename,str):
  125.     value = filename.find(".lua")
  126.     pos = 0  # 表示的是生效开始下表位置
  127.     lens = len(str)
  128.     isZhuShi = 0
  129.     for num in range(0, lens - 1):  # 迭代 0 到 len 之间的数字
  130.         if str[num] != ' ':
  131.             pos = num
  132.             break
  133.  
  134.     if value > 0:
  135.         if str.find('\]'):
  136.             pos = str.find(']')
  137.             if pos != -1 and lens >= pos + 2 and str[pos + 1] == ']':
  138.                 # print('找到结尾的批注释！')
  139.                 isZhuShi = 1
  140.     else:
  141.         for num in range(0, lens - 1):
  142.             if ord(str[num]) == 42 and num+1<lens and ord(str[num+1]) == 47:
  143.                 # print('找到结尾的批注释！')
  144.                 pos = num
  145.                 isZhuShi = 1
  146.                 break
  147.  
  148.     return isZhuShi,pos
  149.  
  150. def findChinaStr(str,saveFilePath):
  151.     chinese = ""
  152.     dataLen = len(str)
  153.     i = 0
  154.     while i < dataLen:
  155.         value = ord(str[i])
  156.         if value == 34 and i + 1 < dataLen:
  157.             i = i + 1
  158.             while ord(str[i]) != 34 and i + 1 < dataLen:
  159.                 chinese = chinese + str[i]
  160.                 i = i + 1
  161.             if isCanShow(chinese) == True and isCanSave(chinese)==1:
  162.                 strStr.append(chinese)
  163.                 save_to_file(saveFilePath, chinese)
  164.                 print(chinese.decode('utf-8').encode('gbk'))
  165.             chinese = ""
  166.         i = i + 1;
  167.  
  168. def isCanSave(chinese):
  169.     for str in strStr:
  170.         if str == chinese:
  171.             return 0
  172.     return 1
  173.  
  174.  
  175. # 全部ASCII码，不需要显示
  176. def isCanShow(str):
  177.     flag = False
  178.     tick = 0
  179.     for cha in str:
  180.         value = ord(cha)
  181.         if value <= 127:
  182.             tick = tick + 1
  183.     if tick == len(str):
  184.         return False
  185.     return True
  186.  
  187. if __name__ == '__main__':
  188.     if filePathC == "" or (os.path.exists(filePathC) == False):
  189.         str = "未设置路径或者路径不存在,是否默认当前路径,按任意键继续，退出请关闭！"
  190.         print(str.decode('utf-8').encode('gbk'))
  191.         os.system("pause")
  192.         filePathC = os.getcwd()
  193.  
  194.     if saveFilePath == "" :
  195.         path = os.path.abspath(os.path.dirname(filePathC))
  196.         saveFilePath = path + "\\" + saveName
  197.  
  198.     if os.path.exists(saveFilePath):
  199.         print('文件存在,清空内容！')
  200.         f = open(saveFilePath, "r+")
  201.         f.truncate()
  202.     else:
  203.         print('文件不存在，创建文件')
  204.         file = open(saveFilePath, 'w')
  205.         file.close()
  206.  
  207.     eachFile(filePathC,saveFilePath)
  208.  
  209.     print("--------------------finish--------------------")
  210.     os.system("pause")

脚本中可以自己设置需要查找的路径和保存文本的名字，如果没有设置路径的话会默认指向当前路径，

同时也支持设置文本类型，暂时支持

'.lua','.cpp','.h','.hpp','.m','.mm'

这六种类型，后期可以自己增加删除文件类型。

isFilterEnglish 可以设置是否过滤中文中间夹杂的英文字符，默认是不过滤的，如有需求可以自行修改 0->表示不过滤   1->表示过滤

还有一点需要说明，就是这个保存的文本类型，我这里写的是.txt格式的,如果你需要的是一个表格形式的文本，那么只要把saveName = “words.txt” 改成 saveName = “words.xls” 或者 saveName = “words.xlsx” 即可。

好了，到这里就结束了，此脚本如有更新，会自动上传更新！