江苏龙网

  1. 主页 > 生活百科 > >

使用Python进行文本分析-将PDF文件多进程批量处理为csv文件

Python

在文本分析的过程中，将原始数据转换为TXT文件非常关键，主要出于以下几个方面的考虑：

使用Python进行文本分析-将PDF文件多进程批量处理为csv文件

文章插图
1.格式简单与统一:
  • TXT文件是一种简单的文本格式，只包含纯文本信息，不包含任何格式或样式信息 。这种简单和统一的格式有助于减少在文本分析过程中可能出现的混淆或误解 。
  • 其他格式的文档，如PDF或word文档，可能包含图像、表格和其他非文本元素，还可能包含复杂的格式和样式，这些都可能干扰文本分析的过程 。
2. 便于文本预处理:
  • • 文本分析通常需要对文本数据进行预处理，包括分词、去停用词、标准化等 。TXT文件的简单结构使得这些预处理任务更容易执行 。
  • • 与其他文件格式相比，TXT文件不包含任何复杂的格式或元数据，这有助于简化预处理步骤，减少可能出现的错误和问题 。
3.兼容性：
  • • 大多数文本分析和自然语言处理(NLP)工具都能够直接处理TXT文件 。将原始数据转换为TXT文件可以确保与这些工具的兼容性 ， 从而简化分析流程 。
  • • TXT文件是一种通用的文件格式 ， 可以在不同的操作系统和软件环境中轻松处理，而不需要特定的转换或适配器 。
4.节省资源:
  • • TXT文件通常比其他文件格式更小，这有助于节省存储空间和提高处理速度 。较小的文件大小也意味着需要较少的计算资源来处理文本数据 ， 从而提高分析效率 。
  • • 简单的文本格式也意味着在处理时CPU和内存的消耗较低 ， 这对于大规模文本分析任务来说是非常重要的 。
5.便于文本挖掘和模式识别:
  • • 纯文本格式使得使用正则表达式和其他文本挖掘技术来识别和提取文本中的模式变得更为容易和直接 。
  • • 纯文本数据也便于实现各种文本分析技术 ， 如情感分析、主题建模和实体识别等 。
6.可读性和可检查性:
  • • 人类可以直接读取和理解TXT文件，这对于检查、调试和理解文本分析的结果非常重要 。
7.数据清洗:
  • • TXT文件的简单性使得更容易识别和处理缺失值、错误和其他数据质量问题，从而保证文本分析的准确性和可靠性 。
将原始数据转换为TXT文件是实现有效和准确文本分析的一个基本步骤，它帮助简化和标准化文本分析流程 ， 从而提高分析的效率和质量 。以下代码可以用来将pdf文件转换为txt文件 。
pdf2txt.py#!/usr/bin/env Python/ target=_blank class=infotextkey>Python# 该行命令告诉操作系统使用 Python 解释器执行此文件import sys# 导入sys模块，用于处理与Python解释器和运行时环境有关的操作from pdfminer.pdfdocument import PDFDocument# 从pdfminer模块导入PDFDocument类，用于表示PDF文档from pdfminer.pdfparser import PDFParser# 从pdfminer模块导入PDFParser类，用于解析PDF文档from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter# 从pdfminer模块导入资源管理和页面解释类from pdfminer.pdfdevice import PDFDevice, TagExtractor# 从pdfminer模块导入PDF设备和标签提取器类from pdfminer.pdfpage import PDFPage# 从pdfminer模块导入PDFPage类，用于表示PDF页面from pdfminer.converter import XMLConverter, htmlConverter, TextConverter# 从pdfminer模块导入转换器类，用于将PDF转换为其他格式from pdfminer.cmapdb import CMapDB# 从pdfminer模块导入字符映射数据库类from pdfminer.layout import LAParams# 从pdfminer模块导入布局分析参数类from pdfminer.image import ImageWriter# 从pdfminer模块导入图像写入类# 定义主函数，argv是一个包含命令行参数的列表def mAIn(argv):import getopt# 导入getopt模块，用于解析命令行参数# 定义一个显示用法的内部函数def usage():print ('usage: %s [-P password] [-o output] [-t text|html|xml|tag]'' [-O output_dir] [-c encoding] [-s scale] [-R rotation]'' [-Y normal|loose|exact] [-p pagenos] [-m maxpages]'' [-S] [-C] [-n] [-A] [-V] [-M char_margin] [-L line_margin]'' [-W word_margin] [-F boxes_flow] [-d] input.pdf ...' % argv[0])return 100# 返回一个错误代码try:# 使用getopt解析命令行参数(opts, args) = getopt.getopt(argv[1:], 'dP:o:t:O:c:s:R:Y:p:m:SCnAVM:W:L:F:')except getopt.GetoptError:return usage()# 如果解析失败，则显示用法并退出if not args: return usage()# 如果没有提供非选项参数（例如输入文件），则显示用法并退出# 初始化一些变量debug = 0# 调试级别password = b''# PDF密码pagenos = set()# 要处理的页码集maxpages = 0# 最大页数outfile = None# 输出文件名outtype = None# 输出类型imagewriter = None# 图像写入对象rotation = 0# 旋转角度stripcontrol = False# 是否剥离控制字符layoutmode = 'normal'# 布局模式encoding = 'utf-8'# 编码方式pageno = 1# 页面号scale = 1# 缩放因子caching = True# 是否缓存showpageno = True# 是否显示页面号laparams = LAParams()# 布局分析参数对象for (k, v) in opts:# 遍历选项和值if k == '-d': debug += 1# 设置调试级别elif k == '-P': password = v.encode('ascii')# 设置密码elif k == '-o': outfile = v# 设置输出文件名elif k == '-t': outtype = v# 设置输出类型elif k == '-O': imagewriter = ImageWriter(v)# 创建图像写入对象elif k == '-c': encoding = v# 设置编码方式elif k == '-s': scale = float(v)# 设置缩放因子elif k == '-R': rotation = int(v)# 设置旋转角度elif k == '-Y': layoutmode = v# 设置布局模式elif k == '-p': pagenos.update(int(x)-1 for x in v.split(','))# 更新页码集elif k == '-m': maxpages = int(v)# 设置最大页数elif k == '-S': stripcontrol = True# 启用剥离控制字符elif k == '-C': caching = False# 禁用缓存elif k == '-n': laparams = None# 禁用布局分析参数elif k == '-A': laparams.all_texts = True# 启用所有文本选项elif k == '-V': laparams.detect_vertical = True# 启用垂直检测选项elif k == '-M': laparams.char_margin = float(v)# 设置字符边距elif k == '-W': laparams.word_margin = float(v)# 设置单词边距elif k == '-L': laparams.line_margin = float(v)# 设置行边距elif k == '-F': laparams.boxes_flow = float(v)# 设置框流# 设置调试级别PDFDocument.debug = debugPDFParser.debug = debugCMapDB.debug = debugPDFPageInterpreter.debug = debug# 创建PDF资源管理器对象rsrcmgr = PDFResourceManager(caching=caching)# 根据输出类型和选项创建相应的PDF设备对象if not outtype:outtype = 'text'# 默认为文本输出if outfile:if outfile.endswith('.htm') or outfile.endswith('.html'):outtype = 'html'# 如果输出文件名以.htm或.html结尾，则设置为html输出elif outfile.endswith('.xml'):outtype = 'xml'# 如果输出文件名以.xml结尾 ， 则设置为xml输出elif outfile.endswith('.tag'):outtype = 'tag'# 如果输出文件名以.tag结尾，则设置为tag输出elif outtype == 'tag':device = TagExtractor(rsrcmgr, outfp)# 如果输出类型为'tag'，则创建TagExtractor对象else:return usage()# 如果不识别的输出类型，则显示用法并退出for fname in args:# 遍历所有输入文件名with open(fname, 'rb') as fp:# 以二进制读模式打开文件interpreter = PDFPageInterpreter(rsrcmgr, device)# 创建PDF页面解释器对象# 遍历PDF页面，获取页面对象for page in PDFPage.get_pages(fp, pagenos,maxpages=maxpages, password=password,caching=caching, check_extractable=True):page.rotate = (page.rotate+rotation) % 360# 设置页面旋转角度interpreter.process_page(page)# 处理每个页面device.close()# 关闭设备对象，释放资源outfp.close()# 关闭输出文件，释放资源return# 从主函数返回# 检查此模块是否作为主模块运行if __name__ == '__main__':sys.exit(main(sys.argv))# 如果是，则调用main函数，并使用命令行参数列表作为参数


推荐阅读


上一篇：IDE C 语言编译器初学者指南：选择适合你的工具

下一篇：大型语言模型 一文带你解密 Large Language Model