MinerU

MinerU是一款将PDF 转化为机器可读格式的强大工具（如 Markdown、JSON）。MinerU 诞生于书生-浦语的预训练过程中，能够保留原 PDF 文档结构，提取文字、图片、图片描述、表格等内容。它自动识别并转换 LaTeX 格式、HTML 格式，支持多语言 OCR 功能，确保高效准确地处理文档。 MinerU：开源的PDF文档提取工具 主要功能特点： 删除无关元素：自动删除页眉、页脚、脚注和页码，确保语义连贯。 输出符合阅读顺序的文本：适用于单栏、多栏及复杂排版，确保文本符合人类阅读习惯。 保留原文档结构：包括标题、段落、列表等。 提取图像及表格：包括图像、图片描述、表格、表格标题和脚注。 自动转换公式和表格：公式自动识别并转换为 LaTeX 格式，表格转换为 HTML 格式。 自动 OCR：自动检测扫描版 PDF 和乱码 PDF，并启用 OCR 功能，支持84种语言的检测与识别。 多种输出格式：支持 Markdown、按阅读顺序排序的 JSON 以及含有丰富信息的中间格式。 多种可视化结果：包括 layout 可视化、span 可视化，便于高效确认输出效果与质检。 环境兼容性：支持 CPU 和 GPU 环境，兼容 Windows、Linux 和 Mac 平台。 MinerU核心功能优势： Magic-PDF模块：专注于PDF文档处理，能够智能识别并去除非正文内容如页眉、页脚，同时精准保留标题、段落、列表等结构，支持图片、表格、公式的提取，确保转换后的Markdown格式既准确又易于阅读。 Magic-Doc模块：针对网页和电子书，能够从网页中提取正式内容。 多模态内容处理：MinerU不仅处理文本，还能有效提取和处理图像、表格、公式等多模态内容。 多语言支持：MinerU支持包括繁简中文在内的84种语言。 格式多样：支持多种输出格式和可视化结果，适配 CPU 和 GPU 环境，兼容多平台。 自动识别转换：识别并转换公式为 LaTeX 格式，表格为 LaTeX 或 HTML 格式，还能自动检测并启用 OCR 功能。 MinerU只要应用于学术研究、市场分析、法律文档处理、知识管理等领域，使得我们能高效地从大量文档中提取关键信息，从而加速数据准备过程，为大模型训练、知识图谱构建等提供高质量的数据支持。 MinerU由上海人工智能实验室（上海ai实验室）大模型数据基座OpenDataLab团队开发，并在2024年的WAIC（世界人工智能大会）上发布，迅速在GitHub上获得关注，成为Python的热门项目。