PDF-парсер

Что это?

Программа, которая запускается из командной строки и автоматически извлекает данные из PDF-квитанций коммунальных услуг в CSV / Excel.

[gif show]

Контекст — Зачем?

1. Есть инструмент для проверки (Инструмент Проверки Коммунальных Счетов)

2. Чтобы проверить правильно ли начислены суммы в квитанциях, - из каждой квитанции мне нужны одинаковые данные: объем, тариф, сумма. НО: все квитанции приходят от разных компаний и имеют разный формат.

• Как же сделать так, чтобы не обрабатывать каждую квитанцию вручную, а получить все нужные мне значения в одной маленькой таблице Excel?

Цель => Решение

Исследовать возможность одновременного извлечения данных из нескольких файлов.

=> Создание парсера.

Логика — Как это работает

1. В папке лежат pdf.
2. Использование командной строки для запуска парсера.
3. Открывается Excel файл с объединенными данными.

=> Логика парсера

1. Загружаются PDF-файлы из папки
2. Определяется тип поставщика (электроэнергия, вода, ТКО и т.д.)
3. Извлекаются ключевые значения:
   • объём потребления
   • тариф
   • сумма начислений
4. Данные приводятся к единому формату
5. Формируется итоговый файл:
   • CSV
   • Excel

[схемка]

Сбор и подготовка данных

• сохранение квитанций в одну папку

типы квитанций

• Электроэнергия
• Водоснабжение
• ТКО (вывоз мусора)
• Капитальный ремонт
• Общедомовые услуги

Результат

[gif с демонстрацией]

• Единая структурированная таблица для дальнейшей проверки начислений
• Приятный трепет в груди - это ощущение, когда одной строкой кода на глазах происходит трансформация

Сложности и решения

Основная сложность — различие форматов PDF у разных поставщиков. Поэтому под каждый тип квитанции (каждый отдельный PDF-файл) адаптировала отдельную функцию. Т.е. решение пока не унифицировано - нельзя взять любую квитанцию и получить из нее данные. Под каждый новый вид квитанции код нужно адаптировать. Пока что.

На будущее — Идеи для проработки

• автоматизировать сохранение квитанций в папку (через API сайтов поставщиков или приложения ЖКХ)
• соединить с файлом проверки (отправка полученных данных сразу в инструмент проверки напрямую, без выгрузки в отдельный файл Excel)

Инструменты

• Python — основная логика
• pdfplumber (библиотека) — извлечение данных из PDF
• pandas (библиотека) — обработка таблиц
• Excel

Файлы