Кейсы / Список кейсов
Сельское хозяйство

Провели миграцию аналитической системы с MS SQL Server на Postgres Pro

О клиенте

АО «Росагролизинг» — государственная лизинговая компания, которая занимается технической и технологической модернизацией отечественного агропромышленного комплекса, передавая в лизинг средства производства организациям АПК.

Цели и задачи

Для повышения устойчивости аналитической системы предприятия требовался перенос СУБД в российскую Postgres Pro и импортозамещении службы интеграции MS SSIS.
Было необходимо сохранить функциональность СУБД без последствий для работы и процессов предприятия.
Хранилище СУБД содержало более 6 Тб данных, сгруппированных в 341 таблице, в каждой от 20 до 450 колонок, от 20 тысяч до 4 миллиардов строк

Особенности

  • Работа по адаптации БД проводилась в режиме реального времени, параллельно бизнес-процессам компании заказчика
  • В процессе проверки итогов миграции происходило непрерывное наполнение исходной БД новыми данными, что осложняло переход и требовало дополнительного внимательного сравнения исходных данных.

Решение

В ходе выполнения работ команда специалистов ИТ-группы N3.Tech реализовала все этапы миграции:

  • провела аудит СУБД аналитической системы заказчика;
  • сформировала план работ по миграции;
  • предложила ряд инфраструктурных решений для обеспечения миграции;
  • осуществила перенос схемы данных, таблиц, процедур и интеграционной службы с использованием скриптов автоматизации миграции собственной разработки;
  • провела тестирование результатов миграции и сверку мигрированных данных;
  • ввела новую версию системы в промышленную эксплуатацию.
Для выполнения работ в срок командой миграции были разработаны скрипты автоматизации всей рутинной работы:

  1. Скрипт переписи SQL кода процедур и базы данных с сохранением исходного форматирования кода и комментариев в нем.
  2. Скрипт переноса данных из одной СУБД в другую с такой же структурой.
  3. Скрипт сверки 100% соответствия данных в старой и новой версиях БД, в том числе после выполнения процедур.
  4. Скрипт пошагового воссоздания SSIS пакетов путем генерации DAG файла с тем же набором step’ов и task’ов.
  5. Скрипт проверки правильной работы процедур путем сравнения результатов выполнения одинаковых запросов в старой и новой версиях СУБД.
Таким образом, ручная работа заключалась только в отладке вышеуказанных проблем в исходной СУБД и решении проблем, которые автоматически решить не получалось.

Параллельно с импортозамещением обнаруживались и решались проблемы в коде исходной СУБД. Отсутствие явного указания критерия сортировки при выборке из базы данных. Так как выборка по умолчанию по разному работает в MS SQL и PostgreSQL, приходилось для каждого запроса вносить уточнение. Также выявлялись скрытые зависимости с вызовом процедур из внешних систем. Для их корректной работы приходилось либо менять взаимодействие с этими процедурами, либо также переводить эти процедуры на PostgreSQL.

Основой решения проблем стало обсуждение с заказчиком каждого случая для подбора правильного решения с точки зрения бизнес-задач.

В процессе выполнения работ фактически параллельно разрабатывалась новая версия системы на Postgres Pro и дорабатывалась старая версия на MS SQL Server. Происходило это из-за того, что в работе старой системы выявлялись особенности работы легаси функционала, и она использовалась как эталон для проверки правильности результатов, выдаваемых новой системой.

Также благодаря разработке утилит для автоматизации миграции фактически весь код был переведен на Postgres за 2 месяца. Оставшиеся три месяца заняла отладка этого кода. Без автоматизации выполнить проект в такой срок было бы невозможно.

Первые три месяца старая и новая версии СУБД находились в параллельной эксплуатации для контроля корректной работы и производительности в Postgres версии СУБД. В мае 2023 года версия на MS SQL Server была выведена из эксплуатации, и с тех пор данная система АО «Росагролизинг» работает на российских технологиях.

Результат

Переход на PostgreSQL

Базы данных и ETL-пакеты перенесены с MS SQL и MS SSIS на PostgreSQL с использованием Apache Airflow.

Перенос базы данных объемом около 6 Тб

Это более 300 таблиц с количеством строк до 4 млрд. Адаптировано 15 ETL пакетов и 131 процедура.

Прежняя логика обмена

Сохранены порядок запуска процедур и временные интервалы выполнения ETL-пакетов заказчика

Требуемая производительность

Адаптированная база данных обеспечивает допустимые показатели скорости и нагрузки.

Надёжность и безопасность

Устойчивость решения обеспечена за счёт ПО для систем хранения данных с верифицированным открытым исходным кодом.

Прозрачная приёмка

Совместно с заказчиком разработаны критерии и скрипты проверки, подготовлены протоколы сравнения данных.

От первого лица

Наше хранилище является наиболее сложной с алгоритмической точки зрения системой Общества. Помимо накопления исторических данных, в системе реализованы ключевые механизмы взаиморасчетов с клиентами. В соответствии с техническим заданием команда N3.Tech в установленные сроки осуществила перенос схемы данных, таблиц, процедур, а также интеграционной службы. Провела тестирование результатов миграции, сверку мигрированных данных, а также отладку системы в промышленной среде. В ходе проведенной ревизии всех процедур, были выявлены и исправлены недочеты бизнес-логики системы. Фактически, помимо миграции, специалисты N3.Tech выполнили рефакторинг исходного кода с устранением недочетов и оптимизации решения под специфику PostgresPro
Денис Молотков
руководитель Управления Разработки Информационных систем АО «Росагролизинг»