Российский разработчик увеличил устойчивость ИТ-систем госведомства

Компания ОТР 2000 решила ряд задач по модернизации и развитию Единого сервиса межсистемного взаимодействия (ЕСМВ), направленных на повышение стабильности и быстродействия работы Государственной информационной интегрированной системы управления общественными финансами «Электронный бюджет», оператором которой является Федеральное казначейство (ФК).

Федеральное казначейство активно внедряет электронные сервисы, и это развитие требует не только усиления контроля за производительностью сервисов на всех уровнях ИТ-среды, но и регулярной оптимизации в части доработок эксплуатационных систем.

Специалистами проектной команды ОТР 2000 была выполнена задача по оптимизации работы приложения, целью которой являлось снижение потребления оперативной памяти при обработке XML файлов большого размера (десятки или сотни мегабайт). Для решения задачи передачи больших объемов данных в ЕСМВ было принято решение об использовании S3 совместимого хранилища данных. XML файлы, размер которых превышает 2 Мб, помещаются в S3 хранилище и далее в ЕСМВ осуществляется обработка и передача только транспортной информации и ссылок на передаваемые объекты. Благодаря выполненной оптимизации удалось увеличить скорость обработки запросов на 30% при работе с большими сообщениями и повысить стабильность работы сервиса. При этом сценарий работы простых пользователей не изменился, т.е. сам принцип передачи «тяжелых» документов сохранился, но это перестало негативно влиять на стабильность работы сервиса.

Объем данных о фактах передачи документов через ЕСМВ в централизованном хранилище логов ФК изначально оценивался в 50 Тб дискового пространства с учетом роста в 30% и при расчете хранения за 3 года. С экономической точки зрения содержание такого объема технических данных, напрямую не влияющих на работу бизнес задач, не обоснованно. В рамках выполненных работ было внедрено решение с использованием инструментов Influx DB (база данных временных рядов) и Grafana (система визуализации данных), которое агрегирует и хранит все данные в БД практически без ограничения по времени. Получился полноценный инструмент в сфере аналитики и прогнозирования нагрузки/мощностей на сервисе, который позволяет осуществлять мониторинг инфраструктуры, а также получать полезные выводы по диагностике ошибок и производительности приложений.

По результатам внедрения нового механизма агрегации данных Influx DB (Downsample) специалистами ОТР 2000 было установлено, что требуемый объем хранения на дисковом пространстве сократился до 50 Гб, что составило три порядка от исходного объема. Также был зафиксирован рост производительности построения графиков и отчетов, расширились возможности функциональности системы мониторинга и гибкости.

Еще одна задача состояла в оптимизации передаваемого трафика данных. Для этого трафик внешних и внутренних систем госведомства был разнесен на отдельные сервисы. Командой ОТР был проработан и введен в строй дополнительный кластер сервиса ЕСМВ, что позволило наиболее высоконагруженные внутренние подсистемы ЭБ вынести в отдельный контур и сократить маршрут передачи данных.

Также была выполнена задача по повышению быстродействия обработки сообщений, за счет оптимизации внутренних механизмов работы в ЕСМВ с распределенной In-Memory базой данных Apache Ignite и брокером сообщений Apache Kafka. В результате удалось добиться увеличения быстродействия сервиса на 10% и уменьшения нагрузки на ресурсы Kafka в два раза.

Единый сервис межсистемного взаимодействия в экосистеме госведомства выступает как единый сервис в виде центральной транспортной точки, где обеспечивается гарантированная доставка документов между всеми подсистемами ГИИС ЭБ, а также остальными ИС ФК. Соответственно, стратегически важно поддерживать и повышать стабильность работы сервиса, его производительность, а также скорость обработки запросов в условиях постоянно растущей нагрузки. Выполняя эти задачи проектная команда специалистов ОТР эффективно использует лучшие практики применения решений из реестра российского ПО, свободного программного обеспечения и собственных разработок.

Источник: https://gov.cnews.ru/news/line/2023-04-12_rossijskij_razrabotchik_uvelichil?erid=Pb3XmBtzssBzZiQptkri2TXcCwkWyQJNHgi8t8n
Дата: 12.04.2023