Классификация постов

Система (сервис) анализа данных, который по имеющемуся набору данных, представляющих собой посты пользователей с разных социальных площадок, автоматически определит, какой из 6-ти объектов городского хозяйства упоминается в тексте отзыва, а также автоматически определить эмоциональную оценку пользователя о данном объекте (позитивная, нейтральная или негативная).

Для достижения данной цели были поставлены следующие задачи:

• реализовать загрузку данных в формате .csv в систему анализа и их сохранение в базе данных;
• реализовать методы для автоматического определения одного из 6-ти типов объектов городского хозяйства в тексте отзыва пользователя;
• реализовать методы для автоматического определения тональности текста (позитивный, нейтральный или негативный оттенок);
• осуществить сохранение полученных результатов в базе данных в целях их дальнейшего использования;
• реализовать возможность скачать готовые результаты в формате .csv.

Общее описание

Разработка системы анализа данных велась на ЯП Python (версия 3.6.5), с использованием фреймворка Django (версия 3.0.4) и дополнительных подключаемых библиотек. В качестве базы данных и СУБД использовалась PostgreSQL.

Интеллектуальный классификатор типов объектов городского хозяйства представляет собой веб-сервис с методами загрузки, выгрузки и интеллектуального анализа данных.

Для программной реализации методов использовались библиотеки:

• для загрузки, хранения, обработки и чтения данных: pandas, psycopg2, pickle;
• для обработки естественного языка и анализа тональности: pymorphy2, re, dostoevsky, fasttext;
• для машинного обучения: Keras, tensorflow, scikit-learn;
• для визуализации: matplotlib, seaborn.

Публикации по теме проекта

• Begen P., Nizomutdinov B., Tropnikov A. Analysis and Classification of Urban Facilities Problems Based on Comments in Social Networks. Case for Saint Petersburg // CEUR Workshop Proceedings - 2020, Vol. 2784, pp. 39-50
•  Низомутдинов Б.А., Беген П.Н. Разработка системы для мониторинга происшествий на основе данных из социальных сетей. Кейс Санкт-Петербурга // Сборник трудов X Конгресса молодых ученых (Санкт-Петербург, 14-17 апреля 2021 г.) - 2021. - Т. 1. - С. 161-163