Тематическое моделирование позволяет автоматически сгруппировать тексты по похожим словам. При этом интерпретация, как назвать группу, остаётся за вами.

Мы будем использовать для этой задачи библиотеку BERTTopic, которая сочетает в себе модели-трансформеры и TF-IDF.

VK для разработчиков — здесь можно получить свой код для парсинга пабликов.

Блокнот для тематического моделирования.

Слово месяца — пример датасета.

• О работе библиотеки для перевода текстов.
• Здесь нужно получить ваш API-код. Работает с VPN. На паре можете использовать мой код, а для жизни лучше получить свой.

!pip install -U deep-translator
from deep_translator import (GoogleTranslator,
               ChatGptTranslator,
               MicrosoftTranslator,
               PonsTranslator,
               LingueeTranslator,
               MyMemoryTranslator,
               YandexTranslator,
               PapagoTranslator,
               DeeplTranslator,
               QcriTranslator,
               single_detection,
               batch_detection)

Узнать все доступные языки
langs_dict = GoogleTranslator().get_supported_languages(as_dict=True)

Перевести
translated = GoogleTranslator (source='auto', target='ru').translate('Ich bin nur ein Mensch')

Если есть путь
path = '/content/text.txt'
translated = GoogleTranslator(source='auto', target='russian').translate_file(path)

Узнать язык
lang = single_detection ('Είσαι Ρώσος;', api_key='e2fcad9031b979734d669be045b4d6a5')
print(lang)