ChainFeed

Модуль для генерации синтетических заголовков новостей с помощью марковских цепей.

Реализуется многопоточные загрузка RSS-лент из массива URL-адресов и парсинг заголовков новостей в целях последующей генерации синтетических заголовков с помощью марковских цепей.

Особенности:

• Многопоточная проверка интернет-соединения с RSS-лентами
• Многопоточный парсинг заголовков новостей из RSS-лент
• Генерация синтетических заголовков новостей с помощью марковских цепей
• Запись синтетических заголовков новостей в отдельный txt-файл

Структура проекта

ChainFeed/
├── ChainFeed.py
├── README.md
├── requirements.txt
├── ChainFeed.dockerfile
├── tests.py

Как работает модуль?

1) Проверка интернет-соединения с RSS-лентами

В многопоточном режиме осуществляется проверка интернет-соединения с RSS-лентами. Выводится детальная информация о проверке: статус соединения, время ответа, а также описание ошибки в случае ее наличия.

2) Парсинг заголовков новостей из RSS-лент

В многопоточном режиме осуществляется парсинг новостных заголовков из RSS-лент для дальнейшего построения марковских цепей.

3) Генерация синтетических заголовков новостей

На основе массива заголовков новостей строится марковская цепь. Затем генерируются синтетические заголовки новостей с помощью марковских цепей.

4) Запись синтетических заголовков новостей в отдельный txt-файл

Синтетические заголовки новостей сохраняются в отдельном текстовом файле.

Установка

С помощью git

# Загрузка репозитория в локальную директорию
git clone https://github.com/avkolchin1995/ChainFeed.git
cd ChainFeed

# Установка зависимостей
pip install -r requirements.txt

# Запуск модуля
python3 ChainFeed.py

С помощью docker

git clone https://github.com/avkolchin1995/ChainFeed.git
cd ChainFeed

docker build -t chainfeed .
docker run -it chainfeed