#Scrapy - сбор атрибутивной информации о недвижимости из открытых источников ##Проект создавался как ETL - процесс для дальнейшей аналитической обработки на BI платформе Metabase.

Как запустить проект:

Клонировать репозиторий и перейти в него в командной строке:

bash
https://github.com/taren4ik/Scrapy
cd Scrapy

Cоздать и активировать виртуальное окружение:

bash
python -m venv venv

Для *nix-систем:

bash
source venv/bin/activate

Для windows-систем:

bash
source venv/Scripts/activate

Установить зависимости из файла requirements.txt:

bash
python -m pip install --upgrade pip
pip install -r requirements.txt

Создать файл .env и указать переменные окружения:

Запустить проект:

bash
python selenium_version.py

Опционально запустить скрипт для очистки логов в контейнере /opt/airflow/logs/schedulerва

mkdir -p ~/scripts

chmod +x ~/scripts/cleanup_airflow_scheduler_logs.sh

crontab -e

0 3 * * * /home/$USER/scripts/cleanup_airflow_scheduler_logs.sh >> /tmp/airflow_log_cleanup.log 2>&1

Над проектом работал:

• Дмитрий Пермяков | Github:https://github.com/taren4ik
• Презентация Проекта на платформе Metabase https://www.farpost-analytics. site/public/dashboard/8a791668-1fe8-4278-b008-8c130c457cce?tab=33-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%B6%D0%B0