parser.py

import requests
import re
import psycopg2
import os
from bs4 import BeautifulSoup

# Подключение к БД (пароль из переменных окружения)
conn = psycopg2.connect(
    dbname="parser_db",
    user="postgres",
    password=os.getenv('DB_PASSWORD', 'localhost_only'),
    host="localhost"
)
cursor = conn.cursor()

# Читаем список сайтов из файла
with open('sites.txt', 'r') as file:
    urls = [line.strip() for line in file if line.strip()]

headers = {'User-Agent': 'Mozilla/5.0'}

print(f"Начинаем парсинг {len(urls)} сайтов...\n")

for url in urls:
    try:
        print(f"Парсим: {url}")
        
        # Запрос к сайту
        response = requests.get(url, headers=headers, timeout=10)
        response.encoding = 'utf-8'
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # Извлекаем заголовок
        title = soup.title.text.strip() if soup.title else "—"
        
        # Ищем телефон
        text = soup.get_text()
        phones = re.findall(r'\+7\s?\(?\d{3}\)?\s?\d{3}[-\s]?\d{2}[-\s]?\d{2}', text)
        phone = phones[0] if phones else "—"
        
        # Проверка на дубли
        cursor.execute("SELECT id FROM sites WHERE url = %s", (url,))
        if cursor.fetchone() is None:
            cursor.execute(
                "INSERT INTO sites (url, title, phone) VALUES (%s, %s, %s)",
                (url, title, phone)
            )
            conn.commit()
            print(f"  ✓ Сохранено: {title[:50]}... | {phone}")
        else:
            print(f"  ⊙ {url} уже есть в базе, пропускаем")
        
    except requests.exceptions.Timeout:
        print(f"  ✗ Ошибка: таймаут (сайт не отвечает)")
    except requests.exceptions.ConnectionError:
        print(f"  ✗ Ошибка: не удалось подключиться")
    except Exception as e:
        print(f"  ✗ Ошибка: {e}")
    
    print()

cursor.close()
conn.close()
print("✅ Парсинг завершён!")