0cf3297290
- Краулеры: smart_crawler.py, regional_crawler.py - Аудит: audit_orel_to_excel.py, audit_chukotka_to_excel.py - РКН проверка: check_rkn_registry.py, recheck_unclear_rkn.py - Отчёты: create_orel_horizontal_report.py - Обработка: process_all_hotels_embeddings.py - Документация: README.md, DB_SCHEMA_REFERENCE.md
321 lines
12 KiB
Python
321 lines
12 KiB
Python
#!/usr/bin/env python3
|
||
"""
|
||
Проверка отелей в реестре операторов персональных данных Роскомнадзора
|
||
Проверяет только отели с сайтами
|
||
"""
|
||
|
||
import asyncio
|
||
import psycopg2
|
||
from psycopg2.extras import RealDictCursor
|
||
from playwright.async_api import async_playwright
|
||
from urllib.parse import unquote
|
||
from datetime import datetime
|
||
import logging
|
||
import re
|
||
|
||
# Настройка логирования
|
||
logging.basicConfig(
|
||
level=logging.INFO,
|
||
format='%(asctime)s - %(levelname)s - %(message)s',
|
||
handlers=[
|
||
logging.FileHandler(f'rkn_check_{datetime.now().strftime("%Y%m%d_%H%M%S")}.log'),
|
||
logging.StreamHandler()
|
||
]
|
||
)
|
||
logger = logging.getLogger(__name__)
|
||
|
||
# Конфигурация БД
|
||
DB_CONFIG = {
|
||
'host': "147.45.189.234",
|
||
'port': 5432,
|
||
'database': "default_db",
|
||
'user': "gen_user",
|
||
'password': unquote("2~~9_%5EkVsU%3F2%5CS")
|
||
}
|
||
|
||
# Конфигурация
|
||
REQUEST_DELAY = 3 # Задержка между запросами (секунды)
|
||
PAGE_TIMEOUT = 30000
|
||
|
||
|
||
class RKNChecker:
|
||
"""Проверка в реестре РКН"""
|
||
|
||
def __init__(self):
|
||
self.db_conn = None
|
||
self.browser = None
|
||
self.page = None
|
||
|
||
def connect_db(self):
|
||
"""Подключение к БД"""
|
||
try:
|
||
self.db_conn = psycopg2.connect(**DB_CONFIG)
|
||
logger.info("✓ Подключено к PostgreSQL")
|
||
except Exception as e:
|
||
logger.error(f"✗ Ошибка подключения к БД: {e}")
|
||
raise
|
||
|
||
def close_db(self):
|
||
"""Закрытие соединения с БД"""
|
||
if self.db_conn:
|
||
self.db_conn.close()
|
||
|
||
async def init_browser(self):
|
||
"""Инициализация браузера"""
|
||
playwright = await async_playwright().start()
|
||
self.browser = await playwright.chromium.launch(headless=True)
|
||
self.page = await self.browser.new_page()
|
||
|
||
await self.page.set_viewport_size({"width": 1920, "height": 1080})
|
||
await self.page.set_extra_http_headers({
|
||
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
|
||
})
|
||
|
||
logger.info("✓ Браузер инициализирован")
|
||
|
||
async def close_browser(self):
|
||
"""Закрытие браузера"""
|
||
if self.browser:
|
||
await self.browser.close()
|
||
|
||
async def check_inn_in_registry(self, inn: str) -> dict:
|
||
"""Проверка ИНН в реестре РКН"""
|
||
if not inn or inn == '-':
|
||
return {
|
||
'found': False,
|
||
'status': 'no_inn',
|
||
'message': 'ИНН не указан'
|
||
}
|
||
|
||
try:
|
||
# Формируем URL
|
||
url = f'https://pd.rkn.gov.ru/operators-registry/operators-list/?act=search&inn={inn}'
|
||
|
||
logger.info(f" 🔍 Проверка ИНН: {inn}")
|
||
|
||
# Задержка перед запросом
|
||
await asyncio.sleep(REQUEST_DELAY)
|
||
|
||
# Загружаем страницу
|
||
response = await self.page.goto(url, timeout=PAGE_TIMEOUT, wait_until='networkidle')
|
||
|
||
if response.status != 200:
|
||
return {
|
||
'found': False,
|
||
'status': 'error',
|
||
'message': f'HTTP {response.status}'
|
||
}
|
||
|
||
# Ждем загрузки
|
||
await asyncio.sleep(1)
|
||
|
||
# Получаем текст страницы
|
||
text = await self.page.evaluate('() => document.body.innerText')
|
||
|
||
# Проверяем наличие результатов
|
||
if 'Не найдено' in text or 'не найдено' in text.lower():
|
||
logger.info(f" ❌ Не найден в реестре")
|
||
return {
|
||
'found': False,
|
||
'status': 'not_found',
|
||
'message': 'Не найден в реестре РКН'
|
||
}
|
||
|
||
# Пытаемся извлечь данные
|
||
# Ищем регистрационный номер (разные форматы: 41-14-000746 или 10-0107355)
|
||
reg_number_match = re.search(r'(\d{2}-\d{2,4}-\d{6,7})', text)
|
||
reg_number = reg_number_match.group(1) if reg_number_match else None
|
||
|
||
# Ищем дату регистрации
|
||
date_match = re.search(r'Приказ.*?(\d{2}\.\d{2}\.\d{4})', text)
|
||
reg_date = date_match.group(1) if date_match else None
|
||
|
||
# Ищем название организации
|
||
org_match = re.search(r'(?:Общество|Индивидуальный предприниматель|Акционерное общество).*?(?=ИНН:|$)', text, re.IGNORECASE)
|
||
org_name = org_match.group(0).strip() if org_match else None
|
||
|
||
if reg_number:
|
||
logger.info(f" ✅ Найден: {reg_number} ({reg_date})")
|
||
return {
|
||
'found': True,
|
||
'status': 'found',
|
||
'reg_number': reg_number,
|
||
'reg_date': reg_date,
|
||
'org_name': org_name,
|
||
'message': f'Зарегистрирован: {reg_number}'
|
||
}
|
||
else:
|
||
logger.info(f" ⚠️ Страница загружена, но данные не распознаны")
|
||
return {
|
||
'found': None,
|
||
'status': 'unclear',
|
||
'message': 'Результат неясен'
|
||
}
|
||
|
||
except Exception as e:
|
||
logger.error(f" ✗ Ошибка проверки: {e}")
|
||
return {
|
||
'found': False,
|
||
'status': 'error',
|
||
'message': str(e)
|
||
}
|
||
|
||
def save_result(self, hotel_id: str, result: dict):
|
||
"""Сохранение результата в БД"""
|
||
try:
|
||
cur = self.db_conn.cursor()
|
||
|
||
cur.execute('''
|
||
UPDATE hotel_main
|
||
SET
|
||
rkn_registry_status = %s,
|
||
rkn_registry_number = %s,
|
||
rkn_registry_date = %s,
|
||
rkn_checked_at = %s
|
||
WHERE id = %s
|
||
''', (
|
||
result['status'],
|
||
result.get('reg_number'),
|
||
result.get('reg_date'),
|
||
datetime.now(),
|
||
hotel_id
|
||
))
|
||
|
||
self.db_conn.commit()
|
||
cur.close()
|
||
|
||
except Exception as e:
|
||
logger.error(f" ✗ Ошибка сохранения в БД: {e}")
|
||
self.db_conn.rollback()
|
||
|
||
async def process_hotels(self, region_name=None):
|
||
"""Обработка отелей"""
|
||
|
||
# Получаем отели с сайтами
|
||
cur = self.db_conn.cursor(cursor_factory=RealDictCursor)
|
||
|
||
where_clause = ""
|
||
params = []
|
||
if region_name:
|
||
where_clause = "AND h.region_name ILIKE %s"
|
||
params = [f'%{region_name}%']
|
||
|
||
query = f'''
|
||
SELECT DISTINCT h.id, h.full_name, h.owner_inn, h.website_address, h.region_name
|
||
FROM hotel_main h
|
||
WHERE h.owner_inn IS NOT NULL
|
||
AND h.owner_inn != ''
|
||
AND h.owner_inn != '-'
|
||
AND (h.rkn_checked_at IS NULL OR h.rkn_checked_at < NOW() - INTERVAL '30 days')
|
||
{where_clause}
|
||
ORDER BY h.region_name, h.full_name
|
||
'''
|
||
|
||
cur.execute(query, params)
|
||
hotels = cur.fetchall()
|
||
cur.close()
|
||
|
||
logger.info(f"\n{'='*70}")
|
||
logger.info(f"🏨 Отелей для проверки: {len(hotels)}")
|
||
logger.info(f"⏱️ Примерное время: {len(hotels) * REQUEST_DELAY / 60:.1f} минут")
|
||
logger.info(f"{'='*70}\n")
|
||
|
||
# Обрабатываем отели
|
||
results = {
|
||
'found': 0,
|
||
'not_found': 0,
|
||
'error': 0,
|
||
'unclear': 0,
|
||
'no_inn': 0
|
||
}
|
||
|
||
for i, hotel in enumerate(hotels, 1):
|
||
logger.info(f"\n[{i}/{len(hotels)}] {'='*50}")
|
||
logger.info(f"🏨 {hotel['full_name']}")
|
||
logger.info(f"📍 {hotel['region_name']}")
|
||
logger.info(f"🌐 {hotel['website_address']}")
|
||
logger.info(f"🔢 ИНН: {hotel['owner_inn']}")
|
||
|
||
# Проверяем в реестре
|
||
result = await self.check_inn_in_registry(hotel['owner_inn'])
|
||
|
||
# Сохраняем результат
|
||
self.save_result(hotel['id'], result)
|
||
|
||
# Обновляем статистику
|
||
if result['found'] == True:
|
||
results['found'] += 1
|
||
elif result['found'] == False:
|
||
if result['status'] == 'no_inn':
|
||
results['no_inn'] += 1
|
||
elif result['status'] == 'not_found':
|
||
results['not_found'] += 1
|
||
else:
|
||
results['error'] += 1
|
||
else:
|
||
results['unclear'] += 1
|
||
|
||
# Итоги
|
||
logger.info(f"\n{'='*70}")
|
||
logger.info("📊 ИТОГИ ПРОВЕРКИ:")
|
||
logger.info(f" ✅ Найдено в реестре: {results['found']}")
|
||
logger.info(f" ❌ Не найдено в реестре: {results['not_found']}")
|
||
logger.info(f" ⚠️ Ошибки: {results['error']}")
|
||
logger.info(f" ❓ Неясно: {results['unclear']}")
|
||
logger.info(f" 🔢 Нет ИНН: {results['no_inn']}")
|
||
logger.info(f"{'='*70}")
|
||
|
||
return results
|
||
|
||
|
||
async def main():
|
||
"""Основная функция"""
|
||
import sys
|
||
|
||
region = sys.argv[1] if len(sys.argv) > 1 else None
|
||
|
||
checker = RKNChecker()
|
||
|
||
try:
|
||
# Подключаемся к БД
|
||
checker.connect_db()
|
||
|
||
# Добавляем колонки для РКН (если их нет)
|
||
cur = checker.db_conn.cursor()
|
||
cur.execute('''
|
||
ALTER TABLE hotel_main
|
||
ADD COLUMN IF NOT EXISTS rkn_registry_status VARCHAR(50);
|
||
''')
|
||
cur.execute('''
|
||
ALTER TABLE hotel_main
|
||
ADD COLUMN IF NOT EXISTS rkn_registry_number VARCHAR(50);
|
||
''')
|
||
cur.execute('''
|
||
ALTER TABLE hotel_main
|
||
ADD COLUMN IF NOT EXISTS rkn_registry_date VARCHAR(20);
|
||
''')
|
||
cur.execute('''
|
||
ALTER TABLE hotel_main
|
||
ADD COLUMN IF NOT EXISTS rkn_checked_at TIMESTAMP;
|
||
''')
|
||
checker.db_conn.commit()
|
||
cur.close()
|
||
logger.info("✓ Колонки для РКН добавлены")
|
||
|
||
# Инициализируем браузер
|
||
await checker.init_browser()
|
||
|
||
# Обрабатываем отели
|
||
await checker.process_hotels(region)
|
||
|
||
except Exception as e:
|
||
logger.error(f"❌ Критическая ошибка: {e}")
|
||
finally:
|
||
await checker.close_browser()
|
||
checker.close_db()
|
||
|
||
|
||
if __name__ == "__main__":
|
||
asyncio.run(main())
|
||
|