Files
RAG_helper/services/intent_document_service.py
T
AR 15 M4 52b46bc53e feat(sprint6c+sprint7): терминология, сверка примеров с кодом, мульти-RAG (часть A)
Спринт 6c — терминология и сверка документации с реальным кодом:
- Словарь терминов в static/docs.html: «маршрутизатор» вместо «роутер»,
  «защитное условие» вместо «guard», «пошаговая ветка» вместо «многошаговая».
  Разделены концепты «намерение» (intent) и «ветка» (branch) с пометкой,
  что в коде они хранятся как одна сущность 1:1.
- Песочница: «Решение маршрутизатора» виден всегда (зелёный/жёлтый),
  счётчик переключений «N из 3» отдельной плашкой, бейджи под словарь.
- Настройки: «Условия перехода» → «Защитные условия (guards, JSON)».
- GRAPH_ARCHITECTURE_v4.md: имена полей thread_state и слоты приведены
  к реальной БД (db/models/thread_state.py) и таксономии промптов шагов
  (prompts/intents/new_booking/steps/). Ссылки на *_v2 примеры. На v3
  поставлена шапка «устарело».
- 4 примера переписаны как *_v2: реальные current_intent_code/
  current_step_code/slots_json, реальные allowed_next без двойных переходов,
  реальная таксономия слотов name/reason/specialist/preferred_time/confirmed.
  Удалены вымышленные CRM tool calls и слоты, которых нет в коде.
- static/example.html — параметризованная страница с навигацией между
  4 примерами; роут GET /api/docs/examples/{name} в main.py отдаёт
  markdown без дублирования файлов.
- Редактирование документов в Отладке: GET/PUT /documents/{id}/raw,
  textarea с переразметкой и обновлением Chroma при сохранении.

Спринт 7, часть A — мульти-RAG через подписку ветка↔документы:
- Миграция: таблица intent_documents (M:N), модель IntentDocument,
  индекс по document_id для обратного поиска.
- API: GET/PUT /intents/{code}/documents и GET/PUT /documents/{id}/intents
  с PUT-семантикой «полный список», атомарно. Сервис
  services/intent_document_service.py.
- Retrieval-фильтр в chat_service: подтягивает document_ids активной
  ветки и передаёт в vectorstore.query(). Дефолт пустой подписки —
  document_ids=[] (= 0 чанков), не «вся коллекция»: пустая подписка
  означает «ветка не настроена», подмешивать случайное хуже, чем
  ничего. vectorstore.query() различает None (нет фильтра) и [] (0).
- UI Настроек: блок «Документы базы знаний» в правом сайдбаре,
  всегда видим независимо от вкладки, сортировка по имени, счётчик
  «N из M», PUT при сохранении.
- UI Отладки: третья кнопка «привязка» рядом с «удалить» —
  раскрывашка со списком веток (галочки), быстрая привязка прямо
  на странице загрузки.
- Песочница: блок «Срез RAG» с подпиской/найдено, ворнинг при пустой
  подписке. Поле rag_subscription в QueryResponse и ChatResponse.
- Системный промпт страницы Отладки переехал в обычную ветку _debug
  («Страница отладки»). Удалён prompts/system_prompt.md и логика
  DEFAULT_SYSTEM_PROMPT в llm_client. routers/query.py подтягивает
  активный конфиг ветки _debug и её подписки. Дефолт пустой подписки
  для _debug — None (вся коллекция), не [] как для пациентских — чтобы
  Отладка работала «из коробки». На странице Отладки info-bar показывает
  активную версию и счётчик подписок, ссылка → Настройки.
- Тест-блок «Тест-вопрос» в центре Настроек: расширил /query
  параметрами intent_code (default _debug), system_prompt (override
  для теста черновика из textarea), disable_rag (для _router).
  Редактор промпта обёрнут в <details open> — можно свернуть до
  одной строки. Под ним — три колонки результата (RAG / промпт /
  ответ). Для _router показывается подсказка про отсутствие RAG.

Документы:
- data/datasets/*.md — наработки по 6 веткам (рабочие материалы оператора).
- docs/BRANCH_MAP_AND_PROMPTS_v1.md, docs/OPTIMIZATION_CONVERSION_v1.md,
  docs/guides/state_machine_and_slots.md.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-04-27 20:00:44 +05:00

141 lines
6.0 KiB
Python

"""Подписка ветки на документы базы знаний (Спринт 7, часть A — мульти-RAG, подход A).
Связь M:N через таблицу `intent_documents`. Сервис умеет:
- читать список document_id для ветки и обратно — список intent_code для документа;
- атомарно перезаписывать любой из этих списков (PUT-семантика).
При retrieval в `chat_service` для активной ветки берём `list_documents_for_intent_code`
и передаём в `vectorstore.query(document_ids=...)`. Дефолт пустой подписки —
пустой список (= 0 чанков), это сознательное решение Спринта 7.
"""
import logging
from sqlalchemy import delete, select
from sqlalchemy.ext.asyncio import AsyncSession
from db.models import Document, Intent, IntentDocument
logger = logging.getLogger(__name__)
async def list_documents_for_intent(session: AsyncSession, intent_id: int) -> list[str]:
"""Список document_id, на которые подписана ветка."""
stmt = (
select(IntentDocument.document_id)
.where(IntentDocument.intent_id == intent_id)
.order_by(IntentDocument.created_at)
)
return list((await session.execute(stmt)).scalars().all())
async def list_documents_for_intent_code(session: AsyncSession, intent_code: str) -> list[str]:
"""То же, но по коду ветки. Если ветки нет — пустой список."""
stmt = (
select(IntentDocument.document_id)
.join(Intent, Intent.id == IntentDocument.intent_id)
.where(Intent.code == intent_code)
.order_by(IntentDocument.created_at)
)
return list((await session.execute(stmt)).scalars().all())
async def list_intents_for_document(session: AsyncSession, document_id: str) -> list[str]:
"""Список кодов веток, в которых используется документ."""
stmt = (
select(Intent.code)
.join(IntentDocument, IntentDocument.intent_id == Intent.id)
.where(IntentDocument.document_id == document_id)
.order_by(Intent.order_index, Intent.id)
)
return list((await session.execute(stmt)).scalars().all())
async def set_documents_for_intent(
session: AsyncSession,
intent_id: int,
document_ids: list[str],
) -> list[str]:
"""Перезаписать список подписок ветки целиком.
Удаляем строки, которых нет в новом списке; добавляем недостающие.
Возвращаем актуальный список после обновления.
"""
# Существующие подписки этой ветки.
existing = set(await list_documents_for_intent(session, intent_id))
desired = set(document_ids)
to_delete = existing - desired
to_add = desired - existing
if to_delete:
await session.execute(
delete(IntentDocument)
.where(IntentDocument.intent_id == intent_id)
.where(IntentDocument.document_id.in_(to_delete))
)
if to_add:
# Проверяем, что документы существуют — иначе FK-ошибка на коммите будет
# неинформативной. Документы, которых нет, тихо пропускаем (это типичная
# гонка: оператор удалил документ в одном табе, в другом нажал «сохранить»).
existing_doc_ids = set((await session.execute(
select(Document.id).where(Document.id.in_(to_add))
)).scalars().all())
missing = to_add - existing_doc_ids
if missing:
logger.warning(
"set_documents_for_intent: skipping unknown document_ids=%s for intent_id=%d",
sorted(missing), intent_id,
)
for document_id in to_add & existing_doc_ids:
session.add(IntentDocument(intent_id=intent_id, document_id=document_id))
await session.commit()
return await list_documents_for_intent(session, intent_id)
async def set_intents_for_document(
session: AsyncSession,
document_id: str,
intent_codes: list[str],
) -> list[str]:
"""Перезаписать список веток, к которым привязан документ.
Возвращаем актуальный список кодов после обновления.
"""
# Текущий набор intent_id для документа.
current_stmt = (
select(IntentDocument.intent_id)
.where(IntentDocument.document_id == document_id)
)
existing_ids = set((await session.execute(current_stmt)).scalars().all())
# Желаемый набор intent_id (по кодам). Неизвестные коды — пропускаем.
desired_stmt = select(Intent.id, Intent.code).where(Intent.code.in_(intent_codes))
code_to_id: dict[str, int] = {}
for row in (await session.execute(desired_stmt)).all():
code_to_id[row.code] = row.id
desired_ids = set(code_to_id.values())
missing_codes = set(intent_codes) - set(code_to_id.keys())
if missing_codes:
logger.warning(
"set_intents_for_document: skipping unknown intent_codes=%s for document_id=%s",
sorted(missing_codes), document_id,
)
to_delete = existing_ids - desired_ids
to_add = desired_ids - existing_ids
if to_delete:
await session.execute(
delete(IntentDocument)
.where(IntentDocument.document_id == document_id)
.where(IntentDocument.intent_id.in_(to_delete))
)
for intent_id in to_add:
session.add(IntentDocument(intent_id=intent_id, document_id=document_id))
await session.commit()
return await list_intents_for_document(session, document_id)