RAG_helper

arazor72/RAG_helper

Fork 0

Commit Graph

Author	SHA1	Message	Date
AR 15 M4	bb5e3f5eb3	feat(sprint8b): регрессия ответов веток · general_info + фикс PRAGMA foreign_keys Параллель к 8a, но проверяем не код intent от роутера, а содержимое ответа конкретной ветки на одиночную реплику. Старт — general_info, 46 кейсов. Логика pass/fail (для одного кейса): - A — RAG-секция: среди retrieved-чанков есть кусок с section == expected_doc_section (точное совпадение). Если поле не задано — пропускаем. - B — keywords: обязательные expected_keywords встречаются в predicted_answer (case-insensitive). По умолчанию все; поддерживаются keywords_min: N и keywords_any: true. Запрещённые expected_must_not — ни одного. - Pass = A ∧ B. Незаданные поля не проверяются. - Кэш: (text_hash, branch_config_id) → {answer_text, retrieved_sections}. Привязан к версии промпта ветки. Смена версии = пустой кэш = свежий прогон. Правка JSONL без изменения text → pass/fail пересчитывается без LLM. Backend: - Таблицы eval_branch_runs / eval_branch_run_cases / eval_branch_predictions. Миграция m9g1f7e89j56. - services/eval_branch_run_service.py: загрузка JSONL, фоновый прогон через asyncio.create_task, кэш, оценка A+B с поддержкой keywords_min/keywords_any. - chat_service.run_branch_single_turn — изолированный single-turn без роутера и треда (использует существующий config_service + vectorstore + llm). - API: POST /eval/branch-runs, GET /eval/branch-runs?intent_code=, GET /eval/branch-runs/{id}, GET /eval/branch-cases-with-status?intent_code=. UI (static/regression.html): - Селектор режима «Роутер / Ветка · general_info». Логика пикера переиспользуется (фильтры, диапазон, массовый выбор, счётчик «новые / в кэше»). - Для режима «Ветка»: фильтр по coverage, колонки секция/coverage, keywords, частота, кэш. Drill-down прогона: ожидание, retrieved-секции, причины fail, полный ответ ветки. База кейсов (eval/branch_cases_general_info.jsonl) — от пользователя, 46 кейсов по схеме {text, intent, coverage, expected_doc_section?, expected_keywords?, expected_must_not?, keywords_min?, keywords_any?, count?, note?}. Связанная правка SQLite (нашли при удалении документа в этом спринте): - db/session.py: connect-listener PRAGMA foreign_keys=ON на каждое подключение. Без этого ondelete=CASCADE в SQLite не enforced, и удаление документа оставляло подписки в intent_documents висячими (что давало пустой RAG и fail регрессии). - Миграция n0h2g8f9a0k67 — одноразовая чистка существующих висячих подписок. docs/SPRINTS.md: Спринт 8b → ✅ Закрыт. Diff vs предыдущий прогон для веток и кнопка «Сбросить кэш регрессии» вынесены в docs/BACKLOG.md. Также включены обновлённые data/datasets/general_info.md и price_question.md (рабочий материал оператора), и черновик eval/branch_cases_price_question.jsonl для следующего захода (8b на price_question). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-03 01:20:59 +05:00
AR 15 M4	75048bb88e	feat(sprint2): инфраструктура БД — SQLAlchemy 2.0 async + Alembic Первый кусок Спринта 2: подключаем SQLite через SQLAlchemy 2.0 (async, ORM-стиль) и Alembic для миграций. Схема выбрана под будущий рост — в threads сразу заведены nullable user_id и agent_config_id, чтобы Спринты 3+ не тащили миграции задним числом. - requirements.txt: sqlalchemy[asyncio]==2.0.36, aiosqlite==0.20.0, alembic==1.14.0. - config: database_url + sqlite_path (./data/sqlite/app.db). - db/base.py: DeclarativeBase; db/session.py: async engine, async_sessionmaker, get_session — FastAPI-dependency. - db/models/Thread: id, name, user_id?, agent_config_id?, created_at, updated_at; relationship messages с cascade all, delete-orphan. - db/models/Message: id, thread_id FK CASCADE, role, text, sources_json, assembled_prompt, created_at. - Alembic инициализирован через async-шаблон, env.py доработан: sys.path, url из settings, target_metadata = Base.metadata. - Начальная миграция e7199587be4b применена, таблицы threads/messages с индексами на FK и nullable-колонки созданы в data/sqlite/app.db. - .gitignore: исключаем data/sqlite/ (БД — артефакт, не исходник). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-04-23 10:05:10 +05:00

Author

SHA1

Message

Date

AR 15 M4

bb5e3f5eb3

feat(sprint8b): регрессия ответов веток · general_info + фикс PRAGMA foreign_keys

Параллель к 8a, но проверяем не код intent от роутера, а содержимое ответа
конкретной ветки на одиночную реплику. Старт — general_info, 46 кейсов.

Логика pass/fail (для одного кейса):
- A — RAG-секция: среди retrieved-чанков есть кусок с
  section == expected_doc_section (точное совпадение). Если поле не задано —
  пропускаем.
- B — keywords: обязательные expected_keywords встречаются в predicted_answer
  (case-insensitive). По умолчанию все; поддерживаются keywords_min: N
  и keywords_any: true. Запрещённые expected_must_not — ни одного.
- Pass = A ∧ B. Незаданные поля не проверяются.
- Кэш: (text_hash, branch_config_id) → {answer_text, retrieved_sections}.
  Привязан к версии промпта ветки. Смена версии = пустой кэш = свежий прогон.
  Правка JSONL без изменения text → pass/fail пересчитывается без LLM.

Backend:
- Таблицы eval_branch_runs / eval_branch_run_cases / eval_branch_predictions.
  Миграция m9g1f7e89j56.
- services/eval_branch_run_service.py: загрузка JSONL, фоновый прогон через
  asyncio.create_task, кэш, оценка A+B с поддержкой keywords_min/keywords_any.
- chat_service.run_branch_single_turn — изолированный single-turn без
  роутера и треда (использует существующий config_service + vectorstore + llm).
- API: POST /eval/branch-runs, GET /eval/branch-runs?intent_code=,
  GET /eval/branch-runs/{id}, GET /eval/branch-cases-with-status?intent_code=.

UI (static/regression.html):
- Селектор режима «Роутер / Ветка · general_info». Логика пикера переиспользуется
  (фильтры, диапазон, массовый выбор, счётчик «новые / в кэше»).
- Для режима «Ветка»: фильтр по coverage, колонки секция/coverage, keywords,
  частота, кэш. Drill-down прогона: ожидание, retrieved-секции, причины fail,
  полный ответ ветки.

База кейсов (eval/branch_cases_general_info.jsonl) — от пользователя, 46 кейсов
по схеме {text, intent, coverage, expected_doc_section?, expected_keywords?,
expected_must_not?, keywords_min?, keywords_any?, count?, note?}.

Связанная правка SQLite (нашли при удалении документа в этом спринте):
- db/session.py: connect-listener PRAGMA foreign_keys=ON на каждое подключение.
  Без этого ondelete=CASCADE в SQLite не enforced, и удаление документа
  оставляло подписки в intent_documents висячими (что давало пустой RAG
  и fail регрессии).
- Миграция n0h2g8f9a0k67 — одноразовая чистка существующих висячих подписок.

docs/SPRINTS.md: Спринт 8b → ✅ Закрыт. Diff vs предыдущий прогон для веток
и кнопка «Сбросить кэш регрессии» вынесены в docs/BACKLOG.md.

Также включены обновлённые data/datasets/general_info.md и price_question.md
(рабочий материал оператора), и черновик eval/branch_cases_price_question.jsonl
для следующего захода (8b на price_question).

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-05-03 01:20:59 +05:00

AR 15 M4

75048bb88e

feat(sprint2): инфраструктура БД — SQLAlchemy 2.0 async + Alembic

Первый кусок Спринта 2: подключаем SQLite через SQLAlchemy 2.0 (async,
ORM-стиль) и Alembic для миграций. Схема выбрана под будущий рост —
в threads сразу заведены nullable user_id и agent_config_id, чтобы
Спринты 3+ не тащили миграции задним числом.

- requirements.txt: sqlalchemy[asyncio]==2.0.36, aiosqlite==0.20.0,
  alembic==1.14.0.
- config: database_url + sqlite_path (./data/sqlite/app.db).
- db/base.py: DeclarativeBase; db/session.py: async engine,
  async_sessionmaker, get_session — FastAPI-dependency.
- db/models/Thread: id, name, user_id?, agent_config_id?, created_at,
  updated_at; relationship messages с cascade all, delete-orphan.
- db/models/Message: id, thread_id FK CASCADE, role, text, sources_json,
  assembled_prompt, created_at.
- Alembic инициализирован через async-шаблон, env.py доработан:
  sys.path, url из settings, target_metadata = Base.metadata.
- Начальная миграция e7199587be4b применена, таблицы threads/messages
  с индексами на FK и nullable-колонки созданы в data/sqlite/app.db.
- .gitignore: исключаем data/sqlite/ (БД — артефакт, не исходник).

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-04-23 10:05:10 +05:00

2 Commits