feat(sprint2): диалог с памятью треда — POST /chat + CRUD тредов
Второй кусок Спринта 2: агент теперь помнит контекст. RAG-retrieval
делается по последней реплике пациента, в LLM уходит системный промпт +
последние 20 сообщений треда + новая реплика + найденные фрагменты.
Backend:
- services/chat_service: send_message — создаёт тред при необходимости
(auto-имя из первой реплики + UTC-дата), сохраняет user-реплику до
вызова LLM (чтобы не потерять при сбое), делает retrieval, грузит
историю треда (desc/limit 20 → reversed для хронологии), зовёт
llm.chat, сохраняет ответ ассистента вместе с sources_json и
assembled_prompt, обновляет thread.updated_at. Плюс list_threads с
JOIN-выборкой превью первой реплики и счётчика сообщений,
get_thread_detail через selectinload, rename_thread, delete_thread
(CASCADE на FK делает уборку сообщений автоматически, но
explicit delete оставлен для подсчёта удалённых).
- services/llm_client.chat: принимает history=[{role, content}, ...],
собирает messages = [system, ...history, user-с-RAG]; assembled_prompt
дампит всю цепочку в виде [SYSTEM]/[USER]/[ASSISTANT]-блоков для
отображения в Debug UI.
- routers/chat: POST /chat, обрабатывает LookupError → 404.
- routers/threads: GET /threads, GET /threads/{id}, PATCH /threads/{id}
(переименовать), DELETE /threads/{id}.
- models: ChatRequest, ThreadRenameRequest; ChatResponse, ThreadInfo,
ThreadListResponse, ThreadDetailResponse, MessageInfo,
ThreadDeleteResponse.
Запуск:
- В lifespan main.py: автоматический alembic upgrade head через
asyncio.to_thread (сам alembic делает asyncio.run внутри, его нельзя
звать из уже работающего event loop). LLMClient инициализируется
один раз при старте — вместо создания на каждый запрос.
E2E проверено: новый тред → агент отвечает и просит представиться;
вторая реплика в том же треде — агент помнит контекст; PATCH
переименовывает; DELETE удаляет тред с каскадом на сообщения.
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,48 @@
|
||||
import logging
|
||||
|
||||
from fastapi import APIRouter, Depends, HTTPException
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
from db.session import get_session
|
||||
from models.requests import ChatRequest
|
||||
from models.responses import ChatResponse, SourceInfo
|
||||
from services import chat_service
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
router = APIRouter(prefix="/chat", tags=["chat"])
|
||||
|
||||
|
||||
@router.post("", response_model=ChatResponse)
|
||||
async def chat(req: ChatRequest, session: AsyncSession = Depends(get_session)):
|
||||
from main import llm_client, vectorstore_service
|
||||
|
||||
if vectorstore_service is None or llm_client is None:
|
||||
raise HTTPException(status_code=503, detail="Service not ready")
|
||||
|
||||
try:
|
||||
result = await chat_service.send_message(
|
||||
session=session,
|
||||
vectorstore=vectorstore_service,
|
||||
llm=llm_client,
|
||||
text=req.text,
|
||||
thread_id=req.thread_id,
|
||||
top_k=req.top_k,
|
||||
temperature=req.temperature,
|
||||
max_tokens=req.max_tokens,
|
||||
)
|
||||
except LookupError as e:
|
||||
raise HTTPException(status_code=404, detail=str(e))
|
||||
except Exception as e:
|
||||
logger.exception("Chat failed")
|
||||
raise HTTPException(status_code=500, detail=f"Chat error: {e}")
|
||||
|
||||
return ChatResponse(
|
||||
thread_id=result["thread_id"],
|
||||
thread_name=result["thread_name"],
|
||||
message_id=result["message_id"],
|
||||
answer=result["answer"],
|
||||
sources=[SourceInfo(**s) for s in result["sources"]],
|
||||
model_used=result["model_used"],
|
||||
assembled_prompt=result["assembled_prompt"],
|
||||
)
|
||||
Reference in New Issue
Block a user