AR 15 M4
3c2657ab99
Второй кусок Спринта 2: агент теперь помнит контекст. RAG-retrieval
делается по последней реплике пациента, в LLM уходит системный промпт +
последние 20 сообщений треда + новая реплика + найденные фрагменты.
Backend:
- services/chat_service: send_message — создаёт тред при необходимости
(auto-имя из первой реплики + UTC-дата), сохраняет user-реплику до
вызова LLM (чтобы не потерять при сбое), делает retrieval, грузит
историю треда (desc/limit 20 → reversed для хронологии), зовёт
llm.chat, сохраняет ответ ассистента вместе с sources_json и
assembled_prompt, обновляет thread.updated_at. Плюс list_threads с
JOIN-выборкой превью первой реплики и счётчика сообщений,
get_thread_detail через selectinload, rename_thread, delete_thread
(CASCADE на FK делает уборку сообщений автоматически, но
explicit delete оставлен для подсчёта удалённых).
- services/llm_client.chat: принимает history=[{role, content}, ...],
собирает messages = [system, ...history, user-с-RAG]; assembled_prompt
дампит всю цепочку в виде [SYSTEM]/[USER]/[ASSISTANT]-блоков для
отображения в Debug UI.
- routers/chat: POST /chat, обрабатывает LookupError → 404.
- routers/threads: GET /threads, GET /threads/{id}, PATCH /threads/{id}
(переименовать), DELETE /threads/{id}.
- models: ChatRequest, ThreadRenameRequest; ChatResponse, ThreadInfo,
ThreadListResponse, ThreadDetailResponse, MessageInfo,
ThreadDeleteResponse.
Запуск:
- В lifespan main.py: автоматический alembic upgrade head через
asyncio.to_thread (сам alembic делает asyncio.run внутри, его нельзя
звать из уже работающего event loop). LLMClient инициализируется
один раз при старте — вместо создания на каждый запрос.
E2E проверено: новый тред → агент отвечает и просит представиться;
вторая реплика в том же треде — агент помнит контекст; PATCH
переименовывает; DELETE удаляет тред с каскадом на сообщения.
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
49 lines
1.6 KiB
Python
49 lines
1.6 KiB
Python
import logging
|
|
|
|
from fastapi import APIRouter, Depends, HTTPException
|
|
from sqlalchemy.ext.asyncio import AsyncSession
|
|
|
|
from db.session import get_session
|
|
from models.requests import ChatRequest
|
|
from models.responses import ChatResponse, SourceInfo
|
|
from services import chat_service
|
|
|
|
logger = logging.getLogger(__name__)
|
|
|
|
router = APIRouter(prefix="/chat", tags=["chat"])
|
|
|
|
|
|
@router.post("", response_model=ChatResponse)
|
|
async def chat(req: ChatRequest, session: AsyncSession = Depends(get_session)):
|
|
from main import llm_client, vectorstore_service
|
|
|
|
if vectorstore_service is None or llm_client is None:
|
|
raise HTTPException(status_code=503, detail="Service not ready")
|
|
|
|
try:
|
|
result = await chat_service.send_message(
|
|
session=session,
|
|
vectorstore=vectorstore_service,
|
|
llm=llm_client,
|
|
text=req.text,
|
|
thread_id=req.thread_id,
|
|
top_k=req.top_k,
|
|
temperature=req.temperature,
|
|
max_tokens=req.max_tokens,
|
|
)
|
|
except LookupError as e:
|
|
raise HTTPException(status_code=404, detail=str(e))
|
|
except Exception as e:
|
|
logger.exception("Chat failed")
|
|
raise HTTPException(status_code=500, detail=f"Chat error: {e}")
|
|
|
|
return ChatResponse(
|
|
thread_id=result["thread_id"],
|
|
thread_name=result["thread_name"],
|
|
message_id=result["message_id"],
|
|
answer=result["answer"],
|
|
sources=[SourceInfo(**s) for s in result["sources"]],
|
|
model_used=result["model_used"],
|
|
assembled_prompt=result["assembled_prompt"],
|
|
)
|