Files
FernandoJVideiraandClaude Opus 5.5 17548bbf7d Add a local benchmark for /tldr with a dashboard
`go test -tags bench ./internal/tldr -run TestBench` runs the real /tldr
pipeline against one or more Ollama models and prompt variants on a chat dump
from disk (text copied from Discord, "Author: message" lines, or a
DiscordChatExporter JSON export) and writes a self-contained HTML dashboard
plus a JSON of the results. Scoring uses an optional facts file (a fact
passes only when one bullet holds all its details) and automatic checks:
numbers not in the chat, copying the chat, an English intro, cut-off output.

TestFactsSkeleton proposes candidate facts from the chat to prune by hand.
Chat dumps and results stay local: bench-out/ and the private folders are
git-ignored. See internal/tldr/tldrbench/README.md.

Co-Authored-By: Claude Opus 5.5 <[email protected]>
2026-10-20 18:46:18 +01:00

14 lines
576 B
Plaintext

Ana: malta, o custo do hosting subiu de 80€ para 120€ por mês
Rui: desde quando?
Ana: a fatura deste mês já vem com 120
Rui: é muito, devíamos ver outros fornecedores
Ana: eu peço um orçamento a outro fornecedor até segunda-feira
Rita: vamos marcar o jantar de equipa?
Rui: sexta às 20h no restaurante O Cantinho?
Ana: boa, somos 9 pessoas, eu faço a reserva
Rita: lol
Tiago: o certificado TLS da API expirou ontem à noite
Tiago: já renovei, a API responde outra vez
Rui: proponho um alerta no Grafana 14 dias antes de expirar
Tiago: eu faço isso esta semana