# Prima decidere, poi parlare: come J2LM ha accelerato la chat

> Abbiamo tolto le decisioni al modello linguistico: i JOL classificano in parallelo, un copione scrive le istruzioni, il modello parla. Risposte in circa 1,5 s.

- Autore: Simone Tolomelli
- Pubblicato: 7 ottobre 2026 (2026-10-07)
- Categoria: AI
- URL: https://sweetpal.ai/blog/j2lm-prima-decidere-poi-parlare
- English version: https://sweetpal.ai/en/blog/j2lm-decide-first-speak-later.md
- Publisher: Sweet Pal (https://sweetpal.ai) — assistente AI per il diabete di tipo 1

---
Come abbiamo tolto al modello linguistico il lavoro che non avrebbe mai dovuto fare, e portato le risposte della chat di Sweet Pal sotto il secondo e mezzo.

Sweet Pal è un compagno per chi vive con il diabete. Scrivi «ho appena mangiato una pizza» e deve fare tante cose insieme: capire che è un pasto da registrare, preparare la card, ricordare come quel cibo ha mosso la tua glicemia le ultime volte, decidere se suggerirti qualcosa o lasciarti in pace, e rispondere con una frase che suoni umana. Fino a qualche settimana fa faceva tutto un unico modello linguistico.

Funzionava. Ma era lento, e in questa app la lentezza pesa più che altrove. Chi scrive ha appena mangiato, o ha appena visto la glicemia scendere. Aspettare dieci secondi davanti a tre puntini che lampeggiano non è un dettaglio di prestazioni. Sembra di non essere ascoltati.

## Il problema: un modello che pensa ad alta voce

Ogni messaggio arrivava all'LLM con un prompt enorme: chi è Sweet Pal, le regole di sicurezza, le conoscenze cliniche di base, il manuale di più di trenta strumenti. Il modello leggeva tutto, decideva quali strumenti chiamare, aspettava i risultati, a volte richiamava, e solo alla fine scriveva. Due o tre giri per turno erano la norma.

Il punto è che quasi tutto quel lavoro non era linguaggio. Era classificazione. È un pasto o una domanda? Qui serve la card del bolo? La persona è in difficoltà? Sono domande a risposta chiusa, e le stavamo facendo risolvere al componente più lento e più caro del sistema, nel modo più caro possibile: in prosa, ragionando.

## L'idea: separare il decidere dal dire

La svolta è stata JEV, il modello «System One» di TypeSafe. JEV non scrive testo. Prende un contenuto e un insieme di domande tipizzate, e risponde a tutte insieme, in parallelo, con dei valori: un'opzione fra tante, un livello su una scala, la probabilità che un'affermazione sia vera. In circa un quarto di secondo.

Sopra JEV abbiamo costruito uno **strato Operator**: i **JOL**, JEV Operator Layer. Un JOL è un gruppo di domande atomiche più un insieme di regole, scritte in chiaro, che trasformano le risposte in una decisione. JEV dice *che cosa* è vero; le regole dicono *che cosa fare*; una soglia di confidenza dice *quanto fidarsi*. Il modello linguistico arriva solo alla fine, quando tutto è deciso, e fa l'unica cosa che sa fare meglio di chiunque: parlare.

Abbiamo chiamato l'architettura **J2LM**: prima i JOL, poi l'LLM.

![Schema che confronta un unico LLM che lavora in più giri con J2LM: messaggio, quattro JOL in parallelo, copione, LLM in un solo giro.](https://sweetpal.ai/media/j2lm-decide-first-speak-later/j2lm-fig1-architecture.svg)

*Figura 1. Prima un solo componente decideva, cercava e scriveva, in più giri. In J2LM la decisione è distribuita fra JOL specialisti che partono tutti nello stesso istante; il modello entra solo per la voce.*

## Un'onda, non una catena

All'inizio i JOL lavoravano in fila: un primo strato di smistamento passava la mano agli specialisti. Misurando, ci siamo accorti che il primo strato passava la mano *sempre* a tutti, qualunque cosa rispondesse. Aspettarlo era metà del tempo dei JOL, speso per sapere una cosa che sapevamo già.

Oggi il motore riconosce le decisioni che non dipendono dalle risposte e lancia tutto in un'unica onda. Gli specialisti sono quattro: cosa mostrare, cosa leggere, cosa calcolare, cosa ricordare o correggere. Accanto a loro c'è lo strato di regia, che capisce *come* rispondere. Il tempo mediano dei JOL è sceso da circa 580 a circa 290 millisecondi.

## Come si costruisce un JOL

Scrivere domande per JEV sembra facile, e non lo è. Una domanda sembra sempre chiara a chi l'ha appena scritta. Alcune regole le abbiamo imparate a nostre spese.

- **Una domanda, una cosa.** Una sola domanda composta («serve leggere i dati o le fonti?») mancava casi ovvi. Divisa in tre domande atomiche di una riga, ha azzeccato tutte le frasi di prova.
- **Ogni specialista è padrone del suo «niente».** Un cancello davanti che indovina «serve uno specialista?» rifà, male, un lavoro che lo specialista fa già bene. Meglio chiedere a tutti e lasciare che ognuno dica «non è roba mia».
- **Prima il test, poi l'attivazione.** Nessuna versione va in produzione senza aver superato, contro il modello vero, un insieme di frasi di riferimento. Le versioni vecchie non si cancellano mai: si spengono e restano lì per il confronto.
- **Potare.** Lo strato di regia aveva dodici registri per descrivere cosa sta facendo la persona. Ne abbiamo tolti quattro, perché quelle distinzioni le facevano già gli specialisti. Con meno opzioni JEV è diventato più sicuro: nei nostri test la confidenza minima è passata da 0,36 a 0,55, e ogni frase è stata classificata correttamente.
- **La sicurezza ha due porte.** «Sono a 62, sto bene, mi capita sempre» veniva letta come un racconto. Una domanda atomica sul valore a rischio, che scavalca tutto il resto, la trasforma in quello che è: un'emergenza. Qui sbagliare per eccesso di prudenza costa poco; sbagliare dall'altra parte no.

## Il copione: l'ultimo strato

Il primo J2LM era già più veloce dell'app, eppure il modello ci metteva ancora più del necessario. I JOL decidevano, ma non dicevano al modello *come* parlare. Riceveva la persona intera e una lista di card, e capiva da solo se era un'emergenza, un saluto o qualcuno che si sfoga, quanto essere lungo, se chiudere con una domanda.

Un JOL non può essere l'ultimo strato, perché JEV non scrive. L'ultimo strato è codice: il **copione**. Dalle risposte della regia e dalle decisioni degli specialisti sceglie quali parti della persona servono a questo turno, quante frasi scrivere, cosa dire di ogni card e cosa non dire, e se chiudere con un suggerimento. Al modello resta soltanto il linguaggio.

> Prima il modello riceveva tutto e decideva cosa ignorare. Adesso riceve solo quello che deve usare.

- **−41%** — tempo mediano di risposta completa, su un insieme fisso di frasi
- **−35%** — token di prompt della voce, dopo l'arrivo del copione
- **~25×** — meno token letti per turno rispetto all'agente a più giri
## Il numero che conta è il primo

Per settimane abbiamo misurato il tempo totale. Poi abbiamo portato nel nostro banco di prova lo stesso streaming che usa l'app, e abbiamo cominciato a misurare quello che la persona sente davvero: il momento in cui la nuvoletta comincia a riempirsi. Lo chiamiamo **primo token**, ed è risultato il numero più istruttivo di tutti.

In una misura della voce di J2LM, il primo testo arrivava a 1,7 secondi su 2,1 della risposta completa. Quasi tutto il tempo del modello è attesa prima di cominciare, non scrittura. Questo ha spostato il lavoro: per andare più veloci non serviva che il modello scrivesse meno, serviva che leggesse meno e pensasse meno prima di aprire bocca.

![Barre temporali per due modelli, J2LM contro l'agente, con il primo token e il momento in cui compaiono le card.](https://sweetpal.ai/media/j2lm-decide-first-speak-later/j2lm-fig2-first-token.svg)

*Figura 2. Un pasto raccontato, stesso messaggio, due modelli diversi. Verde acqua: i JOL. Viola: il modello. Cerchio: il primo token. Con J2LM risposta e card arrivano insieme; con l'agente il testo può partire presto, ma le card arrivano solo a fine turno.*

![Il banco di prova: due chat affiancate e due timeline; i nomi di modelli e strati sono sfocati.](https://sweetpal.ai/media/j2lm-decide-first-speak-later/j2lm-playground-meal.webp)

*Dal banco di prova. Un messaggio parte verso le due chat insieme: J2LM a sinistra, l'agente classico a destra. Sotto ogni risposta, primo token e tempo totale. A destra, i JOL nel tempo, tutti lanciati nella stessa onda, poi la voce; accanto, i giri dell'agente. I nomi interni sono sfocati.*

![Le due chat che rispondono a «ho mangiato due prugne», con i tempi sotto ogni risposta.](https://sweetpal.ai/media/j2lm-decide-first-speak-later/j2lm-playground-prunes.webp)

*Stesso messaggio, secondo modello. J2LM: primo token a 1,4 s, risposta e tre card a 1,6 s. Agente: primo token a 2,3 s, due giri, una card a 3 s.*

## Indipendente dal ragionamento

I modelli di oggi possono «ragionare» prima di rispondere, e questo costa tempo. Nella chat classica è un prezzo che vale la pena pagare, perché il modello deve decidere tutto. In J2LM la decisione è già presa. Abbiamo misurato cosa succede se la voce ragiona comunque: con un livello di ragionamento medio il primo testo passa da circa un secondo a quattro-otto. Con un livello alto, in un caso, il modello ha pensato 57 secondi per scrivere quattro frasi che il copione aveva già impostato. E le ha scritte peggio.

![Barre in scala logaritmica del tempo al primo token con ragionamento piatto, medio e alto: circa 1, da 4 a 8, e 57 secondi.](https://sweetpal.ai/media/j2lm-decide-first-speak-later/j2lm-fig3-reasoning.svg)

*Figura 3. Primo testo della voce di J2LM su frasi brevi, per livello di ragionamento; le barre mostrano l'intervallo misurato. A pensare ci pensano i JOL; il pensiero del modello, qui, è soprattutto attesa.*

![Un turno in cui la voce ha impiegato 57 secondi per cominciare, con la timeline dei JOL chiusa in meno di mezzo secondo.](https://sweetpal.ai/media/j2lm-decide-first-speak-later/j2lm-playground-reasoning.webp)

*Il turno da 57 secondi. La stessa voce con ragionamento alto: i JOL hanno deciso in circa 300 ms, poi il modello ha pensato 57 secondi prima di scrivere quattro frasi. (Il conteggio dei token di ragionamento mostrato è una prima stima per difetto: il modello trasmette solo un riassunto del suo ragionamento.)*

Da qui la regola che adesso chiamiamo **main a due velocità**. La voce di J2LM è piatta, senza ragionamento, quasi sempre. Diventa profonda, con il livello di ragionamento previsto dall'abbonamento, solo quando lo chiedono i JOL: la persona vuole approfondire, la regia non è riuscita a leggere il messaggio, oppure c'è un calcolo sui suoi dati da spiegare. Non è più il modello a decidere quanto pensare. È l'architettura.

C'è un effetto collaterale prezioso. La velocità della chat non dipende più da quanto piacerà ragionare al modello di domani. Due modelli molto diversi, uno aperto e uno proprietario, hanno chiuso entrambi un pasto raccontato, risposta e card comprese, in circa un secondo e mezzo.

## I costi

Un turno di chat classica legge decine di migliaia di token di prompt, e quando il modello fa due giri li legge due volte. Un turno di J2LM legge il copione e la fetta di persona che gli serve: tre-quattromila token in un giro solo, più una chiamata a JEV che costa una frazione. Ogni token non letto è tempo risparmiato prima del primo token, e una riga in meno in fattura.

![Due barre orizzontali che confrontano i token di prompt per turno: circa 70.000 per l'agente e 2.800 per J2LM.](https://sweetpal.ai/media/j2lm-decide-first-speak-later/j2lm-fig4-prompt-tokens.svg)

*Figura 4. Quanto deve leggere il modello prima di rispondere. La chiamata a JEV non è nel grafico: è piccola, e corre in parallelo.*

## Cosa manca ancora

Oggi J2LM sceglie le card ma non le riempie, e gli specialisti decidono cosa leggere ma la lettura dei dati veri è ancora da collegare. La chat classica quel lavoro lo fa già, quindi una parte del vantaggio viene da lavoro che J2LM non ha ancora cominciato. Il prossimo strato è proprio questo: estrarre i valori, leggere i dati, calcolare, prima che la voce parli. Lo misureremo sullo stesso banco di prova, perché è l'unico modo per sapere se il vantaggio regge.

Una lezione però è già acquisita. Un modello linguistico è uno strumento straordinario per dire le cose, e uno strumento lento e costoso per decidere cose che hanno una risposta chiusa. Separare le due ci ha restituito il tempo che meritano le persone che usano Sweet Pal.

---

*I numeri vengono dal nostro banco di prova interno, che riproduce la chat dell'app con lo stesso prompt, gli stessi fornitori e lo stesso streaming. Sono mediane su insiemi fissi di frasi, ottobre 2026.*