Questa settimana uno dei gruppi più credibili dell'IA – sostenuto da General Catalyst, Kleiner Perkins e Sequoia, con Andrej Karpathy come consulente – ha messo una somma a nove cifre dietro una sola idea: i modelli che usiamo ogni giorno non capiscono davvero cosa facciamo, e il modo per rimediare è farli imparare dal nostro contesto anziché da internet pubblico.
Non potremmo essere più d'accordo. Come ha detto uno dei loro finanziatori, i modelli che usiamo ogni giorno sono "estranei brillanti" – dimenticano il tuo mondo nell'istante in cui una chat finisce, e poi lo reimparano da zero alla domanda successiva. È esattamente il vuoto contro cui Ostler è stato costruito. È, quasi parola per parola, la scommessa che abbiamo fatto.
Quindi questa non è una replica. È un benvenuto. Quando una tesi che coltivi in silenzio da due anni riceve il timbro delle persone che definiscono il settore, la risposta giusta non è irrigidirsi. È dire: bene. Ora parliamo della parte che viene dopo.
L'accordo, e poi il bivio
Ecco il punto su cui ormai quasi tutti concordano: la frontiera non è più un modello più grande addestrato su una fetta più grande di internet. Quella corsa sta arrivando al limite. L'asse successivo è il tuo contesto – i progetti, le persone, le decisioni e la storia su cui nessun modello pubblico è mai stato addestrato. La memoria è il fossato.
Una volta che lo accetti, resta esattamente una domanda, ed è tutta la partita: dove vive quella memoria, e chi la controlla?
Ci sono due risposte oneste.
La prima – la risposta enterprise – è prendere i dati di un'organizzazione e addestrarli dentro un modello. Cuocere i documenti e la cronologia delle chat dell'azienda dentro i pesi, e riaddestrare in continuazione perché il modello resti aggiornato. Per uno studio legale o una grande azienda è genuinamente potente. Lo studio vuole un unico modello che abbia interiorizzato l'intero studio. Va bene così.
L'altra – la risposta personale – è diversa per natura, non per grado. Una persona non è un'azienda. Il tuo contesto non è uno spazio di lavoro condiviso fatto di documenti approvati. Sono dieci anni di messaggi, foto, email e appunti lasciati a metà – la traccia più intima che esista della tua vita. E l'idea che il modo per far sì che un assistente ti capisca sia caricare tutto questo presso un laboratorio e addestrarlo dentro pesi che non vedrai mai, su server che non possiedi, tarati su una metrica che non è la tua – quello non è un compagno. È una registrazione di te, custodita da qualcun altro.
Dietro tutto questo ci sono prove, non solo un principio. Quando dei ricercatori hanno messo i due approcci a confronto diretto – addestrare fatti nuovi dentro un modello con il fine-tuning contro recuperarli nel contesto – il recupero ha vinto con ampio margine (Ovadia et al., "Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs", 2023: circa 0,87 contro 0,50 nei compiti su conoscenze nuove). I modelli sono semplicemente scarsi a imparare fatti nuovi facendoseli addestrare dentro, e rischiano di dimenticare ciò che già sapevano. Per i fatti che riguardano una persona, la risposta a forma di recupero è anche quella meglio sostenuta dalle prove. Metodi di addestramento più recenti puntano a colmare quel divario, e potrebbero riuscirci; ma un'architettura che tiene la tua memoria leggibile, correggibile e sulla tua macchina non dipende dal vincere quella corsa.
Una memoria che non puoi vedere non è tua
Pensiamo che la risposta personale debba essere locale. Non come slogan, ma come architettura.
Ostler non addestra la tua vita dentro un modello nel nostro cloud. Non abbiamo un cloud per i tuoi dati. Ostler legge gli archivi già presenti sul tuo Mac – Messages, Mail, Contacts, Calendar, i tuoi appunti – e costruisce un grafo di conoscenza personale che risiede sulla tua macchina. La memoria è una cosa che puoi aprire, leggere, correggere e cancellare. Quando l'assistente ti dice qualcosa sulla tua stessa vita, sta leggendo da un grafo che possiedi, non richiamando qualcosa di dissolto dentro pesi che nessuno può ispezionare.
È questa la differenza fra una memoria e un archivio. Una memoria che tieni tu è tua. Una memoria sul server di qualcun altro, che non puoi vedere e non puoi rimuovere, è un archivio che loro tengono su di te. Per un'impresa un archivio può essere accettabile. Per una persona non dovrebbe esserlo.
È anche il motivo per cui "local-first" sta diventando il minimo per sedersi al tavolo e non è più tutta la storia. Adesso lo rivendicheranno parecchi prodotti. La promessa più difficile e più onesta è quella che sta sotto: non solo che i dati siano locali, ma che la cucitura la tenga tu – sei tu a decidere cosa viene conservato, cosa viene fatto emergere e cosa viene dimenticato. Ostler è costruito perché tu possa farlo. Livelli di privacy su ogni fatto. Un meccanismo di correzione che ti lascia cancellare, sostituire o integrare ciò che il sistema crede. Un wiki della tua stessa vita che puoi davvero sfogliare e verificare. Il controllo è la funzionalità, non l'attrito.
La stessa scommessa, portata nell'angolo personale
Niente di tutto questo ci mette in contrasto con i laboratori che ora stanno riversando denaro nel contesto. Ci mette sulla stessa mappa, in un punto diverso. Loro stanno costruendo la memoria di un'organizzazione, nel cloud, per l'impresa. Noi stiamo costruendo la memoria di una persona, sulla sua macchina, per lei.
Siamo contenti che la categoria sia reale. Lo pensiamo da molto tempo – il pattern di una base di conoscenza compilata automaticamente, "mantenuta come codice", è uno che Karpathy stesso ha descritto, e oggi sta dentro la nostra architettura. La conferma è benvenuta.
Noi abbiamo semplicemente risposto alla domanda che viene dopo l'accordo. La memoria è il fossato – sì. E la memoria più personale del mondo dovrebbe vivere in esattamente un posto: presso la persona a cui appartiene. È questo che stiamo costruendo. Gira sul tuo Mac. Le chiavi non lasciano mai le tue mani.
Se è quello il futuro su cui vuoi scommettere, puoi leggere dell'architettura qui. Domande, correzioni, disaccordi – hello@ostler.ai.