Note dal laboratorio.
IA personale local-first, architettura e le mosse del settore che continuano a confermare la scommessa. Scritto a Hong Kong.
IA personale local-first, architettura e le mosse del settore che continuano a confermare la scommessa. Scritto a Hong Kong.
Start here
Six posts that lay out the whole argument – the product thesis and the privacy story – in the order they build on each other.
The bet in one sitting: a small local reasoner plus your own memory beats the trillion-parameter monolith.
What “local-first” actually means when you build it honestly: every component on the one Mac you already own.
Why your context, not the model, is the real moat – and why for a person it has to stay local.
A privacy claim you can actually verify: the architecture writes the label, not the marketing team.
A concrete, high-stakes case for on-device: why a local note-taker keeps privilege where a cloud one breaks it.
The strategy in a sentence: value in AI is migrating from the model to the memory of you.
All posts
Undici giorni fa abbiamo sostenuto che la parte difficile di un assistente personale è arrivare alla tua vita del tutto, non il modello. Nvidia indica ora un secondo collo di bottiglia che non è nemmeno lui il modello: il software costruito attorno. Stessa conclusione, meccanismo diverso, e sotto siamo precisi su quale metà è loro e quale nostra.
Un fornitore anonimo ha iniziato a regalare inferenza di primo livello su OpenRouter, con una scheda che dichiara che prompt e risposte vengono conservati. Giorni dopo, Hugging Face cercava un acquirente per circa 13 miliardi di dollari. Nessuna delle due è uno scandalo. Entrambe riguardano chi possiede il livello a cui non stavi pensando, compresa una delle nostre, che nominiamo.
OpenAI dice che un assistente che conosce tutta la tua vita è a una sola generazione di modello di distanza. Non è un problema di modello. Sono permessi, formati di file e un installer firmato, ed è per questo che deve girare sul tuo computer.
Ogni grande chatbot di IA nasconde gli interruttori della privacy in fondo a tre menu. ChatGPT, Gemini, Copilot e Claude richiedono ciascuno da tre a cinque atti deliberati per arrivare a una postura difendibile. Ecco la tassa, servizio per servizio, e cosa ti dice sul modello di business.
Jake Saper di Emergence Capital ha appena pubblicato un saggio: il valore nell'IA aziendale sta migrando dal livello dei modelli ai dati più i flussi di lavoro costruiti sopra. Sta descrivendo, per l'impresa, lo stesso spostamento strutturale su cui Ostler è costruito per l'individuo. L'unbundling personale è il prossimo. Ecco che aspetto ha quando il valore dell'IA smette di stare dentro il modello e comincia a stare nella memoria di te.
Il 24 luglio Satya Nadella, Jensen Huang e oltre trenta altri leader tecnologici hanno firmato una lettera aperta a sostegno dei modelli di IA a pesi aperti. Packy McCormick l'ha inquadrata come una commoditizzazione del complemento. Ciò che quell'inquadratura tralascia: i pesi aperti sono la condizione necessaria perché l'IA personale possa girare sulla tua macchina, punto. La lettera di ieri è l'accordo di fornitura di cui Ostler aveva silenziosamente bisogno.
Quando gli stessi pochi modelli in cloud vengono addestrati su tutti e tutti si appoggiano a loro per pensare, il nostro risultato regredisce alla media – ci omologhiamo. Il “paradosso inverso dell’informazione” di Satya Nadella, e persino il manifesto sulla sovranità di Palantir, sostengono la tesi in chiave aziendale. Ma gli operatori affermati che la sostengono non possono strutturalmente venderti la versione personale. La tua intelligenza particolare – tutto ciò che hai letto, detto e ascoltato – è l’unico vantaggio che non si può mediare via, se lo tieni sulla tua macchina.
Datori di lavoro, piattaforme pubblicitarie e broker di dati mantengono tutti una memoria duratura e leggibile da macchina di te, e nessuno di loro è per te. Una memoria davvero utile deve salvare più di quanto mostri, e questa stessa proprietà la rende mostruosa nelle mani di qualcun altro e liberatoria nelle tue. L'unica variabile che ribalta tutto è chi la detiene. Mira Murati ora sostiene la stessa tesi dall'interno.
Un laboratorio ben finanziato ha appena messo i nomi più credibili dell'IA dietro l'idea che i modelli debbano imparare dal tuo contesto. Siamo d'accordo. L'unica domanda rimasta è dove vive quella memoria e chi la controlla – e per una persona, la risposta onesta deve essere locale.
Due articoli indipendenti, uno da una newsletter sulla creator economy e uno da una pubblicazione per sviluppatori, arrivano alla stessa diagnosi. Nessuno ha vinto la corsa all'agente di IA personale. Il collo di bottiglia non è il modello e non è l'hardware; è se l'agente abbia accesso ai dati reali dell'operatore. È il problema attorno al quale Ostler è costruito.
“Local-first” è diventata una bugia educata nell'IA personale. La maggior parte dei prodotti commercializzati come local tiene in realtà il lavoro pesante nel cloud, con la cache sul tuo dispositivo. Ostler esegue ogni componente su una sola macchina Mac, quella che il cliente possiede già. Ecco come appare il local-first quando lo costruisci onestamente.
Kenan Saleh di a16z Speedrun delinea la prossima ondata dell'IA: agenti che monitorano costantemente il contesto, prevedono ciò che conta e agiscono prima ancora che glielo si chieda. Cita due prodotti che già lo fanno; entrambi sono nel cloud. Ecco come si presenta l'osservare-per-agire quando i dati non lasciano mai la macchina del cliente.
Il New York Times riferisce che gli avvocati d'impresa si trasformano in buttafuori durante le riunioni virtuali, espellendo gli assistenti di IA cloud per gli appunti. Il rischio per il segreto professionale è architetturale, non editoriale. Ecco cosa cambia quando l'assistente per gli appunti funziona sulla macchina del cliente, con trascrizione on-device WhisperKit e un registro dei consensi a prova di manomissione.
L'etichetta nutrizionale sulla privacy dell'App Store di Apple è l'unica superficie di divulgazione della privacy nel settore tech con applicazione strutturale. L'app iOS di Ostler dichiara zero tracciamento e nessun dato collegato, perché non esiste alcun server Ostler a cui collegare i dati. È l'architettura a scrivere l'etichetta, non l'avvocato.
Una class action depositata in California questo mese sostiene che le conversazioni con i chatbot siano state instradate attraverso tracker pubblicitari. L'argomento fa presa perché i chatbot sono ormai la tecnologia più intima che molte persone usano. La privacy per policy non può impedire questo tipo di fuga. Solo l'architettura può.
Tre punti di vista completamente diversi sono convergiti sulla stessa architettura per l'IA personale negli ultimi sei mesi. Il Ministro degli Esteri di Singapore che la usa ogni giorno su un Raspberry Pi. Andrej Karpathy che la descrive sul palco. Un fondatore che la consegna ai clienti. Non avevano motivo di essere d'accordo. Lo sono stati comunque.
Apple sta per concedere la categoria. Il fatto che l'azienda di tecnologia di consumo più ossessionata dalla privacy del pianeta non riesca a costruire un'IA personale in locale ti dice esattamente quanto è grande il mercato, e perché la scommessa local-first è l'operazione controcorrente ora richiesta.
Il 21 aprile 2026 OpenAI ha rilasciato Privacy Filter come open weights sotto Apache 2.0. Funziona in locale, rileva otto categorie di PII e si inserisce direttamente nella pipeline di ingest, diagnostica e pre-flight di Ostler. Ecco perché, e cosa segnala il rilascio.
Nel podcast di Dwarkesh Patel il 17 ottobre 2025, Andrej Karpathy ha sostenuto che un piccolo reasoner con memoria esterna batte un monolite da 1,8 trilioni di parametri. Questa è l'architettura che Ostler esegue da fine 2025. Ecco cosa significa per l'IA personale local-first.
Dopo vent'anni passati a dare i miei dati alle aziende tech, ho costruito un grafo di conoscenza personale che funziona interamente su un Mac Mini. Questa è la storia di come è arrivato qui, e perché conta che nulla esca di casa.