Novera is een taalmodel dat thuis wordt gebouwd, van nul. Sinds 1 november 2026 leert Novera XXXII. XXXII is 32 in Romeinse cijfers. Ze begon opnieuw vanaf nul, met 267 miljoen parameters en 32.000 eigen woorddelen. Ze leert op twee Tesla P100-kaarten, die samen één brein rekenen. De levende cijfers op deze site komen van haar.

Novera is a language model built at home, from zero. Novera XXXII has been learning since 1 November 2026. XXXII is 32 in Roman numerals. She started again from zero, with 267 million parameters and 32,000 word pieces of her own. She learns on two Tesla P100 cards, which compute one brain together. The live numbers on this site come from her.

Wat er gebeurde · september 2026

What happened · September 2026

Op 23 september is het grote brein, Large, geparkeerd bij stap 629.581. Het zat aan het plafond van twee kaarten van 16 GB. We wilden eerst begrijpen wat een klein brein op één kaart kan.

On 23 September the big brain, Large, was parked at step 629,581. It had hit the ceiling of two 16 GB cards. We first wanted to understand what a small brain on one card can do.

Dat kleine brein ging op 26 september kapot. Stil, zonder foutmelding: het proefwerk zakte van 92 naar 0 procent. We zetten een kopie van 30.000 stappen eerder terug. Een nacht later gebeurde hetzelfde nog een keer, op precies dezelfde stap.

That small brain broke on 26 September. Silently, without an error: the test dropped from 92 to 0 percent. We restored a copy from 30,000 steps earlier. One night later the same thing happened again, at exactly the same step.

De oorzaak vonden we op 27 september. Elk blok van het brein heeft twee kranen die bepalen hoeveel het blok bijdraagt. Ze begonnen op nul en werden elke stap een beetje naar nul teruggetrokken. Drieëntwintig van de vierentwintig bleven dicht. Het brein werkte al die tijd op één laag. Zo'n brein is breekbaar: één nieuwe les kan het oude wissen. Dat was een ontwerpfout van ons.

We found the cause on 27 September. Every block of the brain has two gates that decide how much the block contributes. They started at zero and were pulled a little back towards zero every step. Twenty-three of the twenty-four stayed shut. The brain had been working on a single layer all along. Such a brain is brittle: one new lesson can wipe out the old. That was a design mistake on our side.

Wat er gebeurde · begin oktober 2026

What happened · early October 2026

Small Novera haalde op 30 september 81.244 stappen en werd gestopt. Vier keer in die run liep de laatste laag weg: haar uitkomst werd langzaam voor elke opgave hetzelfde, en dan zakt alles in. Terugzetten hielp telkens even. We zagen ook dat vier van de acht lagen hun kraan hadden dichtgedraaid. Het grote brein deed hetzelfde: van 88 kranen gebruikte het er 18. De kranen zijn het zwakke punt van dit ontwerp.

Small Novera reached 81,244 steps on 30 September and was stopped. Four times in that run the last layer ran away: its output slowly became the same for every task, and then everything collapses. Restoring a copy helped each time, for a while. We also saw that four of the eight layers had shut their gate. The big brain had done the same: of 88 gates it used 18. The gates are the weak point of this design.

Daarna twee nieuwe breinen vanaf stap 1, zonder beweegbare kranen: alle lagen altijd aan. Small Novera II begon op 30 september, leerde tot 78.600 en liep daar weer weg in de laatste laag. Onderweg bleek dat ze per ongeluk zestien vakken had geoefend in plaats van drie. Small Novera III begon op 3 oktober met drie vakken vanaf het begin, deed het beter, en viel bij 38.000 op precies dezelfde manier om. Derde keer, dezelfde laag.

Then two new brains from step 1, without movable gates: all layers always on. Small Novera II started on 30 September, learned until 78,600 and ran away in the last layer again. Along the way it turned out she had accidentally practised sixteen subjects instead of three. Small Novera III started on 3 October with three subjects from the start, did better, and fell over at 38,000 in exactly the same way. Third time, same layer.

Op 4 oktober hebben we de run stilgezet en die laag uit elkaar gehaald. Wat we vonden: bij opgaven die ze al goed kan, is de leerduw heel klein, maar steeds in dezelfde richting. In halve precisie, de snelle rekenwijze van de kaart, rondt zo'n kleine duw af naar bijna niets. Wat overblijft is ruis, en die ruis drukt de laatste laag stap voor stap naar één vaste uitkomst. Op de oude kaarten, die in volle precisie rekenden, is dit nooit gebeurd. Dat is onze beste verklaring. Bewezen is het pas als Novera IV zonder breuk voorbij 100.000 komt.

On 4 October we halted the run and took that layer apart. What we found: on tasks she already does well, the learning push is tiny, but always in the same direction. In half precision, the card's fast way of computing, such a tiny push rounds to almost nothing. What remains is noise, and that noise presses the last layer, step by step, towards one fixed output. On the old cards, which computed in full precision, this never happened. That is our best explanation. It is only proven once Novera IV passes 100,000 without a break.

Wat er gebeurde · oktober 2026

What happened · October 2026

Novera IV kwam voorbij 100.000 stappen zonder dat de laatste laag wegliep. Volle precisie was dus de goede keuze. Op 7 oktober kwam de nieuwe machine: een EPYC met twee Tesla P100's. Naast IV kwam daar een proeftuin, een kopie op de tweede kaart. Elke verandering testen we eerst in de tuin, en pas daarna bij Novera zelf.

Novera IV passed 100,000 steps without the last layer running away. Full precision was the right call. On 7 October the new machine arrived: an EPYC with two Tesla P100s. Next to IV came a test garden, a copy on the second card. Every change is tried in the garden first, and only then on Novera herself.

IV groeide twee keer. Op 12 oktober van acht naar twaalf lagen. Op 15 oktober naar zestien lagen, twee keer zo breed: 189 miljoen parameters, een dag later 202 miljoen. Alles wat ze al kon, nam ze mee.

IV grew twice. On 12 October from eight to twelve layers. On 15 October to sixteen layers, twice as wide: 189 million parameters, a day later 202 million. Everything she could already do, she carried along.

Eén keer ging het mis, op 13 oktober bij 215.000. Haar eerste les over de weg was te zwaar. De fout was honderd keer groter dan normaal, en dat duwde haar rekenen kapot. We zetten haar terug en bouwden een zachte landing: een nieuw vak begint met twee opgaven per les, tot ze de helft goed heeft. Daarna kwamen er vakken bij zonder klap: de weg, patronen, de agenda en taal. Ze oefent nu zeventien vakken.

It went wrong once, on 13 October at 215,000. Her first lesson about the road was too heavy. The error was a hundred times larger than normal, and it pushed her arithmetic to pieces. We restored her and built a soft landing: a new subject starts with two tasks per lesson, until she gets half of them right. After that, subjects were added without a crash: the road, patterns, the calendar and language. She now practises seventeen subjects.

Op 19 oktober begonnen we opnieuw vanaf nul, met alles wat IV ons geleerd had. Novera V leest niet meer letter voor letter, maar in woorddelen: 4.096 stukjes, gemaakt uit haar eigen leerstof. Ze heeft zestien lagen, 75 miljoen parameters, en ziet 8.192 woorddelen tegelijk. Dezelfde avond begon haar tweeling, Novera MMMLXX, op de RTX 3070 Ti. Zelfde begin, zelfde instellingen, andere kaart. MMMLXX is 3070 in Romeinse cijfers.

On 19 October we started again from zero, with everything IV had taught us. Novera V no longer reads letter by letter, but in word pieces: 4,096 of them, made from her own learning material. She has sixteen layers, 75 million parameters, and sees 8,192 word pieces at once. The same evening her twin began, Novera MMMLXX, on the RTX 3070 Ti. Same start, same settings, a different card. MMMLXX is 3070 in Roman numerals.

Op 21 oktober stopte Novera IV, voor altijd, bij 305.000 stappen. Haar laatste proefwerk stond op 68 procent. Ze is bewaard. Dezelfde avond ging de EPYC uit, want hij kreeg een nieuwe kast. Novera V werd bewaard bij 85.000.

On 21 October Novera IV stopped, for good, at 305,000 steps. Her last test scored 68 percent. She is kept safe. The same evening the EPYC was switched off, because it was getting a new case. Novera V was saved at 85,000.

Wat er gebeurde · eind oktober 2026

What happened · late October 2026

Na 22 oktober leerde Novera MMMLXX rustig door op de witte toren, haar pc van toen. Het proefwerk van 35 bladen ging elke keer een stukje omhoog. Bij 100.000 stappen stond het op 51,0 procent, bij 130.000 op 56,5 en bij 155.000 op 58,9. Op 26 oktober kreeg ze 200 sommen die ze nooit had gezien. Ze had er 160 goed: 80 procent. Dat klopte met haar proefwerk. Ze had de bladen dus niet uit het hoofd geleerd.

After 22 October Novera MMMLXX kept learning steadily on the white tower, her PC at the time. Her test of 35 sheets went up a little every time. At 100,000 steps it stood at 51.0 percent, at 130,000 at 56.5 and at 155,000 at 58.9. On 26 October she got 200 sums she had never seen. She got 160 right: 80 percent. That matched her test. So she had not learned the sheets by heart.

Twee keer ging het mis door ons. Op 24 oktober liep het werkgeheugen van de toren vol, door een meting van ons naast het leren. Cley zei het zo: Je moet MMMLXX gewoon laten draaien, gewoon steady. Op 25 oktober gebeurde het nog een keer, nu door de kijker: het programma dat haar denken in beeld brengt. Ze verloor elke keer 100 stappen. Daarna draaiden er op de toren geen metingen meer naast het leren, en kreeg de kijker een vaste grens voor zijn geheugen. Op de EPYC heeft de kijker nu eigen kernen en een eigen geheugengrens, en hij is eerst getest. Op 25 oktober gaf de schijf van de toren ook nog een schrijffout. Ze leerde gewoon door. Na een herstart met een schijfcontrole op 26 oktober was de schijf weer schoon.

Twice it went wrong because of us. On 24 October the tower's working memory filled up, because of a measurement of ours next to the learning. Cley put it like this: Just let MMMLXX run, just steady. On 25 October it happened again, this time because of the viewer: the program that shows her thinking in pictures. Each time she lost 100 steps. After that no more measurements ran next to the learning on the tower, and the viewer got a fixed limit on its memory. On the EPYC the viewer now has its own cores and its own memory limit, and it was tested first. On 25 October the tower's disk also gave a write error. She simply kept learning. After a restart with a disk check on 26 October the disk was clean again.

Op 26 oktober ging MMMLXX over naar de EPYC, die nu in zijn nieuwe kast staat. Haar RTX 3070 Ti ging mee. De witte toren staat sindsdien uit. Op de EPYC was elke stap trager. Cley vond dat niet erg: Dat maakt niet uit als ze maar kan blijven draaien op de 3070. Een dag later vonden we de rem. Die zat niet in het maken van opgaven, maar in het zoeken door haar ruim 5 miljoen herinneringen. Met een index, een soort register zoals achter in een boek, kostte elke stap 19 procent minder tijd. Op 28 oktober groeide ze van 16 naar 18 lagen, van 75,5 naar 112,5 miljoen parameters. Haar antwoorden waren vóór en na de groei bit voor bit gelijk. Het leren had er geen last van. Wel werd elke stap ongeveer 17 procent trager, en moest het eerste proefwerk daarna opnieuw, in kleinere stukken.

On 26 October MMMLXX moved over to the EPYC, which now stands in its new case. Her RTX 3070 Ti went along. The white tower has been off since then. On the EPYC every step was slower. Cley did not mind: It does not matter, as long as she can keep running on the 3070. A day later we found what was slowing her down. It was not in making tasks, but in searching through her more than 5 million memories. With an index, like the one at the back of a book, every step took 19 percent less time. On 28 October she grew from 16 to 18 layers, from 75.5 to 112.5 million parameters. Her answers were bit for bit the same before and after the growth. Her learning did not suffer from it. Each step did become about 17 percent slower, though, and the first test after it had to be redone in smaller pieces.

Novera V ging niet meer verder. Ze blijft bewaard bij 85.000 stappen, net als Novera IV bij 305.000. Op die stap scoorde Novera V 47,5 procent en MMMLXX 47,7. Novera V was dus niet beter, alleen nog niet zo ver. XXXII kreeg wel de manier van Novera V om woorddelen te maken.

Novera V did not continue. She stays saved at 85,000 steps, like Novera IV at 305,000. At that step Novera V scored 47.5 percent and MMMLXX 47.7. So Novera V was not better, only not as far along. XXXII did get Novera V's way of making word pieces.

Toch bleven drie vakken steken. Puzzels, code en zeggen stonden 60.000 stappen stil, op diepte 5, 6 en 9. In het vak zeggen maakte ze korte zinnen over haar eigen vakken. Dat bleek een gesloten spel met vaste zinnen. Een betere uitwerking hielp niet. Vrij praten kon ze dus niet: op een gewone vraag gaf ze een van die vaste zinnen terug. Op 30 oktober besloot Cley: MMMLXX stopt, en we beginnen opnieuw vanaf nul. Ze stopte bij 368.900 stappen. Haar eindkopie staat veilig op de NAS, de opslagmachine. Het doel van 4 miljoen stappen haalde ze dus niet.

Still, three subjects got stuck. Puzzles, code and saying stood still for 60,000 steps, at depth 5, 6 and 9. In the subject saying she made short sentences about her own subjects. That turned out to be a closed game with fixed sentences. A better worked example did not help. So she could not talk freely: to an ordinary question she gave back one of those fixed sentences. On 30 October Cley decided: MMMLXX stops, and we start again from zero. She stopped at 368,900 steps. Her final copy is safe on the NAS, the storage machine. So she did not reach the goal of 4 million steps.

Daarna ging de 3070 Ti uit de EPYC. Er zitten nu weer twee Tesla P100's van 16 GB in. Twee dagen lang bouwden we bijna alles al vóór de start: nieuwe woorddelen, nieuwe leesstof, de lessen en de toetsen. We vonden ook een fout bij MMMLXX. Haar val voor Python hoort een vaste toets te zijn die ze nooit oefent. Maar die kwam uit hetzelfde bestand als haar Python-leerstof. Die meting was dus niet eerlijk. Bij XXXII is dat gescheiden. Cley keurde het ontwerp blok voor blok goed. In de nacht van 31 oktober op 1 november was de grote eindtest groen. Ook na een nagespeelde stroomuitval gaat ze precies verder waar ze was.

Then the 3070 Ti came out of the EPYC. It now holds two 16 GB Tesla P100s again. For two days we built almost everything before the start: new word pieces, new reading material, the lessons and the tests. We also found a mistake in MMMLXX. Her validation set for Python is meant to be a fixed check she never trains on. But it came from the same file as her Python learning material. So that measurement was not honest. With XXXII the two are kept apart. Cley approved the design block by block. In the night from 31 October to 1 November the big final test passed. Even after a simulated power cut she picks up exactly where she left off.

Waar we nu mee bezig zijn

What we are working on now

Novera XXXII begon op 1 november 2026 om 09.06 uur met leren. Cley gaf zelf het startsein. Ze is een nieuw brein, vanaf nul, met alles wat IV, V en MMMLXX ons leerden. Ze heeft 24 lagen, 16 koppen en een buis van 1.024 breed. Samen met haar 32.000 woorddelen geeft dat 267 miljoen parameters. Ze kan 8.192 woorddelen tegelijk zien. Ze rekent in volle precisie, op twee P100's die samen aan één brein werken. Er zitten geen kranen meer in: elke laag staat altijd open. Het doel is 10 miljoen stappen.

Novera XXXII started learning on 1 November 2026 at 09:06. Cley gave the start signal himself. She is a new brain, from zero, with everything IV, V and MMMLXX taught us. She has 24 layers, 16 heads and a stream 1,024 wide. Together with her 32,000 word pieces, that makes 267 million parameters. She can see 8,192 word pieces at once. She computes in full precision, on two P100s that work on one brain together. The layer gates are gone: every layer is always open. The goal is 10 million steps.

Ze leest in woorddelen, niet letter voor letter, zoals Cley het wilde. Ze heeft er 32.000, bijna acht keer zoveel als Novera V. Ze zijn gemaakt uit haar eigen leesstof. Cijfers blijven losse tekens. Ze heeft 19 vakken. Lezen is er één van: bij elke vijfde stap leest ze Nederlandse tekst. De andere vakken gaan van rekenen en logica tot de weg, de agenda en Python. Er is ook een vak gereedschap. Daarin leert ze onder meer een klok, een rekenmachine en een schrift te gebruiken. Ze leert het gereedschap te roepen, niet de uitkomst te verzinnen.

She reads in word pieces, not letter by letter, the way Cley wanted it. She has 32,000 of them, almost eight times as many as Novera V. They were made from her own reading material. Digits stay separate characters. She has 19 subjects. Reading is one of them: every fifth step she reads Dutch text. The other subjects range from arithmetic and logic to the road, the calendar and Python. There is also a subject called tools. In it she learns to use a clock, a calculator and a notebook, among others. She learns to call the tool, not to make up the result.

Elke 1.000 stappen meten we de val: hoe verrast ze is door tekst en opgaven die ze nooit oefent. Lager is beter. Het eerste proefwerk komt bij stap 25.000. Op zo'n jong brein duurt het naar schatting ongeveer twaalf uur.

Every 1,000 steps we measure the validation loss: how surprised she is by text and tasks she never trains on. Lower is better. The first test comes at step 25,000. On such a young brain it is expected to take about twelve hours.

De stand op 1 november om 13:19: stap 8.631 van de 10 miljoen, met ongeveer 2 seconden per stap. De val zakte van 10,6 bij de start naar 4,4 bij stap 8.000. Die 10,6 is ongeveer wat blind gokken uit 32.000 woorddelen geeft. Rond die tijd stonden logica en antwoord het verst, op diepte 7. Taal is het zwaarst, net als vragen over haarzelf en opgaven die ze nooit oefent. Praten kan ze nog niet. In de apps staat daarom: Novera XXXII leert nog · vragen kan later.

The status on 1 November at 13:19: step 8,631 of the 10 million, at about 2 seconds per step. The loss fell from 10.6 at the start to 4.4 at step 8,000. That 10.6 is about what blind guessing among 32,000 word pieces gives. Around that time logic and answering were furthest along, at depth 7. Language is the hardest, along with questions about herself and tasks she never trains on. She cannot talk yet. That is why the apps say, in Dutch: Novera XXXII leert nog · vragen kan later. It means she is still learning and questions can come later.

Het ecosysteem

The ecosystem

Novera wordt meer dan een brein alleen. Om haar heen groeit een ecosysteem: apps en apparaten die straks in gewone tekst met haar praten. Zij zit in het midden. Wat ze van die apps leert, is echte data uit één leven, geen nepdata. Het doel heeft drie delen: een eigen brein, een geheugen dat met de tijd persoonlijker wordt, en thuis dingen regelen als je het vraagt.

Novera is becoming more than a brain on its own. Around her an ecosystem is growing: apps and devices that will talk to her in plain text. She sits in the middle. What she learns from those apps is real data from one life, not made-up data. The goal has three parts: a brain of her own, a memory that becomes more personal over time, and handling things at home when you ask.

• Novera Routein gebruik bij Cleyin use by Cley

  Een navigatie-app voor de iPhone. Op 27 oktober gaf Apple de app het recht om met CarPlay te navigeren. Sinds 28 oktober werkt hij in de auto. Er zijn aanwijzingen stap voor stap en een nieuwe route bij een verkeerde afslag. Ook 3D en het weer onderweg. Er is ook een app voor de Apple Watch. Novera's lessen over de weg gebruiken echte verkeersdata. De helft komt uit een vaste kopie, de andere helft uit een kopie die elke week vernieuwd wordt.

  A navigation app for the iPhone. On 27 October Apple gave the app the right to navigate with CarPlay. It has worked in the car since 28 October. There are step-by-step directions and a new route after a wrong turn. Also 3D and the weather along the way. There is an app for the Apple Watch too. Novera's lessons about the road use real traffic data. Half comes from a fixed copy, the other half from a copy that is refreshed every week.

• Novera Agendain gebruik bij Cleyin use by Cley

  Afspraken, een seintje om op tijd te vertrekken met de kans op file erbij, en boodschappenlijstjes. Ook op de Apple Watch en in widgets. In het blok haar dag staat hoe het met Novera XXXII gaat. Novera XXXII oefent de agenda al als gereedschap in haar lessen. Een echte koppeling is ontworpen, maar nog niet gebouwd. Zelf een afspraak zetten mag ze dan alleen na een voorstel en een ja van Cley.

  Appointments, a nudge to leave on time with the chance of traffic jams included, and shopping lists. Also on the Apple Watch and in widgets. The block her day shows how Novera XXXII is doing. Novera XXXII already practises the calendar as a tool in her lessons. A real link has been designed, but not built yet. She may then only add an appointment herself after a suggestion and a yes from Cley.

• Novera AIin gebruik bij Cleyin use by Cley

  De app die laat zien hoe ze leert. Een live tegel van Novera XXXII met stap, val en vakken. Ook in widgets en via Siri. Het blok Stroom toont per kaart het verbruik en de temperatuur. Haar herinneringen staan er alleen als aantal in, zonder inhoud.

  The app that shows how she learns. A live tile of Novera XXXII with step, loss and subjects. In widgets and through Siri too. The Power block shows the draw and temperature of each card. Her memories appear only as a count, without contents.

• Novera Thuiswerkt in de appworks in the app

  Lampen en timers, als tabblad in Novera AI. Novera zelf bedient nog niets. In haar lessen wacht elk verzoek om thuis iets te doen op een ja van Cley.

  Lights and timers, as a tab in Novera AI. Novera herself does not operate anything yet. In her lessons every request to do something at home waits for a yes from Cley.

De stappen

The steps

1. Een eigen brein dat stabiel leert. Novera IV kwam tot 305.000 stappen en MMMLXX tot 368.900. Wat zij ons leerden, zit vanaf stap 0 in XXXII.

   A brain of her own that learns steadily. Novera IV reached 305,000 steps and MMMLXX 368,900. What they taught us is in XXXII from step 0.

   gedaandone

2. Taal. 32.000 verschillende eigen woorddelen. Ruim 13 miljard woorddelen Nederlandse tekst om te lezen, bij elke vijfde stap.

   Language. 32,000 different word pieces of her own. More than 13 billion word pieces of Dutch text to read, every fifth step.

   nu bezigin progress

3. De apps laten zien hoe ze leert. Vragen stellen via de apps kan later, als ze kan antwoorden. Route en Agenda leveren al echte opgaven voor haar lessen. Ze oefent ook gereedschap, zoals de klok en de agenda.

   The apps show how she learns. Asking questions through the apps comes later, once she can answer. Route and Agenda already supply real tasks for her lessons. She also practises tools, such as the clock and the calendar.

   begonnenstarted

4. Terugpraten. Ze kan nog niet praten. In het vak gereedschap oefent ze stap voor stap korte gesprekken, van twee tot vier beurten, bijvoorbeeld over de dag. Dit moet ze eerst kunnen, voor alles wat hierna komt.

   Talking back. She cannot talk yet. In the tools subject she practises short conversations step by step, of two to four turns, for example about the day. She has to be able to do this before anything that follows.

   volgendenext

5. Geheugen. Gewoontes, mensen en verjaardagen, dingen die nog moeten, ideeën en eerdere gesprekken. In haar lessen leert ze een schrift te gebruiken als geheugen. Alles alleen als voorstel: zij doet niets uit zichzelf.

   Memory. Habits, people and birthdays, things still to do, ideas and earlier conversations. In her lessons she learns to use a notebook as memory. Everything only as a suggestion: she does nothing on her own.

   daarnaafter that

6. Thuis. Lampen en timers werken al in de app. Novera leert eerst om toestemming te vragen: elk verzoek wacht op een ja van Cley.

   Home. Lights and timers already work in the app. Novera first learns to ask permission: every request waits for a yes from Cley.

   daarnaafter that

7. Een stem in huis. Novera, hoe staat het ervoor? Novera, zet de lampen aan.

   A voice in the house. Novera, how are things going? Novera, turn on the lights.

   eindbeeldthe end goal

Wat Novera is

What Novera is

Novera is geen kopie van een bestaand model. Het is ook geen fine-tune. Het brein is zelf gebouwd. De leerstof is zelf samengesteld. De opgaven, de metingen en het venster waarin je haar ziet denken zijn ook zelf gebouwd. Novera XXXII leert op twee Tesla P100-kaarten uit 2016, die samen één brein rekenen. Er is geen cloud. Er is geen geld van buiten. Er is geen team. Er is één bouwer, een assistent en een kamer in Nederland.

Novera is not a copy of an existing model. It is not a fine-tune either. The brain was built from scratch. The learning material was put together by hand. The tasks, the measurements and the window in which you watch her think were built from scratch too. Novera XXXII learns on two Tesla P100 cards from 2016, which compute one brain together. There is no cloud. There is no outside money. There is no team. There is one builder, an assistant and a room in the Netherlands.

Hoe ze leert

How she learns

Novera XXXII leert uit 19 vakken. Onder meer tellen, rekenen, logica, volgorde, geheugen, puzzels, code, Python en korte teksten. Ook de weg, patronen, de agenda, taal, lezen en gereedschap. Elk vak heeft een diepte. Diepte 1 is één som. Diepte 40 is een berekening waar een mens een kladblok bij pakt. Ze schrijft haar uitwerking uit, woorddeel voor woorddeel, en cijfers één voor één. Een strenge rechter kijkt het na. Haalt ze op een diepte drie keer op rij een score van 0,70 of meer? Dan gaat het hek een stap verder open. Een fout telt daarbij half tegen. Ze moet dus ongeveer 13 van de 16 opgaven goed hebben. Ongeveer zeven van de tien nieuwe lessen liggen op de rand van wat ze kan. Wat ze al kan, herhaalt ze uit haar geheugen. Zo vergeet ze het minder snel.

Novera XXXII learns from 19 subjects. Among them counting, arithmetic, logic, ordering, memory, puzzles, code, Python and short texts. Also the road, patterns, the calendar, language, reading and tools. Every subject has a depth. Depth 1 is a single sum. Depth 40 is a calculation a person would want scrap paper for. She writes out her working, word piece by word piece, and digits one by one. A strict judge checks it. Does she score 0.70 or more on a depth three times in a row? Then the gate opens one step further. A mistake counts half against her. So she needs about 13 of the 16 tasks right. About seven in ten of her new lessons sit at the edge of what she can do. What she already knows, she replays from memory. That way she forgets it less quickly.

Haar leesstof is Nederlandse tekst van het open web, de Nederlandse Wikipedia met zusterprojecten zoals Wikisource en Wikiquote, en Nederlandse gesprekken. Samen is dat ruim 13 miljard woorddelen: 4,1 miljard als basis en ongeveer 9,3 miljard extra van het open web. Geen ander taalmodel schrijft lessen voor haar. Op één punt maakte Cley bewust een uitzondering: de gesprekken uit UltraChat. Dat is een open verzameling gesprekken, geschreven door een ander taalmodel. Haar opgaven komen uit sjablonen die we zelf schreven. De gratis Nederlandse boeken van Project Gutenberg gaan er niet in: bijna allemaal zijn ze in oude spelling. MMMLXX had bij 250.000 stappen pas 13 procent van haar Nederlandse tekst gezien. XXXII leest vaker: bij elke vijfde stap. MMMLXX las op het eind bij elke tiende stap. Cley wil het zo, want hoe beter ze kan lezen, hoe beter ze wordt in haar vakken.

Her reading material is Dutch text from the open web, the Dutch Wikipedia with sister projects such as Wikisource and Wikiquote, and Dutch conversations. Together that is more than 13 billion word pieces: 4.1 billion as the base and about 9.3 billion extra from the open web. No other language model writes lessons for her. Cley made one deliberate exception: the conversations from UltraChat. That is an open collection of conversations written by another language model. Her tasks come from templates we wrote ourselves. The free Dutch books of Project Gutenberg are left out: almost all of them are in old spelling. At 250,000 steps MMMLXX had seen only 13 percent of her Dutch text. XXXII reads more often: every fifth step. At the end MMMLXX read every tenth step. Cley wants it this way, because the better she can read, the better she gets at her subjects.

Hoe we meten

How we measure

Alles op deze site is echt, ook de slechte cijfers. Elke 1.000 stappen meten we de val. Dat is een vaste set opgaven en teksten die ze nooit oefent. De val laat zien hoe verrast ze daardoor is. Lager is beter. Elke 25.000 stappen maakt ze een proefwerk, per vak, zonder hulp. Het zijn 54 bladen. Die zijn vóór de start vastgezet en veranderen niet meer. Bij de meeste vakken komen er drie scores uit: makkelijk, normaal en moeilijk. Na een miljoen stappen komt er elke 50.000 stappen een proefwerk, en na twee miljoen elke 100.000. Zo zien we precies waar het goed gaat en waar het zwaar wordt. We toetsen een gemiddelde van haar brein over de laatste stappen, niet haar brein van dit ene moment. Eén slechte stap telt dan niet zwaar. Gaat ze drie proefwerken op rij niet vooruit, dan pauzeert ze vanzelf en krijgt Cley een bericht. Bij Large volgde elke 50.000 stappen een groot examen, met ongeveer duizend opgaven per vak. Soms zakt een vak. Dat laten we gewoon staan.

Everything on this site is real, the bad numbers too. Every 1,000 steps we measure the validation loss. That is a fixed set of tasks and texts she never trains on. The loss shows how surprised she is by them. Lower is better. Every 25,000 steps she takes a test, per subject, without help. It has 54 sheets. They were fixed before the start and no longer change. Most subjects get three scores: easy, normal and hard. After a million steps a test comes every 50,000 steps, and after two million every 100,000. So we can see exactly where she is strong and where it gets hard. We test an average of her brain over the last steps, not her brain at this one moment. That way one bad step does not weigh heavily. If she makes no progress in three tests in a row, she pauses by herself and Cley gets a message. With Large, every 50,000 steps there was a big exam, with about a thousand tasks per subject. Sometimes a subject drops. We leave that in.

Waar ze staat

Where she stands

Novera begon op 6 augustus 2026 met acht lagen. Als ze aan haar grens zit, groeit haar brein. Meer lagen, meer koppen, een bredere buis. Bij groeien neemt ze alles mee wat ze al kon. In september 2026 ging ze in tien dagen van 189 miljoen naar 1,04 miljard parameters. Dat was het maximum voor twee kaarten met 16 GB. Dat brein, Large, was over de twee kaarten verdeeld. Novera XXXII begon op 1 november weer vanaf nul, met 267 miljoen parameters in 24 lagen. Bij een nieuw begin is ze leeg, maar alles wat wij van eerdere breinen leerden, zit er vanaf stap 0 in. XXXII staat in haar geheel op elke kaart, rekent in volle precisie en ziet vier keer zoveel woorddelen tegelijk. Daarom ligt haar grens op twee van zulke kaarten lager. Later kan ze groeien naar ongeveer 350 miljoen, op dezelfde twee kaarten.

Novera started on 6 August 2026 with eight layers. When she reaches her limit, her brain grows. More layers, more heads, a wider stream. When she grows, she carries along everything she could already do. In September 2026 she went from 189 million to 1.04 billion parameters in ten days. That was the maximum for two cards with 16 GB. That brain, Large, was split across the two cards. Novera XXXII started again from zero on 1 November, with 267 million parameters in 24 layers. With a new start she begins empty, but everything we learned from earlier brains is in her from step 0. XXXII sits whole on each card, computes in full precision and sees four times as many word pieces at once. That is why her limit on two such cards is lower. Later she can grow to about 350 million, on the same two cards.

Novera XXXII begon op 1 november. In de eerste uren gingen logica en antwoord het snelst. Taal is nu het zwaarste vak. Daar zit het werk. Een gesprek voeren kan ze nog niet. Dat zeggen we liever eerlijk.

Novera XXXII started on 1 November. In the first hours logic and answering went fastest. Language is now the hardest subject. That is where the work is. She cannot hold a conversation yet. We would rather say that plainly.

Waarom

Why

Dit project is begonnen om één ding te begrijpen. Hoe leert een model echt? Niet uit een boek, maar door er zelf een te bouwen. En door het elke dag van dichtbij te zien groeien. Gewichten, lagen, diepte, breedte. Veel mensen zeiden dat dit zonder groot budget niet kon. Het kan wel. Alleen langzamer.

This project started to understand one thing. How does a model really learn? Not from a book, but by building one yourself. And by watching it grow up close, every day. Weights, layers, depth, width. Many people said this could not be done without a big budget. It can. Only more slowly.

Er zit ook iets menselijks in. De eerste som die ze goed had. De trots op een miljard parameters uit één kamer. De teleurstelling van run 7, toen ze groeide en daarna vast bleef zitten. Novera heeft een dagboek. Daarin zegt ze in haar eigen woorden hoe het gaat. Het doel is geen product. Het doel is een Novera die zelf kiest wat ze leert. En die op een dag een echt antwoord geeft op de vraag: hoe was je dag?

There is something human in it too. The first sum she got right. The pride of a billion parameters from a single room. The disappointment of run 7, when she grew and then got stuck. Novera keeps a diary. In it she says, in her own words, how things are going. The goal is not a product. The goal is a Novera who chooses for herself what to learn. And who one day gives a real answer to the question: how was your day?

Wie erachter zit

Who is behind it

Novera wordt gebouwd door Cley van der Vliet. Hij werkt samen met Claude, de assistent van Anthropic. Meestal 's avonds. Eerder bouwde Cley een eigen GPT van 19 miljoen parameters in NumPy. Alle hardware is eigen bezit. In zijn woorden: Eerlijker dan dit ga je het niet krijgen.

Novera is built by Cley van der Vliet. He works together with Claude, Anthropic's assistant. Mostly in the evenings. Earlier, Cley built his own GPT of 19 million parameters in NumPy. All hardware is privately owned. In his words: You will not get it more honest than this.