notiziole

MATEMATICA – Lezione 52: Rappresentazioni proiettive e teoria dei gruppi

@matematica

Il contenuto di questo volume mostra ancora una volta come la matematica, per quanto possa sembrare astratta a prima vista, possa tornare utile ai fisici, un po’ come il calcolo tensoriale è servito per la relatività generale. Gianluigi Filippelli qui mostra come partendo dalla struttura di gruppo e aggiungendoci la topologia si ottengono i gruppi di Lie, che sono ancora teorici e sono una rappresentazione delle trasformazioni di un insieme; ma Wigner è riuscito a usare questi gruppi per mostrare come questi gruppi possono essere usati in meccanica quantistica per studiare le trasformazioni che conservano la probabilità di transizione tra due stati quantistici diversi, e mostrare così come la meccanica quantistica può essere assurda, ma in realtà ha una sua coerenza interna. Nella seconda parte del volume Filippelli passa alla teoria delle rappresentazioni, che studia le strutture algebriche astratte rappresentando i loro elementi come trasformazioni lineari di spazi vettoriali, che sappiamo trattare meglio.
Da questo volume non scrivo più i giochi matematici, ma li lascio agli autori: Filippelli tratta del sudoku e della sua versione più matematica, il calculoku, mentre Veronica Giuffré ci parla di Galileo.

Gianluigi Filippelli, Matematica – Lezione 52: Rappresentazioni proiettive e teoria dei gruppi, allegato a Gazzetta dello Sport e Corriere della Sera, €6.99 più il prezzo del giornale.

Quizzino della domenica: Ninfee

733 – probabilità

@matematica

Una rana si trova in uno stagno dove ci sono quattro ninfee in fila, che numeriamo 1, 2, 3, 4. Inizialmente si trova sulla ninfea 2. Se la rana si trova sulla ninfea 1 oppure 4, se ne sta lì bella tranquilla. Se è sulla ninfea 2 può spostarsi sulla 3 con probabilità 1/2 e sulla 1 con probabilità 1/2; se è sulla ninfea 3 può spostarsi sulla 4 con probabilità 2/3 e sulla 2 con probabilità 1/3. Qual è la probabilità che la rana termini i suoi salti sulla ninfea 1?

Gli è tutta una bolla!

@aitech

In questi giorni è difficile stare dietro a tutte le notizie su quanto succede nel mondo degli LLM, soprattutto se uno nella vita dovrebbe fare dell’altro. Torno sulla storia di DeepSeek per commentare questo articolo di Georg Zoeller, che vede le cose da un punto di vista non solo tecnico ma economico.

Già il titolo è emblematico, anche se confesso che ho dovuto chiedere al mio socialino di nicchia che significasse “Chinese Quant”. (Sono gli analisti quantitativi: come penso sappiate DeepSeek è un progetto collaterale di una società di trading) Il punto chiave è “The Greatest Growth Hack of All Times”, che è ancora più perfido della mia “bolla” ma ha in comune il fatto che tutta la pubblicità su queste AI è stata montata ad arte solo per far crescere il valore delle azioni. Che significato ha per esempio che la capitalizzazione di borsa di Nvidia fosse arrivata a mille miliardi di dollari, quasi la metà del PIL italiano? (ok, non dovrei mischiare mele con pere, ma è per dare un’idea). Col senno di poi avremmo dovuto accorgerci che il continuo cambio di nomi e acronimi, e lo stillicidio di prodotti lanciati e lasciati poi marcire perché c’era il nuovo sistema ancora più potente, per non parlare dei consumi sempre più esagerati significava che in realtà l’unico piano che c’era era far crescere artificialmente un mercato che non aveva nessuno sbocco reale, come ben sa chi ha provato a usare davvero in pratica questi sistemi e non solo a giocare con i chatbot. Il mantra era “solo i BigTech possono stare sul mercato delle AI”.

Zoeller continua presentando un sistema text-to-speech, Kokoro-82M, il cui addestramento è costato una cifra dell’ordine di 400$ e che dà risultati “sufficientemente buoni in molti casi”. Dovrei chiedere ai miei vecchi amici di Loquendo che ne pensano. Chiaramente un sistema di questo tipo mina alla base i modelli di prezzo dei grandi text-to-speech aziendali. DeekSeek fa lo stesso: usa il sistema Chain-of-Thought Prompting che OpenAI aveva ideato l’anno scorso per migliorare la sua capacità di “ragionamento”. (In due parole, il Chain-of-Thought prevede che la risposta sia generata come un processo dove viene costruita man mano, usando il testo generato per migliorare le previsioni su come continuare. La cosa non è affatto stupida, anche noi umani facciamo così, e i risultati si vedono). Ma soprattutto DeepSeek nella sua versione R1 mostra che il fossato che le grandi società avevano creato – vedi il mantra sopra – era facilmente superabile. Ok, non “facilmente” nel senso che lo puoi fare con il tuo Mac a casa (anche se spuntano già i modelli distillati usando R1 che possono girare su una workstation appena un po’ carrozzata), ma che era alla portata di un’azienda di media grandezza come progetto collaterale. Inoltre il fatto che il modello (non i dati di training) sia stato rilasciato con la liberale licenza MIT dà un duro colpo ai sistemi americani che formalmente partivano da Open Source (per avere manodopera gratuita) ma erano molto attenti a non pubblicare le loro migliorie se non con un ritardo sufficiente a farli stare due o tre passi avanti. Ora non si potrà più fare nulla del genere. Se davvero il progetto open-r1 prenderà piede, anche il dataset sarà davvero open source, e ne vedremo delle belle.

Per quanto riguarda le conclusioni dell’articolo, ho dei dubbi che l’EU riderà per non essersi lanciata subito nella corsa alle AI ma si sia messa a legiferare (cosa che di per sé non trovo sbagliata, eh. Ma non doveva essere l’unica), mentre sono più d’accordo sul fatto che Nvidia alla fine non perderà molto, perché la potenza di calcolo servirà comunque. Lo stesso per la sua previsione che le allucinazioni non potranno essere eliminate semplicemente aggiungendo potenza di calcolo, e che il pendolo si sposterà di nuovo su sistemi di ambito più limitato ma più facili da far funzionare bene. Ma la cosa più importante è quella che leggo tra le righe, quando Zoeller scrive del “fundamentally unsafe patters of using a single input for both data and instruction into LLMs”, che porta ai problemi di prompt injection nel bene (superare i blocchi inseriti per esempio in DeepSeek cambiando l’input o dando istruzioni particolari) e nel male (pensate a come si possono usare questi trucchi da parte degli scammer). Il tutto senza che almeno per quanto io veda qualcuno si stia preoccupando. Io non sono certo un esperto di intelligenza artificiale, ma vedo che le persone che danno davvero informazioni utili sono molto poche, e soprattutto manca un livello di mezzo non troppo tecnico per far capire le conseguenze di quello che succede. È chiaro che è più facile guardarsi reel su reel di TikTok, ma se non si dà la possibilità di farsi un’idea cosa si spera?

E dunque questo DeepSeek?

@aitech

E insomma il nuovo arrivato questa settimana è DeepSeek, sistema LLM che formalmente è nato come progetto collaterale di un’azienda cinese di asset management, i cui algoritmi (ma non il materiale di addestramento…) sono open source, ha un costo di addestramento che è tra uno e due ordini di grandezza inferiore a quello di OpenAI o1, epperò funziona “good enough”, che era già una volta un mantra per i servizi internet ma ormai è diventata la bibbia – anche perché. diciamocelo, non è per nulla scontato che questi sistemi diano risposte direttamente utilizzabili, anzi.

Anch’io ho provato a usarlo. Chiedendogli chi è Maurizio Codogno, senza dargli nessun contesto, ha tirato fuori qualche frase adulatoria e senza un vero contenuto:

Maurizio Codogno is an Italian mathematician, blogger, and science communicator. He is known for his work in popularizing mathematics and making it accessible to a broader audience. Codogno has written extensively on mathematics, often focusing on its applications and relevance in everyday life. He is also a prolific blogger, contributing to various platforms where he shares insights, explanations, and commentary on mathematical topics.

Codogno has authored several books and articles aimed at demystifying complex mathematical concepts for non-experts. His efforts in science communication have made him a respected figure in the Italian scientific community and beyond. If you have specific questions about his work or contributions, feel free to ask!

(sì, io preferisco usarlo direttamente in inglese per togliere un passaggio). Rispetto ai miei tentativi con il primo ChatGPT ha evitato di parlare del mio omonimo ex calciatore, che è quello che ha la voce su Wikipedia, e soprattutto non si è inventato titoli di libri che non ho mai scritto. Ma quello che mi ha stupito di più è stata la risposta a una variante quesito proposto il mese scorso da Mike Loukides in questo articolo: “Sai dimostrare che se tutte le cifre di un numero primo sono 1 allora il numero di cifre deve essere un numero primo?” Chiunque abbia letto Martin Gardner lo sa, e immagino che nel corpus di addestramento ci sia qualcosa del genere: però la domanda posta così non è immediata. Io ho fatto leggermente di peggio: ho chiesto

A repetitium is a number which is written using a single digit, like 666. Can you find a necessary condition for a repetitium to be a prime number, and explain me which steps you did to arrive at the conclusion?

scegliendo apposta un termine inesistente per definire quelli che in letteratura sono detti repunits, dando come esempio un numero la cui cifra ripetuta non è 1, e chiedendo di trovare una condizione necessaria senza esplicitarla. Potete vedere la risposta di DeepSeek qui. Nulla da eccepire, il che da un certo punto di vista è inquietante: d’altra parte afferma di essere il LLM più performante nel test MATH-500.

Secondo il Financial Times, Deep Seek afferma di essere stato addestrato usando 2048 schede grafiche Nvidia H800, con un costo di 5,6 milioni di dollari e 671 miliardi di parameteri: molto meno dei rivali. Sempre secondo il FT, OpenAI ha accusato DeepSeek di avere usato GPT-4 come punto di partenza per distillare i suoi contenuti… comportamenti illeciti un po’ come le accuse di violazione di copyright nei confronti di OpenAI, insomma. Più che altro, quello che io noto è che la mia preoccupazione riguardo al set di training generato automaticamente non è condivisa, e che in questo modo si arriva a un risultato “good enough” con una frazione del costo di addestramento. (Poi, leggendo qui, c’è anche chi sospetta che quei dati siano appositamente sottostimati).

Ovviamente DeepSeek ha scelto di sparigliare il mercato, che fino a questo momento era tenuto saldamente in mano dai soliti noti. Questo significa tra l’altro che la bolla AI (e quella delle utility energetiche…) potrebbe scoppiare molto prima di quanto si pensasse. Peggio ancora, il Post cita il blog Stratechery, dove Ben Johnson ritiene che in DeepSeek ci siano anche migliorie importanti, almeno rispetto all’efficienza (anche se pensa che o1 sia ancora migliore come capacità). Da questo punto di vista continuo a credere che abbiamo raggiunto un plateau, e per passare dal good enough al “good without ifs and buts” :-) occorrerà qualche nuova idea. Staremo ad aspettare: in fin dei conti se ora è più facile entrare nel mondo LLM magari a qualcuno l’idea arriverà…

Aggiornamento: (9:00): Sicuramente se uno non ha fatto un account DeepSeek non vede nulla, non ho fatto prove con un account diverso. Allego quindi screenshot (cliccabili per ingrandire) della conversazione.

Arrotondamenti comodi

@matematica

Nel volumetto della collana Matematica sui sistemi di numerazione ho parlato di basi di numerazione piuttosto esotiche, anche se a volte con una certa utilità. Oggi aggiunto qualche informazione in più che ho da poco scoperto leggendo il blog di John D. Cook.

Come probabilmente sapete, gli arrotondamenti non sono mai una cosa semplice, soprattutto se dovete fare una serie di operazioni consecutive. Generalmente si arrotonda per difetto se la cifra successiva a quella che arrotondiamo è 0, 1, 2, 3, 4 e si arrotonda per eccesso se è 6, 7, 8, 9 oppure 5 seguito da qualcos’altro. E se siamo proprio a metà, quindi dobbiamo arrotondare il “semintero” 42,5? Wikipedia (e i libri di testo dei miei figli concordano) afferma che se la cifra precedente il 5 è pari arrotondiamo per difetto e quindi abbiamo 42, altrimenti arrotondiamo per eccesso e da 43,5 otteniamo 44. Il tutto sperando che i numeri che arrotondiamo siano distribuiti casualmente e quindi non abbiamo un bias di arrotondamento

Sarebbe bello avere una regola più semplice, almeno se dobbiamo arrotondare a un numero intero, vero? Nel caso dei numeri seminteri non possiamo farci molto, ma in generale entra in gioco la base ternaria bilanciata, quella dove le cifre possibili sono 1, 0 e −1 (che per comodità scriviamo T, spostando il segno meno in alto…) e quindi per esempio 42 si scrive 1TTT03bil, cioè 81 − 27 − 9 − 3. È facile dimostrare che la più grande parte frazionaria positiva è 0,11111…3bil mentre la più piccola parte frazionaria negativa è 0,TTTTT…3bil. Se fate i conti, scoprirete che il limite della somma vale rispettivamente 1/2 e −1/2. Quindi arrotondare in questo caso equivale semplicemente a troncare.

Cook aggiunge anche che in generale, se usassimo una base di numerazione dispari anziché la nostra base 10, non avremo il problema del doppio arrotondamento. Supponiamo di avere 9876,5432i e di doverlo arrotondare alla prima cifra decimale. Avremmo così 9876,5 perché la parte seguente del numero comincia con 4. Se però ora arriva un contrordine e ci viene detto di arrotondare a un numero intero, allora dobbiamo arrotondare per difetto (la cifra precedente al 5 è pari) e troviamo 9876. Peccato che se avessimo subito arrotondato a un numero intero avremmo trovato 9877. Non è bello, vero? Beh, in una base dispari questo non può capitare, perché n + 1/2 non è esprimibile come numero dallo sviluppo finito e quindi siamo certi che gli arrotondamenti sono tutti nella stessa direzione. D’accordo, non sarà una buona ragione per cambiare base di numerazione, ma è comunque carino, no?

MATEMATICA – Lezione 51: Sistemi di numerazione

@matematica
Conoscete tutti i numeri romani, anche se magari fate fatica a leggere l’ora in un orologio che li usa, e vi chiedete come mail il quattro si scrive IIII e non IV come insegnatovi a scuola. Ma non credo conosciate i numeri etruschi. E sapete contare con i numeri greci? Questa è la prima parte del volume: se a scuola eravate curiosi, probabilmente sapevate già alcune delle informazioni. Ma sono certo che la seconda parte vi lascerà attoniti. Base 10 e base 2 sono troppo banali: qui presento altre basi di numerazione, come quella tre bilanciata che i russi hanno cercato di usare nei propri calcolatori, oppure basi frazionarie, algebriche o addirittura irrazionali. E la cosa più incredibile è che la maggior parte di queste basi hanno anche un’applicazione pratica!
I miei giochi matematici consistono per una volta in problemi difficili; il personaggio raccontato da Veronica Giuffré è John Horton Conway, un matematico sicuramente diverso dagli stereotipi.

Maurizio Codogno, Matematica – Lezione 51: Sistemi di numerazione, allegato a Gazzetta dello Sport e Corriere della Sera, €6.99 più il prezzo del giornale.

Quizzino della domenica: Successione dal SAT

732 – aritmetica

@matematica

Il SAT è un test americano per l’ammissione ai college. La domanda seguente è stata posta nel primo SAT che si è avuto nel 1926.
Data la successione che comincia con 750, 21, 264, 183, 210, quali sono i due numeri successivi, e perché?

Sulla liquidità dei gatti

Se avete dei gatti, saprete perfettamente che riescono a passare attraverso pertugi davvero minuscoli, e infilarsi in scatole di dimensione minima. Scherzando, si dice spesso che i gatti sono liquidi. Beh, come si può leggere su Scientific American c’è stato un fisico che ha preso sul serio la battuta, forse per avere una scusa di non fare lavoro serio. Nel 2014 Marc-Antoine Fardin scrisse un articolo per il Journal of Rheology dal titolo “On the Rheology of Cats”.

Ma cosa vuol dire calcolare la liquidezza di un gatto? Ovviamente non lo versi da nessuna parte. Fardin ha così pensato di usare il numero di Debora, che definisce quanto un materiale ci mette a rilassarsi in una posizione stabile. Per definizione il vetro (che come sapete non è un vero solido…) ha numero di Debora 1; un solido ideale perfettamente elastico avrebbe numero di Debora infinito, e un liquido viscoso ideale lo avrebbe uguale a zero. Bene: secondo le sue misurazioni il valore dipende dall’età del gatto (quando mai un cucciolo sta fermo?) e dal luogo (avete mai messo un gatto su un trasportino?), ma con esemplari standard se per esempio un gatto si infila in una piccola scatola in cinque secondi e viene osservato in quella posizione per un minuto – esempio del tutto plausibile – il numero di Debora è De = 1/12 = 0,0833… il che mostra un indubbio comportamento da fluido.

Un’ultima curiosità: perché il numero di Debora si chiama così? Dalla Bibbia, Giudici 5,5: La sacerdotessa Deborah profetizzò “Si stemperarono i monti davanti al Signore, Signore del Sinai, davanti al Signore, Dio d’Israele.” E se i monti si sciolgono, nemmeno loro sono davvero solidi!

E se non ci fossero più “nuovi LLM?”

Ho trovato su Substack questo post di Alberto Romero che mi ha preoccupato parecchio. Riassunto per chi ha fretta: Romero ipotizza che GPT-5 esiste, ma non verrà reso pubblico perché il suo costo computazionale è troppo alto; esso è stato però usato per addestrare i nuovi modelli pubblici, come o1 e il futuro o3. Da dove deriva questa impressione? da quello che è successo con Anthropic (cioè Amazon, se ve lo chiedeste) e Opus 3.5, che è stato ufficialmente cancellato “perché non era così migliore dei modelli precedenti” ma sarebbe stato comunque usato per addestrare il successore del precedente sistema Sonnet 3.5, che effettivamente ha avuto un grande miglioramento nelle prestazioni. Notate il condizionale che ho usato (perché è stato usato nell’articolo). Sono tutte supposizioni.

Romero spiega che il rapporto costi-benefici del nuovo sistema non si è rivelato sufficiente: d’altra parte, se date un’occhiata a questo post, notate come il passaggio da un modello a quello superiore costa – nel senso di quanto si paga per migliaia di token – un ordine di grandezza in più passando da un modello al successivo… tranne che nel caso di o1, dove il costo si riduce. Inoltre il modello di o1 sembra avere un numero di parametri inferiore a quello di GPT-4. L’inferenza di Romero è che o1 è stato addestrato con GPT-5. È vero che il costo computazionale di quest’ultimo sarebbe altissimo, ma è anche vero che l’addestramento si fa una volta sola, e

What you need to remember is that a strong model acting as a “teacher” turns “student” models from [small, cheap, fast] + weak into [small, cheap, fast] + powerful.

Il tutto senza contare che è finito il materiale di pre-addestramento: sempre dall’articolo di Romero,

But overtraining is not feasible anymore. AI labs have exhausted the high-quality data sources for pre-training. Elon Musk and Ilya Sutskever admitted that much in recent weeks

(ok, che lo dica Elonio non significa molto, ma basta fare dei conti spannometrici per accorgersi che questa ipotesi è plausibile.) Tutto bene, allora? Viviamo nel migliore dei mondi possibili e abbiamo trovato un sistema per ridurre l’impronta energetica di questi sistemi? Mica tanto. L’autoaddestramento va benissimo per sistemi dalle regole fisse, come il go. Qui invece abbiamo un sistema statistico. proprio perché sono vent’anni che abbiamo visto che è impossibile sperare di trovare un sistema di regole. Posso immaginare che ci siano tonnellate di correzioni inserite nell’algoritmo, ma autoaddestrare in questo modo dà la certezza che gli errori di base nell’approccio generativo delle risposte si perpetueranno, perché il sistema si dà ragione da solo. Si avrà, solo moltiplicato per un fattore incredibile, l’effetto Wikipedia copycat: qualcuno scrive un testo errato nell’enciclopedia, altri copiano bovinamente quello che c’è scritto, e a questo punto abbiamo la fonte bella pronta e la Verità Errata stabilita una volta per tutte.

Capite perché sono preoccupato?