Mega confronto Deepseek R1 VS OpenAI o3 di Gaito

Tema Principale: Confronto delle capacità di ragionamento di tre modelli di intelligenza artificiale: Deepseek R1 (cinese), OpenAI o3 (GPT-4) e OpenAI o1 (GPT-3.5). L'articolo valuta la loro performance nella risoluzione di problemi logico-matematici tratti dal benchmark "simple Bench".

Punti Chiave e Idee Principali:

• Metodologia del Test: L'autore presenta 10 domande di logica e matematica, tradotte in italiano, ai tre modelli. Si concentra sulla capacità di ragionamento (Chain of Thoughts - CoT) di ciascun modello, analizzando sia la velocità di risposta che la correttezza.
• "Il confronto Sarà fatto tra tutte e tre quindi qua ho Deep seic con R1 selezionato quindi la modalità di ragionamento qua c'ho c'è GPT con la modalità o3 al massimo Quindi questa qua la versione High Diciamo... e ultimo c'abbiamo pure o One che anche se il fratellino minore vediamo pure come se la cava".
• Osservazioni sulla UX di OpenAI: L'autore critica l'interfaccia utente di OpenAI, definendola "un casino" e suggerendo una riprogettazione.
• "Fatemi dire quanto questo menù è diventato un casino cioè non si capisce niente guardate qua cioè devono ripensarla a sta cosa perché veramente incasinata".
• Analisi del Chain of Thoughts (CoT): L'articolo sottolinea come i modelli "ragionano" per arrivare alla risposta. Deepseek R1 mostra un CoT più dettagliato rispetto a OpenAI o1, ma la versione o3 di OpenAI ha migliorato la visualizzazione del ragionamento rispetto alle versioni precedenti.
• "Adesso si apre questo box vedete il box thinking dove dentro possiamo vedere proprio come sta ragionando il modello cosa sta tirando fuori come informazione Qua c'abbiamo o3 che hanno allargato il diciamo la parte di reasoning te la fanno vedere prima".
• Risultati del Test: I risultati mostrano una performance inaspettata: OpenAI o1 (GPT-3.5) si dimostra più accurato nella risoluzione dei problemi rispetto a OpenAI o3 (GPT-4) e Deepseek R1.
• "l'unica che l' ha azzeccata è o One che dovrebbe essere il più vecchio Diciamo tra tra i tre quello meno quello meno forte eh tra tra tra i tre modelli che abbiamo che abbiamo provato".
• "il primo a finire è stato o One come al solito ci ha messo pochissimo che mi dice che la risposta corretta è D no quindi secondo One morirà questo povero ragazzo perché hanno litigato da bambino sulla collezione dei Pokémon" (esempio di una risposta errata anche da o1).
• Problemi di Traduzione di Deepseek R1: L'autore ipotizza che Deepseek R1 possa avere difficoltà con le domande tradotte in italiano, poiché sembra perdersi nelle traduzioni durante il processo di ragionamento.
• "dips Secondo me è andato molto in difficoltà sulle traduzioni cioè il fatto che ho preso questi quesiti che erano originalmente in inglese stando invece in italiano in molti passaggi del diciamo del del Chain of thoughts quindi del ragionamento fa la traduzione si perde anche un pochino sulla traduzione".
• Utilizzo di "distrattori" nei prompt: L'articolo menziona l'uso di informazioni irrilevanti nei prompt per testare la capacità dei modelli di filtrare le informazioni e concentrarsi sugli elementi essenziali per la risoluzione del problema.
• "si usa mettere indizi anche slegati dal diciamo dal quesito principale per vedere se il modello se le hai si incasina col ragionamento prende una cosa la utilizza male quell informazione No proprio per differenziare come ragiona un'intelligenza artificiale da come ragiona un umano che riusciamo a filtrare alcuni con".
• Difficoltà di DeepSeek R1: L'autore descrive diversi problemi nell'interagire con il modello DeepSeek R1, tra cui lentezza nelle risposte e frequenti errori di "server busy". Per ovviare a questo problema, ha usato Perplexity AI per testare DeepSeek R1.

Considerazioni Finali:

• L'articolo evidenzia la complessità della valutazione dei modelli di intelligenza artificiale, dimostrando che la dimensione del modello o la sua reputazione non sempre si traducono in una performance superiore in tutti i contesti.
• Sottolinea l'importanza di testare i modelli in diverse lingue per valutarne l'efficacia in scenari d'uso reali.
• Evidenzia le limitazioni attuali delle AI nel comprendere contesti umani complessi, come si è visto nelle risposte errate che implicano una mancanza di buon senso.
• I risultati finali sono in linea con la classifica presente sul sito ufficiale di Simple Bench, confermando l'attendibilità del test svolto. o1 ha azzeccato 4 domande, R1 2 e o3 una sola.

0