Google accusato di abbassare gli standard per le valutazioni dell’output di Gemini

Il recente aggiornamento delle direttive di Google riguardanti la valutazione delle risposte generate dall’IA ha suscitato diversi interrogativi. L’azienda statunitense ha modificato le modalità con cui i collaboratori esterni devono esprimere il loro giudizio sulle risposte di Gemini, il suo sistema di intelligenza artificiale, ampliando il margine di manovra dei revisori non esperti.

cambiamenti nelle linee guida di valutazione

Fino a poco tempo fa, i revisori erano incoraggiati a escludere dal loro giudizio le richieste e le domande per cui non possedevano competenze specifiche. Le istruzioni in passato stabilivano chiaramente: “Se non si dispone di competenze critiche (ad esempio, programmazione o matematica) per valutare questo compito, si prega di saltarlo.”

nuove direttive e loro implicazioni

Recentemente, però, è emerso che le nuove modalità richiedono ai revisori di non ignorare le domande anche in assenza di una preparazione adeguata. Secondo quanto riportato da fonti, i collaboratori sono stati indirizzati a “non saltare i compiti che richiedono conoscenze specializzate” e a fornire una valutazione, seppure con una nota che espliciti la mancanza di competenze. Questa modifica potrebbe suscitare perplessità, in quanto potrebbe abbassare gli standard di valutazione.

posizione di google riguardo la valutazione delle risposte

Google ha fornito una spiegazione in merito a questi cambiamenti. Secondo un portavoce dell’azienda, i valutatori eseguono una varietà di compiti su molteplici prodotti e piattaforme, offrendo feedback non solo sul contenuto, ma anche su aspetti come stile e formato. Anche se le valutazioni non influenzano direttamente gli algoritmi, esse rappresentano un dato utile per misurare l’efficacia dei sistemi esistenti.

preoccupazioni espresse dagli esperti

Nonostante le dichiarazioni di Google, vi è una crescente inquietudine tra i professionisti del settore riguardo al calo degli standard di valutazione. Con l’importanza del controllo umano nel contenimento di comportamenti inappropriati da parte delle IA, la percezione di un abbassamento qualitativo potrebbe alimentare le preoccupazioni del pubblico critico nei confronti dell’IA.