valutazione dell’accuratezza delle risposte di Gemini
Il team di Google DeepMind, che si occupa dello sviluppo e della gestione dei modelli di intelligenza artificiale, ha adottato diverse metodologie per valutare e migliorare le prestazioni di Gemini. Una delle tecniche più recenti è il benchmark FACTS Grounding, che utilizza le risposte fornite da altri modelli avanzati di linguaggio per stabilire se le risposte di Gemini siano pertinenti, accurate e complete. Questa strategia è stata recentemente annunciata con il rilascio della versione Gemini 2.0.
Google si avvale anche di contrattisti di GlobalLogic, una compagnia di proprietà di Hitachi, per analizzare le risposte ai prompt di Gemini e valutarne la correttezza. Fino a poco tempo fa, i contrattisti potevano ignorare i prompt che non rientravano nelle loro aree di competenza. Recentemente, con nuove direttive, Google ha stabilito che i contrattisti non possono più saltare i prompt, imponendo loro di valutare l’accuratezza anche in ambiti nei quali potrebbero non avere competenza.
error checking e competenza
sono i fact-checker in difficoltà?
In precedenza, le linee guida per i contrattisti di GlobalLogic indicavano di saltare i prompt in caso di mancanza di conoscenza specifica. Recentemente, questa direttiva è stata modificata, stabilendo che non devono più ignorare i prompt che richiedono competenze specialistiche. Ora è richiesta di valutare le parti del prompt comprese, con l’annotazione che segnala la mancanza di competenze relative. I contrattisti possono, Evitare interazioni solo in assenza di prompt o risposte, o se le stesse contengono contenuti nocivi.
dettagli sull’approccio di valutazione di GlobalLogic
Attualmente vi è un numero considerevole di posizioni aperte nel settore della verifica dei fatti riguardanti l’IA, disponibili su piattaforme di lavoro come Upworthy e Indeed, con stipendi che partono da 14 dollari all’ora. Diversi reclutatori hanno contattato potenziali candidati per il completamento di posizioni contrattuali. Gli utenti sui social media hanno segnalato difficoltà durante il processo di colloquio e di onboarding, confermando Google come cliente di GlobalData, con stipendi di partenza intorno ai 21 dollari e la possibilità di assunzioni dirette.
significato della verifica dei fatti con bassa competenza per Gemini
conseguenze negative potenziali
Le informazioni riguardanti dettagli operativi, flussi di lavoro e applicazioni dei dati rimangono riservate. L’assegnazione a persone reali per valutare le interazioni singole appare una scelta logica, nonostante la complessità delle procedure di assunzione e gestione. Il cambiamento della politica potrebbe comportare che le valutazioni effettuate da contrattisti privi di competenze rilevanti non vengano ritenute sufficienti da Google. Pertanto, potrebbero essere escluse le valutazioni accompagnate da annotazioni di incompetenza.
come avanza il controllo qualità non esperto?
L’incertezza rimane poiché la nuova direttiva sembra indicare una minore fiducia da parte di Google negli esperti, favorendo una potenziale semplificazione dei processi di raccolta dati. Un contratto rivelato ha suggerito che il metodo di cui si avvalgono mira a migliorare l’accuratezza, attribuendo il compito a chi possiede competenze superiori. Google sta dunque cercando di ottimizzare il processo di verifica e di sviluppo del proprio sistema di intelligenza artificiale.
Lascia un commento