Fonte: Conferenza sull’intelligenza artificiale Bruxelles 28-29 gennaio 2024
La nuova disciplina stabilisce obblighi per fornitori e operatori dei sistemi di IA a seconda del livello di rischio che l’IA può generare: i) un rischio inaccettabile; ii) un rischio alto; iii) un rischio basso o minimo; iv) un rischio specifico per la trasparenza.
Rischio inaccettabile
Saranno vietati i sistemi di IA che determinano un rischio inaccettabile per la sicurezza, i mezzi di sussistenza e i diritti delle persone. In questa categoria rientrano i sistemi che possono manipolare il comportamento umano come quelli che consentono di attribuire un “punteggio sociale” (social scoring), per finalità pubbliche e private, classificando le persone in base al loro comportamento sociale o alle loro caratteristiche personali, e determinate applicazioni di polizia predittiva.
Saranno vietati, in particolare:
• i sistemi di riconoscimento delle emozioni utilizzati sul luogo di lavoro e negli istituti scolastici, eccetto per motivi medici o di sicurezza (ad esempio il monitoraggio dei livelli di stanchezza di un pilota); i sistemi di sfruttamento delle vulnerabilità delle persone e di utilizzo di tecniche subliminali;
• alcuni sistemi di categorizzazione biometrica delle persone fisiche sulla base di dati biometrici per dedurne o desumerne la razza, le opinioni politiche, l’appartenenza sindacale, le convinzioni religiose o filosofiche o l’orientamento sessuale (sarà ancora possibile filtrare set di dati basandosi su dati biometrici nel settore delle attività di contrasto) o di identificazione biometrica in tempo reale in spazi accessibili al pubblico (ossia il riconoscimento facciale mediante telecamere a circuito chiuso) da parte delle autorità di contrasto (con limitate eccezioni: vedi oltre);
• l’estrazione non mirata (scraping) di immagini facciali da internet o telecamere a circuito chiuso per la creazione o l’espansione di banche dati.
Sistemi ad alto rischio
Il regolamento considera ad alto rischio un numero limitato di sistemi di IA che possono potenzialmente avere ripercussioni negative sulla sicurezza delle persone o sui loro diritti fondamentali (tutelati dalla Carta dei diritti fondamentali dell’UE).
Prima di immettere un sistema di IA ad alto rischio sul mercato dell’UE, o di farlo entrare in servizio, i fornitori dovranno sottoporlo a una valutazione della conformità. Dovranno, quindi, dimostrare che il loro sistema è conforme ai requisiti obbligatori per un’IA affidabile (ad esempio: qualità dei dati, documentazione e tracciabilità, trasparenza, sorveglianza umana, accuratezza, cibersicurezza e robustezza). Anche per i sistemi biometrici è sempre richiesta una valutazione della conformità da parte di terzi. La valutazione dovrà essere ripetuta in caso di modifica sostanziale del sistema o della sua finalità. Si prevede inoltre una valutazione d’impatto sui diritti fondamentali prima che un sistema di IA ad alto rischio venga immesso sul mercato.
I sistemi di IA che costituiscono componenti di sicurezza di prodotti disciplinati dalla legislazione settoriale dell’Unione saranno sempre considerati ad alto rischio, se soggetti a una valutazione della conformità da parte di terzi ai sensi della legislazione settoriale stessa. I fornitori di tali sistemi dovranno inoltre attuare sistemi di gestione della qualità e del rischio per garantire la conformità ai nuovi requisiti e ridurre al minimo i rischi per gli utenti e per le persone interessate, anche dopo l’immissione sul mercato di un prodotto.
I sistemi di IA ad alto rischio implementati da autorità pubbliche o entità che agiscono per loro conto dovranno essere registrati in una banca dati pubblica dell’UE. Ove tali sistemi non siano utilizzati per le attività di contrasto e relative al controllo della migrazione, dovranno essere registrati in una parte non pubblica della banca dati, che sarà accessibile solo alle autorità di controllo competenti.
Le autorità di vigilanza del mercato contribuiranno al monitoraggio successivo all’immissione sul mercato mediante audit e offrendo ai fornitori la possibilità di segnalare incidenti o violazioni gravi degli obblighi in materia di diritti fondamentali di cui sono venuti a conoscenza. Qualsiasi autorità di vigilanza del mercato potrà, per motivi eccezionali, autorizzare l’immissione sul mercato di una specifica IA ad alto rischio.
Tra i sistemi ad alto rischio rientrano: quelli di identificazione biometrica, categorizzazione biometrica e riconoscimento delle emozioni (al di fuori delle categorie vietate) e quelli utilizzati nella gestione di alcune infrastrutture critiche nei settori dell’acqua, del gas e dell’elettricità, del traffico stradale e dei dispositivi medici; quelli finalizzati a determinare l’accesso agli istituti di istruzione e formazione professionale (ad esempio: per valutare i risultati dell’apprendimento e orientare il processo di apprendimento e il monitoraggio dei comportamenti disonesti; quelli relativi alla valutazione dell’occupazione, ad ottimizzare la gestione dei lavoratori e l’accesso al lavoro autonomo (ad esempio: per pubblicare annunci di lavoro mirati, analizzare e filtrare le candidature e valutare i candidati), nonché per determinare l’accesso a servizi e a prestazioni pubblici e privati essenziali (come, ad esempio, l’assistenza sanitaria); quelli finalizzati alla valutazione dell’affidabilità creditizia delle persone fisiche, alla valutazione dei rischi finanziari, nonché alla determinazione dei prezzi in relazione ad assicurazioni sulla vita e assicurazioni sanitarie; quelli utilizzati nelle attività di contrasto, controllo delle frontiere, amministrazione della giustizia, svolgimento dei processi democratici e per la valutazione e classificazione delle chiamate di emergenza.
Non sono invece inclusi i sistemi di raccomandazione delle piattaforme online di dimensioni molto grandi (utilizzati dalle aziende online per suggerire agli utenti prodotti, servizi o contenuti che potrebbero essere di loro interesse) in quanto sono già disciplinati da altre normative (regolamento sui mercati digitali e regolamento sui servizi digitali).
L’elenco dei sistemi di IA ad alto rischio, che può essere modificato per allineare la normativa all’evoluzione tecnologica, è allegato al regolamento.
Sistemi a rischio minimo
I sistemi di IA a rischio minimo (come videogiochi o filtri spam) saranno esenti da obblighi, ferma restando l’adesione volontaria a codici di condotta, da parte dei fornitori di tali sistemi, ad esempio laddove esista un evidente rischio di manipolazione. Gli utenti dovrebbero essere consapevoli del fatto che stanno interagendo con una macchina.
La grande maggioranza dei sistemi di IA attualmente utilizzati o il cui utilizzo è probabile nell’UE rientra in questa categoria.
Rischio specifico per la trasparenza
A determinati sistemi di IA sono imposti specifici obblighi di trasparenza, ad esempio laddove esista un evidente rischio di manipolazione (come attraverso l’uso di chatbot); gli utenti dovranno essere consapevoli del fatto che stanno interagendo con una macchina.
Anche i deep fake dovranno essere etichettati come tali e gli utenti dovranno essere informati quando vengono utilizzati sistemi di categorizzazione biometrica o di riconoscimento delle emozioni.
Inoltre il regolamento prende in considerazione i rischi sistemici che potrebbero derivare dai modelli di IA per finalità generali (General purpose AI), compresi i modelli di IA generativa di grandi dimensioni (vedi oltre), che possono essere utilizzati per un’ampia serie di compiti e stanno diventando la base di molti sistemi di IA nell’UE. Alcuni di questi modelli potrebbero comportare rischi sistemici se risultano particolarmente efficaci o molto utilizzati. Modelli potenti potrebbero, ad esempio, causare incidenti gravi o essere utilizzati impropriamente per attacchi informatici di vasta portata.
Il “rischio sistemico a livello di Unione” si riferisce alla possibilità che l’uso dell’IA possa avere un impatto significativo sul mercato interno a causa della sua portata e con effetti negativi reali o ragionevolmente prevedibili su salute pubblica, sicurezza, diritti fondamentali o sulla società nel suo insieme, che possono essere propagati su larga scala lungo tutta la catena del valore. Ad esempio, se un’applicazione di guida autonoma mal funzionasse su larga scala, potrebbe causare incidenti stradali su vasta scala, influenzando quindi l’intero sistema di mobilità urbana.
Quanto al concetto di “incidente grave”, ci si riferisce a qualsiasi incidente o malfunzionamento di un sistema di IA che porti direttamente o indirettamente a uno dei seguenti effetti: (a) la morte di una persona o un grave danno alla salute di una persona; b) un’interruzione grave e irreversibile della gestione e del funzionamento delle infrastrutture critiche; c) violazione degli obblighi derivanti dal diritto dell’Unione volti a tutelare i diritti fondamentali; d) danni gravi alla proprietà o all’ambiente.
Ad esempio, si pensi ad un errore in un sistema diagnostico medico basato sull’IA che porta a diagnosi errate e danni significativi ai pazienti.
Eccezione prevista per le autorità di contrasto
L’uso dell’AI da parte delle forze dell’ordine ha rappresentato uno dei punti più delicati e controversi del negoziato. Il compromesso raggiunto consente il riconoscimento biometrico da remoto in tempo reale negli spazi accessibili al pubblico solo in alcuni casi quali:
1) attività di contrasto relative a 16 reati specifici: terrorismo; tratta di esseri umani; sfruttamento sessuale di minori e materiale pedopornografico; traffico illecito di stupefacenti e sostanze psicotrope; traffico illecito di armi, munizioni ed esplosivi; omicidio volontario; lesioni personali gravi; traffico illecito di organi e tessuti umani; traffico illecito di materie nucleari e radioattive, rapimento, sequestro e presa di ostaggi; reati che rientrano nella competenza giurisdizionale della Corte penale internazionale; dirottamento di un aeromobile o una nave; stupro; reati ambientali; furto organizzato o rapina a mano armata; sabotaggio, partecipazione a un’organizzazione criminale coinvolta in uno o più dei reati elencati sopra;
2) ricerca mirata di specifiche vittime, rapimento, tratta e sfruttamento sessuale di esseri umani e persone scomparse;
3) prevenzione di minacce per la vita o l’incolumità fisica delle persone o risposta da una minaccia attuale o prevedibile di attacco terroristico.
Si specifica che l’identificazione biometrica può assumere varie forme. Può essere utilizzata per l’autenticazione degli utenti, ad esempio per sbloccare uno smartphone o per le verifiche e l’autenticazione presso i valichi di frontiera nei controlli dell’identità e dei documenti di viaggio di una persona (corrispondenza “uno a uno”). L’identificazione biometrica remota potrebbe anche essere utilizzata per identificare persone nella folla, ad esempio confrontando l’immagine di una persona con quelle contenute in una banca dati (corrispondenza “uno a molti”).
L’accuratezza dei sistemi per il riconoscimento facciale può variare in modo significativo in base a un’ampia gamma di fattori, quali la qualità della fotocamera, la luce, la distanza, la banca dati, l’algoritmo e l’etnia, l’età o il sesso del soggetto. Lo stesso vale per il riconoscimento vocale e dell’andatura e per altri sistemi biometrici. Il tasso di falsi positivi dei sistemi altamente avanzati è in continua diminuzione. Un tasso di accuratezza del 99% può sembrare adeguato, mentre è notevolmente rischioso quando può condurre a sospettare di una persona innocente. D’altra parte, anche un tasso di errore dello 0,1% è molto elevato se riguarda decine di migliaia di persone.
L’identificazione biometrica remota in tempo reale da parte delle autorità di contrasto sarà subordinata a un’autorizzazione preventiva rilasciata da un’autorità giudiziaria o amministrativa indipendente. In caso di urgenza debitamente giustificata, tuttavia, si potrà procedere senza un’autorizzazione, purché quest’ultima sia richiesta senza indebito ritardo, al più tardi entro 24 ore; se l’autorizzazione non è concessa, è necessario che tutti i dati e gli output siano soppressi. L’autorizzazione dovrà essere preceduta da una valutazione preventiva d’impatto sui diritti fondamentali e dovrà essere notificata all’autorità di vigilanza e all’autorità per la protezione dei dati interessate.
L’uso di sistemi di IA per l’identificazione biometrica remota a posteriori delle persone oggetto di indagine (identificazione di persone in materiale video raccolto in precedenza) richiederà l’autorizzazione preventiva di un’autorità giudiziaria o di un’autorità amministrativa indipendente e la notifica all’autorità per la protezione dei dati e all’autorità di vigilanza del mercato.
Sistemi di IA per finalità generali e modelli fondativi e di base
La nuova disciplina, introdotta nell’accordo di compromesso finale, su richiesta del PE, reca disposizioni dettagliate applicabili alle situazioni in cui i sistemi di IA per finalità generali (general purpose AI) sono utilizzati per scopi per i quali non sono stati intenzionalmente e specificamente progettati e in cui la tecnologia viene successivamente integrata in un altro sistema ad alto rischio. I modelli di IA per finalità generali comprendono i modelli di IA generativa di grandi dimensioni.
È considerato importante che un fornitore che intenda basarsi su un modello di IA per finalità generali disponga di tutte le informazioni necessarie per far sì che il suo sistema sia sicuro e conforme al regolamento. Il regolamento obbliga i fornitori di tali modelli a comunicare determinate informazioni ai fornitori di sistemi a valle. I fornitori dovranno inoltre disporre di politiche in essere atte a garantire il rispetto del diritto d’autore nel corso della formazione dei loro modelli.
Alcuni di questi modelli potrebbero comportare rischi sistemici dato che sono particolarmente efficaci o molto utilizzati.
La Commissione europea ritiene che, allo stato attuale della tecnologia, i modelli di IA per finalità generali che sono stati addestrati utilizzando una potenza di calcolo totale superiore a 10^25 FLOPS comportino rischi sistemici. L’Ufficio per l’IA (istituito all’interno della Commissione) potrà aggiornare tale soglia alla luce dell’evoluzione tecnologica ovvero integrare il criterio della potenza di calcolo con altri criteri (ad esempio, il numero di utenti o il grado di autonomia del modello).
I fornitori di modelli che comportano rischi sistemici saranno pertanto tenuti a valutare e attenuare i rischi, a segnalare incidenti gravi, a condurre prove e valutazioni dei modelli all’avanguardia, a garantire la cibersicurezza e a fornire informazioni sul consumo energetico dei loro modelli. A tal fine potranno collaborare con l’Ufficio europeo per l’IA per elaborare codici di condotta. Un gruppo di esperti scientifici svolgerà un ruolo centrale nella supervisione dei modelli di IA per finalità generali.
La Commissione spiega per quale motivo 10^25 FLOPS è una soglia adeguata per ritenere che un’IA per finalità generali possa comportare rischi sistemici. La soglia, infatti, riflette i modelli di IA per finalità generali attualmente più avanzati, ossia GPT-4 di OpenAI e probabilmente Gemini di Google DeepMind. Non essendo ancora sufficientemente comprese le capacità dei modelli al di sopra di tale soglia, si ritiene che essi possano comportare rischi sistemici e che sia ragionevole, pertanto, imporre ai fornitori obblighi aggiuntivi.
Sono state inoltre concordate regole specifiche per i modelli fondativi o di base (la cui regolamentazione non era presente nella proposta originaria e che ha rappresentato una tematica particolarmente divisiva nel negoziato): i grandi sistemi in grado di svolgere con competenza un’ampia gamma di compiti distintivi, quali la generazione di video, testi, immagini, il calcolo di dati o la generazione di codici informatici. I modelli di base debbano rispettare specifici obblighi di trasparenza prima di essere immessi sul mercato. È stato introdotto un regime più rigoroso per i modelli di base “ad alto impatto”, come GPT-4, per i quali occorre una verifica prima dell’immissione nel mercato con riguardo alla sicurezza informatica e alla trasparenza, nonché una condivisione della documentazione tecnica. Si tratta di modelli di base addestrati con grandi quantità di dati e di complessità, capacità e prestazioni avanzate ben al di sopra della media, che possono diffondere i rischi sistemici lungo la catena del valore.
Add a Comment