Quando è l’algoritmo a decidere: l’HSE tra rischio e fiducia

L’intelligenza artificiale è arrivata. Fa previsioni, analizza comportamenti, valuta il rischio prima che si manifesti. Ma siamo sicuri che, affidandoci completamente a lei, non stiamo lasciando qualcosa per strada?

Ecco, partiamo da qui: dal confine sottile tra innovazione e compiacenza. Perché nell’HSE, l’intelligenza può essere artificiale quanto vuoi, ma la responsabilità resta nostra.

In questa puntata del podcast “Il rischio è il mio mestiere”, realizzato da Wolters Kluwer per Teknoring.com, in collaborazione con Storielibere.fm, affrontiamo un viaggio tra sensori intelligenti, telecamere predittive e algoritmi che promettono di prevenire gli incidenti prima ancora che accadano. Ma lo faremo con una domanda sempre accesa: siamo sicuri che possiamo affidarci completamente alle macchine, quando c’è in gioco la sicurezza delle persone?

Alcuni esempi in cui gli algoritmi non hanno funzionato

Pensiamo al caso del Boeing 737 Max. Due disastri aerei, a pochi mesi l’uno dall’altro: il volo Lion Air nel 2018 e quello di Ethiopian Airlines nel 2019. Centinaia di persone morte. Il nodo centrale? Un solo sensore. Un dispositivo che, rilevando un’inclinazione errata, ha attivato automaticamente il sistema progettato per correggere l’assetto dell’aereo in caso di rischio di stallo.

Solo che il sensore era guasto. Il sistema ha ordinato più volte al muso dell’aereo di abbassarsi, credendo di salvare l’equilibrio di volo. I piloti hanno tentato di opporsi, ma non avevano ricevuto formazione sufficiente su quella funzione.

E mentre cercavano di capire cosa stava accadendo, l’aereo ha perso quota. Il sistema, convinto di agire correttamente, ha fatto precipitare entrambi i voli. In quel caso, l’assenza di un contrappeso umano – informato, consapevole, formato – è stata fatale.

Poi c’è il caso dell’auto a guida autonoma, che nel 2018 ha investito e ucciso Elaine Herzberg, una donna di 49 anni che attraversava la strada spingendo una bicicletta. I sensori funzionavano. L’intelligenza artificiale era attiva. Ma non ha classificato correttamente la figura davanti a sé: non era un pedone, non era un ciclista in sella. Nessuno aveva detto all’algoritmo di cosa si trattava: una variabile imprevista.

E quindi, per il sistema, non esisteva. Nessuna frenata. Nessun allarme. Nessuna reazione. L’operatore umano era a bordo, ma in quel momento si fidava del sistema, non teneva sotto controllo la guida. Anche in questo caso, l’errore non era solo della macchina. Ma di un’umanità che ha abdicato al proprio ruolo di vigilanza.