Η αξιοποίηση αλγοριθμικών συστημάτων για την πρόβλεψη της ανθρώπινης συμπεριφοράς μεταβάλλει τους όρους άσκησης της προληπτικής κρατικής εξουσίας, καθόσον επιτρέπει τη διαφοροποίηση της μεταχείρισης φυσικών προσώπων βάσει πιθανολογικών εκτιμήσεων που δεν προϋποθέτουν την προηγούμενη εκδήλωση συγκεκριμένης παράνομης συμπεριφοράς. Η παρούσα μελέτη εξετάζει κατά πόσον η αλγοριθμική απόδοση επικινδυνότητας συνιστά αυτοτελές αντικείμενο συνταγματικού ελέγχου, διακριτό από τη νομιμότητα της επεξεργασίας προσωπικών δεδομένων. Με αφετηρία τη νομολογία του ΔΕΕ στις υποθέσεις Ligue des droits humains, SCHUFA Holding και Dun & Bradstreet Austria, καθώς και τη νομολογία του ΕΔΔΑ για τη βιομετρική και τεχνολογική επιτήρηση, διερευνώνται οι εγγυήσεις αναλογικότητας, ίσης μεταχείρισης και αποτελεσματικής δικαστικής προστασίας. Ιδιαίτερη έμφαση αποδίδεται στις απαγορευμένες πρακτικές του Κανονισμού (ΕΕ) 2024/1689 και στη διάκριση μεταξύ της τεχνικής αξιοπιστίας της πρόβλεψης και της νομικής καταλληλότητάς της να θεμελιώσει δυσμενή κρατική παρέμβαση.
Λέξεις-κλειδιά: Αλγοριθμική επιτήρηση, προγνωστική αστυνόμευση, τεχνητή νοημοσύνη, συνταγματικά δικαιώματα, αρχή της αναλογικότητας, αλγοριθμικές διακρίσεις, δικαστική προστασία.
Ι. Η προληπτική κρατική δράση ενώπιον της αλγοριθμικής πρόβλεψης
Η πρόληψη κινδύνων για τη δημόσια ασφάλεια αποτελεί εγγενή λειτουργία της κρατικής εξουσίας, η οποία δεν προϋποθέτει αναγκαίως την προηγούμενη επέλευση συγκεκριμένης προσβολής εννόμου αγαθού. Η νομιμότητα της σχετικής δράσης εξαρτάται, ωστόσο, από την ύπαρξη επαρκώς προσδιορισμένου κανονιστικού θεμελίου και από τη συνδρομή των πραγματικών προϋποθέσεων που δικαιολογούν την εκάστοτε επέμβαση. Η εισαγωγή αλγοριθμικών συστημάτων στη διαδικασία αξιολόγησης κινδύνων δεν μεταβάλλει τον προληπτικό χαρακτήρα της κρατικής δράσης, επηρεάζει όμως ουσιωδώς τον τρόπο συγκρότησης της πραγματικής της βάσης. Η δυνατότητα επεξεργασίας εκτεταμένων συνόλων δεδομένων και αναγνώρισης στατιστικών συσχετίσεων επιτρέπει την παραγωγή εκτιμήσεων για τη μελλοντική συμπεριφορά φυσικών προσώπων, ακόμη και όταν δεν υφίστανται εξατομικευμένες ενδείξεις προηγούμενης παραβατικότητας. Η μεταβολή αυτή δεν συνιστά απλώς τεχνολογική επιτάχυνση των παραδοσιακών μεθόδων αστυνομικής ανάλυσης, αλλά δύναται να επιφέρει ουσιαστική μετατόπιση του αντικειμένου της κρατικής αξιολόγησης από την ήδη εκδηλωμένη συμπεριφορά στην πιθανολογούμενη μελλοντική δράση του προσώπου.[1]
Η έννοια της προγνωστικής αστυνόμευσης (predictive policing) δεν αναφέρεται, πάντως, σε ενιαία τεχνολογική ή επιχειρησιακή πρακτική. Περιλαμβάνει συστήματα χωρικής πρόβλεψης της εγκληματικότητας, εργαλεία κατανομής αστυνομικών πόρων και μεθόδους ατομικής αξιολόγησης κινδύνου, οι οποίες εμφανίζουν ουσιώδεις διαφορές ως προς τα χρησιμοποιούμενα δεδομένα, το αντικείμενο της πρόβλεψης και τις συνέπειες για τα θιγόμενα πρόσωπα. Η διάκριση αυτή είναι κρίσιμη, καθόσον η πρόβλεψη αυξημένης πιθανότητας τέλεσης ορισμένης κατηγορίας εγκλημάτων σε συγκεκριμένη γεωγραφική περιοχή δεν ταυτίζεται με την απόδοση προσωπικής επικινδυνότητας σε ορισμένο άτομο. Η πρώτη δύναται να επηρεάζει την κατανομή των αστυνομικών δυνάμεων, ενώ η δεύτερη μπορεί να οδηγήσει σε εξατομικευμένη επιτήρηση ή δυσμενή μεταχείριση. Παρά τη διαφοροποίηση αυτή, αμφότερες οι πρακτικές προϋποθέτουν την αξιολόγηση της σχέσης μεταξύ ιστορικών δεδομένων και μελλοντικών γεγονότων, η οποία δεν μπορεί να θεωρείται δεδομένη ούτε να αποσυνδέεται από τις κοινωνικές και θεσμικές συνθήκες παραγωγής των σχετικών πληροφοριών.[2]
Το ιδιαίτερο πρόβλημα της αλγοριθμικής πρόβλεψης έγκειται στην ενδεχόμενη μετατροπή της στατιστικής συσχέτισης σε εξατομικευμένο κριτήριο άσκησης δημόσιας εξουσίας. Η διαπίστωση ότι ορισμένα χαρακτηριστικά εμφανίζουν συχνότερη συσχέτιση με συγκεκριμένη συμπεριφορά δεν ισοδυναμεί με απόδειξη ότι το πρόσωπο που συγκεντρώνει τα χαρακτηριστικά αυτά πρόκειται να εκδηλώσει την αντίστοιχη συμπεριφορά. Η σύγχυση μεταξύ των δύο αυτών επιπέδων κρίσης αποκτά ιδιαίτερη νομική σημασία όταν η αλγοριθμική εκτίμηση χρησιμοποιείται για την επιβολή ή εντατικοποίηση περιορισμών. Η σχετική πρακτική δεν μπορεί να νομιμοποιείται αποκλειστικά μέσω της επίκλησης της αποτελεσματικότητας της πρόληψης, καθόσον η τεχνική ικανότητα παραγωγής μιας πρόβλεψης και η νομική καταλληλότητά της να θεμελιώσει δυσμενή επέμβαση αποτελούν διαφορετικές κατηγορίες αξιολόγησης.[3]
Η προβληματική αυτή αποκτά πρόσθετη διάσταση όταν συνεκτιμηθεί ότι τα δεδομένα που χρησιμοποιούνται για την εκπαίδευση προγνωστικών συστημάτων δεν αποτελούν κατ’ ανάγκην ουδέτερη αποτύπωση της κοινωνικής πραγματικότητας. Οι καταγραφές της αστυνομικής δραστηριότητας, για παράδειγμα, αντανακλούν όχι μόνον την πραγματική έκταση της εγκληματικότητας, αλλά και τις προηγούμενες επιλογές επιτήρησης, ελέγχου και κατανομής των αστυνομικών πόρων. Η αξιοποίησή τους για την πρόβλεψη μελλοντικών κινδύνων μπορεί, συνεπώς, να αναπαράγει την ένταση της προηγούμενης αστυνόμευσης και να οδηγήσει σε περαιτέρω συγκέντρωση ελέγχων στις ίδιες περιοχές ή κοινωνικές ομάδες. Η επιστημονική βιβλιογραφία έχει αναδείξει το πρόβλημα αυτό ως μηχανισμό ανατροφοδότησης, στον οποίο η πρόβλεψη επηρεάζει τη δραστηριότητα που παράγει τα δεδομένα βάσει των οποίων θα πραγματοποιηθεί η επόμενη πρόβλεψη.[4]
Η συνταγματική αξιολόγηση της αλγοριθμικής επιτήρησης δεν μπορεί, υπό τα δεδομένα αυτά, να περιορίζεται στη νομιμότητα της συλλογής προσωπικών πληροφοριών. Η επεξεργασία των δεδομένων αποτελεί το τεχνικό υπόβαθρο της πρόβλεψης, δεν προδικάζει όμως τη νομιμότητα της μεταγενέστερης αξιοποίησής της. Ακόμη και όταν η επεξεργασία πραγματοποιείται βάσει νόμιμου θεμελίου, παραμένει αυτοτελές το ερώτημα εάν το παραγόμενο αποτέλεσμα μπορεί να δικαιολογήσει συγκεκριμένη δυσμενή μεταχείριση. Η διάκριση αυτή επιτρέπει τη διαμόρφωση μιας ακριβέστερης ερευνητικής αφετηρίας: αντικείμενο της παρούσας μελέτης δεν είναι η γενική νομιμότητα της τεχνητής νοημοσύνης στη δημόσια διοίκηση, αλλά η κανονιστική μετάβαση από την αλγοριθμική εκτίμηση του κινδύνου στην κρατική απόφαση που επηρεάζει την ελευθερία του προσώπου.[5]
ΙΙ. Η συνταγματική προστασία πέραν της πληροφοριακής αυτοδιάθεσης
Η επεξεργασία προσωπικών δεδομένων για την εξαγωγή συμπερασμάτων σχετικά με τη συμπεριφορά ή την επικινδυνότητα φυσικού προσώπου εμπίπτει, καταρχήν, στο πεδίο προστασίας των άρθρων 7 και 8 του Χάρτη Θεμελιωδών Δικαιωμάτων της Ευρωπαϊκής Ένωσης. Οι δύο διατάξεις κατοχυρώνουν αντιστοίχως τον σεβασμό της ιδιωτικής ζωής και την προστασία των δεδομένων προσωπικού χαρακτήρα, χωρίς η αυτοτέλειά τους να αποκλείει τη συνδυασμένη εφαρμογή τους. Η νομολογία του ΔΕΕ έχει επανειλημμένως αναγνωρίσει ότι η συστηματική συλλογή και διατήρηση πληροφοριών μπορεί να συνιστά σοβαρή επέμβαση στα προστατευόμενα δικαιώματα, ακόμη και όταν τα δεδομένα δεν έχουν αξιοποιηθεί για τη λήψη συγκεκριμένης δυσμενούς απόφασης.[6] Η παραγωγή, ωστόσο, αξιολογικών συμπερασμάτων και η χρήση τους ως κριτηρίων διαφοροποίησης της μεταχείρισης ενεργοποιούν πρόσθετες εγγυήσεις, ιδίως την απαγόρευση των διακρίσεων κατά το άρθρο 21 και την αποτελεσματική δικαστική προστασία κατά το άρθρο 47 του Χάρτη, υπό την προϋπόθεση εφαρμογής του ενωσιακού δικαίου σύμφωνα με το άρθρο 51 § 1 αυτού.[7]
Η ανάγκη συνεξέτασης των σχετικών δικαιωμάτων απορρέει από τη σύνθετη λειτουργία της αλγοριθμικής επέμβασης. Η συλλογή πληροφοριών, η παραγωγή προβλέψεων και η λήψη αποφάσεων βάσει των τελευταίων συγκροτούν διακριτά στάδια, τα οποία μπορούν να εμφανίζουν διαφορετική ένταση προσβολής των προστατευόμενων αγαθών. Ενώ η πρώτη φάση συνδέεται κυρίως με την πληροφοριακή αυτοδιάθεση, η δεύτερη εγείρει ζητήματα αξιοπιστίας, ίσης μεταχείρισης και απόδοσης προσωπικών χαρακτηριστικών μέσω στατιστικών συσχετίσεων, η δε τρίτη μεταφέρει το ζήτημα στο πεδίο της νομιμότητας της άσκησης εξουσίας. Η διάκριση αυτή ανταποκρίνεται και στις διαπιστώσεις του Οργανισμού Θεμελιωδών Δικαιωμάτων της Ευρωπαϊκής Ένωσης, ο οποίος έχει επισημάνει ότι η συμμόρφωση προς τους κανόνες προστασίας δεδομένων δεν αρκεί για την εξάντληση των ζητημάτων θεμελιωδών δικαιωμάτων που ανακύπτουν από τη χρήση συστημάτων τεχνητής νοημοσύνης.[8]
Στο επίπεδο της ελληνικής συνταγματικής τάξης, η σχετική προβληματική συνδέεται πρωτίστως με το άρθρο 9Α Σ., το οποίο κατοχυρώνει την προστασία του προσώπου από τη συλλογή, επεξεργασία και χρήση προσωπικών δεδομένων, καθώς και με το άρθρο 5 § 1 Σ., υπό το πρίσμα της ελεύθερης ανάπτυξης της προσωπικότητας. Η συνταγματική αποτίμηση δεν εξαντλείται, ωστόσο, στις διατάξεις αυτές. Όταν η αλγοριθμική αξιολόγηση οδηγεί σε δυσμενή διαφοροποίηση προσώπων βάσει χαρακτηριστικών που δεν συνιστούν νόμιμα κριτήρια μεταχείρισης, αποκτά σημασία η αρχή της ισότητας κατά το άρθρο 4 § 1 Σ., ενώ η δυνατότητα ουσιαστικής αμφισβήτησης της σχετικής κρατικής πράξης συνδέεται με τις εγγυήσεις δικαστικής προστασίας του άρθρου 20 § 1 Σ. Η αρχή της αναλογικότητας, όπως κατοχυρώνεται στο άρθρο 25 § 1 Σ., επιβάλλει περαιτέρω τη διερεύνηση της σχέσης μεταξύ του επιδιωκόμενου σκοπού και της συγκεκριμένης επέμβασης, χωρίς η τεχνολογική αποτελεσματικότητα του χρησιμοποιούμενου μέσου να μπορεί να υποκαταστήσει τη νομική αξιολόγηση της αναγκαιότητάς του.[9]
Η αρχή της αναλογικότητας αποκτά ιδιαίτερη λειτουργία στην περίπτωση της προγνωστικής αξιολόγησης, καθόσον το αντικείμενο της κρατικής κρίσης δεν είναι πάντοτε ένα ήδη διαπιστωμένο γεγονός, αλλά η πιθανότητα μελλοντικής εκδήλωσής του. Η καταλληλότητα ενός συστήματος δεν μπορεί να συναχθεί αποκλειστικά από τη δυνατότητά του να παράγει στατιστικά αξιόπιστες προβλέψεις, αλλά προϋποθέτει την εξέταση της συνάφειας των χρησιμοποιούμενων δεδομένων με τον επιδιωκόμενο νόμιμο σκοπό. Αντιστοίχως, η αναγκαιότητα της επέμβασης απαιτεί να διερευνηθεί εάν η ίδια προληπτική λειτουργία μπορεί να επιτευχθεί με λιγότερο επαχθή μέσα, ενώ η αναλογικότητα υπό στενή έννοια επιβάλλει τη στάθμιση των συνεπειών της συγκεκριμένης πρακτικής για τα θιγόμενα πρόσωπα. Η ανάγκη ουσιαστικής αξιολόγησης των παραπάνω προϋποθέσεων καθίσταται εντονότερη όταν η πρόβλεψη χρησιμοποιείται για την επιβολή εξατομικευμένων περιορισμών.[10]
Ιδιαίτερη σημασία παρουσιάζει, τέλος, η ανθρώπινη αξιοπρέπεια, όχι ως γενική ρητορική επίκληση έναντι της τεχνολογικής εξέλιξης, αλλά ως κανονιστικό όριο της αντιμετώπισης του προσώπου αποκλειστικά βάσει γενικευμένων πιθανολογικών χαρακτηριστικών. Η αξιολόγηση της ατομικής συμπεριφοράς μπορεί να στηρίζεται σε πληροφορίες και ενδείξεις, δεν μπορεί όμως να αποσυνδέεται πλήρως από τη δυνατότητα του προσώπου να αντιμετωπίζεται ως φορέας αυτοτελούς έννομης θέσης. Η αναγωγή της στατιστικής ομοιότητας προς άλλους ανθρώπους σε επαρκές θεμέλιο δυσμενούς κρατικής μεταχείρισης εγείρει, από την άποψη αυτή, ζήτημα συμβατότητας με το άρθρο 2 § 1 Σ. και το άρθρο 1 του Χάρτη, χωρίς να σημαίνει ότι οι διατάξεις αυτές θεμελιώνουν γενική απαγόρευση κάθε μορφής προγνωστικής αξιολόγησης.[11]
ΙΙΙ. Η αυτοματοποιημένη αξιολόγηση δεδομένων επιβατών: Η νομολογιακή οριοθέτηση της πρόβλεψης στην υπόθεση Ligue des droits humains
Η απόφαση του ΔΕΕ της 21ης Ιουνίου 2022, C-817/19, Ligue des droits humains, αποτελεί σημαντική νομολογιακή αφετηρία για τη διερεύνηση των ορίων της αυτοματοποιημένης προληπτικής αξιολόγησης, καθόσον αφορά την επεξεργασία δεδομένων επιβατών αεροπορικών μεταφορών με σκοπό την πρόληψη, ανίχνευση, διερεύνηση και δίωξη τρομοκρατικών και σοβαρών εγκλημάτων. Η Οδηγία (ΕΕ) 2016/681 προβλέπει τη δυνατότητα προγενέστερης αξιολόγησης των δεδομένων από τις καταστάσεις ονομάτων επιβατών (Passenger Name Record – PNR), μέσω αντιπαραβολής με σχετικές βάσεις δεδομένων και προκαθορισμένα κριτήρια. Το Δικαστήριο δεν διαπίστωσε λόγο ακυρότητας της Οδηγίας, έκρινε όμως ότι οι διατάξεις της πρέπει να ερμηνεύονται περιοριστικά, ώστε οι επεμβάσεις στα άρθρα 7 και 8 του Χάρτη να μην υπερβαίνουν το απολύτως αναγκαίο μέτρο.[12] Η προσέγγιση αυτή δεν εξαντλείται στην έκταση των συλλεγόμενων πληροφοριών, αλλά καταλαμβάνει και τον τρόπο αξιολόγησής τους, αναδεικνύοντας ότι η νομιμότητα της προληπτικής επεξεργασίας εξαρτάται και από τα χαρακτηριστικά της μεθόδου μέσω της οποίας παράγονται οι σχετικές ενδείξεις.
Ιδιαίτερη σημασία παρουσιάζει η ερμηνεία του άρθρου 6 § 3 στοιχ. β΄ της Οδηγίας, αναφορικά με τα προκαθορισμένα κριτήρια της αυτοματοποιημένης αξιολόγησης. Το ΔΕΕ έκρινε ότι η διάταξη αποκλείει, στο συγκεκριμένο κανονιστικό πλαίσιο, τη χρήση αυτοεκπαιδευόμενων συστημάτων μηχανικής μάθησης τα οποία μπορούν να τροποποιούν, χωρίς ανθρώπινη παρέμβαση και επανεξέταση, τη διαδικασία αξιολόγησης, ιδίως τα χρησιμοποιούμενα κριτήρια και τη σχετική τους στάθμιση.[13] Η παραδοχή αυτή δεν ισοδυναμεί με γενική απαγόρευση της μηχανικής μάθησης, αλλά αποτυπώνει την ιδιαίτερη σημασία που αποδίδεται στην ελεγξιμότητα της διαδικασίας παραγωγής των αποτελεσμάτων. Η δυνατότητα εξακρίβωσης των λόγων μιας θετικής αντιστοίχισης δεν αποτελεί, υπό την έννοια αυτή, δευτερεύουσα τεχνική απαίτηση, αλλά συνδέεται με την αποτελεσματικότητα των εγγυήσεων που προβλέπονται για την προστασία των θιγόμενων προσώπων.
Η νομολογιακή αυτή θέση αποκτά ιδιαίτερη σημασία εάν συνεκτιμηθεί ότι η αδιαφάνεια ενός αλγοριθμικού συστήματος μπορεί να εμφανίζει διαφορετικές μορφές. Η δυσχέρεια κατανόησης των κανόνων λειτουργίας του δεν ταυτίζεται αναγκαίως με την αδυναμία εξήγησης της συγκεκριμένης κρίσης, ούτε η γνωστοποίηση του τεχνικού μηχανισμού συνεπάγεται αυτομάτως ότι το παραγόμενο αποτέλεσμα είναι ουσιαστικά δικαιολογημένο. Η θεωρία έχει επισημάνει τη διάκριση μεταξύ της αδυναμίας πρόσβασης στους κανόνες λειτουργίας ενός συστήματος και της δυσχέρειας κατανόησης των λόγων για τους οποίους οι κανόνες αυτοί θεωρούνται πρόσφοροι. Η πρώτη συνδέεται πρωτίστως με την τεχνική και πληροφοριακή διαφάνεια, ενώ η δεύτερη με τη δυνατότητα ουσιαστικής αξιολόγησης της ορθότητας των χρησιμοποιούμενων κριτηρίων.[14] Η διάκριση αυτή έχει ιδιαίτερη σημασία για τη συνταγματική προστασία, καθόσον η γνωστοποίηση των παραμέτρων ενός συστήματος δεν αρκεί, αφ’ εαυτής, για τη δικαιολόγηση της δυσμενούς κρατικής παρέμβασης.
Στο ίδιο πλαίσιο, η Ligue des droits humains αναδεικνύει την ανάγκη ουσιαστικής ανθρώπινης επανεξέτασης των θετικών αποτελεσμάτων της αυτοματοποιημένης αξιολόγησης. Η σχετική απαίτηση δεν μπορεί να θεωρείται ότι εκπληρώνεται με την απλή παρεμβολή ανθρώπινου οργάνου, όταν αυτό δεν διαθέτει πραγματική δυνατότητα κατανόησης και αξιολόγησης των λόγων που οδήγησαν στο συγκεκριμένο αποτέλεσμα. Η ανθρώπινη εποπτεία αποκτά ουσιαστικό περιεχόμενο μόνον εφόσον επιτρέπει την επαλήθευση των κρίσιμων στοιχείων και την απόκλιση από την παραγόμενη ένδειξη, όπου τούτο δικαιολογείται.[15] Η παραδοχή αυτή ανταποκρίνεται στη γενικότερη προβληματική της διοικητικής λογοδοσίας, όπως έχει αναπτυχθεί στη θεωρία των αυτοματοποιημένων αποφάσεων: η μεταφορά ουσιωδών σταδίων αξιολόγησης σε τεχνολογικά συστήματα δεν μπορεί να συνεπάγεται την αποδυνάμωση των διαδικαστικών εγγυήσεων που θα ίσχυαν εάν η ίδια κρίση πραγματοποιούνταν από διοικητικό όργανο.[16]
Η σημασία της απόφασης για την προγνωστική αστυνόμευση εντοπίζεται, τελικώς, στη διάκριση μεταξύ της παραγωγής μιας ένδειξης και της διαπίστωσης των πραγματικών προϋποθέσεων που απαιτούνται για τη λήψη συγκεκριμένου μέτρου. Η θετική αντιστοίχιση στο πλαίσιο του συστήματος PNR δεν συνιστά διαπίστωση συμμετοχής σε εγκληματική δραστηριότητα, αλλά πληροφοριακό αποτέλεσμα το οποίο απαιτεί περαιτέρω εξέταση. Η αξιοποίησή του για την επιβολή δυσμενούς περιορισμού προϋποθέτει ιδιαίτερη δικαιολόγηση, ανάλογη προς τη φύση της επέμβασης.[17] Υπό το πρίσμα αυτό, η προληπτική λειτουργία της αλγοριθμικής επεξεργασίας δεν αποσυνδέεται από την αρχή της αναλογικότητας, αλλά υπόκειται σε αυτήν ακριβώς επειδή το αντικείμενό της είναι η εκτίμηση μελλοντικών κινδύνων και όχι η διαπίστωση ήδη συντελεσμένων γεγονότων.
IV. Η πραγματική αποφασιστική λειτουργία της αλγοριθμικής αξιολόγησης: Από τη SCHUFA Holding στη Dun & Bradstreet Austria
Διαφορετική όψη της αλγοριθμικής αξιολόγησης αναδεικνύεται στην απόφαση του ΔΕΕ της 7ης Δεκεμβρίου 2023, C-634/21, SCHUFA Holding (Scoring), η οποία αφορά την αυτοματοποιημένη παραγωγή βαθμολογίας πιστοληπτικής ικανότητας φυσικού προσώπου μέσω μαθηματικών και στατιστικών μεθόδων. Το κρίσιμο ζήτημα συνίστατο στο κατά πόσον η παραγωγή της σχετικής βαθμολογίας εμπίπτει στην έννοια της αυτοματοποιημένης ατομικής απόφασης κατά το άρθρο 22 § 1 ΓΚΠΔ, όταν τρίτος αποδέκτης στηρίζεται σε αυτή σε καθοριστικό βαθμό για τη σύναψη, εκτέλεση ή λύση συμβατικής σχέσης. Το Δικαστήριο δέχθηκε ότι η αυτοματοποιημένη παραγωγή μιας τέτοιας τιμής πιθανότητας μπορεί να συνιστά αυτοματοποιημένη ατομική απόφαση, εφόσον συντρέχουν οι προβλεπόμενες προϋποθέσεις.[18] Η κρίση αυτή αποτρέπει τον περιορισμό της προστασίας αποκλειστικά στο στάδιο της τελικής συμβατικής απόφασης, αναγνωρίζοντας τη σημασία της πραγματικής επίδρασης της προηγηθείσας βαθμολόγησης στη διαμόρφωση της έννομης θέσης του προσώπου.
Η προσέγγιση αυτή παρουσιάζει ιδιαίτερο δογματικό ενδιαφέρον, καθόσον αποσυνδέει την αποφασιστική λειτουργία της αλγοριθμικής αξιολόγησης από την τυπική κατανομή της αρμοδιότητας λήψης της τελικής απόφασης. Το γεγονός ότι η δυσμενής συνέπεια επέρχεται μέσω πράξης τρίτου προσώπου δεν αρκεί για να αποκλείσει την εφαρμογή των εγγυήσεων του άρθρου 22 ΓΚΠΔ, όταν η αυτοματοποιημένη βαθμολογία έχει καθοριστική σημασία για την τελική κρίση.[19] Η συλλογιστική αυτή επιτρέπει τη διερεύνηση του φαινομένου της έμμεσης αλγοριθμικής αποφασιστικότητας, κατά το οποίο η τελική πράξη εμφανίζεται τυπικώς ως προϊόν ανθρώπινης κρίσης, πλην όμως το ουσιαστικό της περιεχόμενο έχει ήδη προσδιοριστεί από προηγηθείσα αυτοματοποιημένη αξιολόγηση. Η σχετική προβληματική αποκτά ιδιαίτερη σημασία στο πεδίο της δημόσιας εξουσίας, όπου η αρχή της νομιμότητας επιβάλλει η δυσμενής παρέμβαση να στηρίζεται σε εξατομικευμένη και ελέγξιμη αιτιολογία.
Η SCHUFA Holding δεν αφορά αστυνομική επιτήρηση ούτε θεμελιώνει γενική απαγόρευση χρήσης αλγοριθμικών συστημάτων από δημόσιες αρχές. Η συμβολή της στην παρούσα προβληματική είναι πρωτίστως μεθοδολογική, καθόσον αναδεικνύει την ανάγκη αξιολόγησης της πραγματικής αποφασιστικής λειτουργίας του αλγοριθμικού αποτελέσματος, πέρα από τον οργανωτικό χαρακτηρισμό που του αποδίδεται. Η συλλογιστική αυτή δεν μπορεί να μεταφερθεί αυτούσια στην επεξεργασία δεδομένων από αρμόδιες αρχές για σκοπούς πρόληψης, διερεύνησης, ανίχνευσης ή δίωξης ποινικών αδικημάτων, η οποία υπάγεται, κατά περίπτωση, στο ειδικό καθεστώς της Οδηγίας (ΕΕ) 2016/680.[20] Επιτρέπει, εντούτοις, να αναδειχθεί ένα γενικότερο ερμηνευτικό πρόβλημα: η τυπική διατήρηση της αποφασιστικής αρμοδιότητας από ανθρώπινο όργανο δεν αρκεί για να εξασφαλίσει τον ουσιαστικό έλεγχο της άσκησής της, όταν το όργανο αυτό ακολουθεί κατά κανόνα μια προηγηθείσα αλγοριθμική εκτίμηση.
Η προβληματική της ουσιαστικής ελεγξιμότητας αποκτά πρόσθετη διάσταση με την απόφαση του ΔΕΕ της 27ης Φεβρουαρίου 2025, C-203/22, Dun & Bradstreet Austria. Αντικείμενο της υπόθεσης αποτέλεσε η ερμηνεία του άρθρου 15 § 1 στοιχ. η΄ ΓΚΠΔ, αναφορικά με το δικαίωμα του υποκειμένου των δεδομένων να λαμβάνει ουσιαστικές πληροφορίες σχετικά με τη λογική που διέπει την αυτοματοποιημένη λήψη αποφάσεων. Το Δικαστήριο έκρινε ότι ο υπεύθυνος επεξεργασίας οφείλει να παρέχει, σε συνοπτική, διαφανή, κατανοητή και ευχερώς προσβάσιμη μορφή, πληροφορίες για τη διαδικασία και τις αρχές που εφαρμόστηκαν πράγματι κατά τη χρήση των προσωπικών δεδομένων για την παραγωγή συγκεκριμένου αποτελέσματος.[21] Η σχετική υποχρέωση δεν εξαντλείται στην αφηρημένη περιγραφή του αλγοριθμικού συστήματος, αλλά συνδέεται με την ανάγκη κατανόησης του τρόπου με τον οποίο τα δεδομένα του συγκεκριμένου προσώπου αξιοποιήθηκαν για τη διαμόρφωση της ατομικής αξιολόγησης.
Η απόφαση παρουσιάζει ιδιαίτερη σημασία και ως προς τη σχέση μεταξύ της προστασίας εμπορικών απορρήτων και του δικαιώματος πρόσβασης. Το Δικαστήριο δέχθηκε ότι, όταν ο υπεύθυνος επεξεργασίας επικαλείται την προστασία πληροφοριών τρίτων ή εμπορικών απορρήτων, οι σχετικές πληροφορίες πρέπει να τίθενται στη διάθεση της αρμόδιας εποπτικής αρχής ή του δικαστηρίου, προκειμένου να πραγματοποιηθεί η απαιτούμενη στάθμιση των συγκρουόμενων δικαιωμάτων και συμφερόντων.[22] Η παραδοχή αυτή αποκλείει την αντιμετώπιση της τεχνικής ή εμπορικής εμπιστευτικότητας ως απόλυτου εμποδίου κάθε ουσιαστικού ελέγχου, χωρίς, ωστόσο, να επιβάλλει την άνευ περιορισμών δημοσιοποίηση του συνόλου των τεχνικών χαρακτηριστικών ενός συστήματος.
Υπό το πρίσμα των ανωτέρω, η αποτελεσματική προστασία έναντι των αυτοματοποιημένων αποφάσεων δεν μπορεί να ταυτίζεται με την απλή δυνατότητα πρόσβασης στον πηγαίο κώδικα ή στην τεχνική αρχιτεκτονική του συστήματος. Η θεωρία έχει αναδείξει ότι η εξήγηση μιας αυτοματοποιημένης κρίσης μπορεί να επιτελεί περισσότερες λειτουργίες: να επιτρέπει στο πρόσωπο να κατανοήσει το αποτέλεσμα, να προσφέρει τη δυνατότητα ουσιαστικής αμφισβήτησής του και να προσδιορίζει ποια στοιχεία επηρέασαν καθοριστικά την έκβασή του.[23] Η προσέγγιση αυτή παρουσιάζει ιδιαίτερο ενδιαφέρον για την αποτελεσματική δικαστική προστασία, καθόσον η πρόσβαση σε τεχνικές πληροφορίες δεν εξασφαλίζει, αφ’ εαυτής, τη δυνατότητα ελέγχου της νομικής καταλληλότητας των κριτηρίων που χρησιμοποιήθηκαν. Η κρίσιμη εγγύηση δεν συνίσταται αποκλειστικά στη διαφάνεια της τεχνολογικής λειτουργίας, αλλά στη δυνατότητα ανασυγκρότησης και αμφισβήτησης της συγκεκριμένης αξιολογικής συλλογιστικής.
Η συμβολή των δύο αποφάσεων στη συνταγματική προβληματική της αλγοριθμικής επιτήρησης είναι, επομένως, συμπληρωματική. Η SCHUFA Holding επιτρέπει να προσδιοριστεί πότε μια αυτοματοποιημένη αξιολόγηση αποκτά ουσιαστικά αποφασιστικό χαρακτήρα, ενώ η Dun & Bradstreet Austria αναδεικνύει τις πληροφοριακές προϋποθέσεις που καθιστούν δυνατή την κατανόηση και αμφισβήτησή της. Η σύνδεση αυτή δεν συνεπάγεται την άμεση εφαρμογή του ΓΚΠΔ σε κάθε μορφή αστυνομικής επεξεργασίας, επιτρέπει όμως τη διατύπωση μιας ευρύτερης δογματικής θέσης: η πραγματική αποφασιστικότητα της αλγοριθμικής αξιολόγησης πρέπει να συνοδεύεται από αντίστοιχη δυνατότητα ουσιαστικού ελέγχου της νομιμότητάς της.[24]
V. Η βιομετρική επιτήρηση και η αποτρεπτική επίδραση στην άσκηση των ελευθεριών: Η νομολογία του ΕΔΔΑ
Η απόφαση του ΕΔΔΑ της 4ης Ιουλίου 2023, Glukhin κατά Ρωσίας, προσφέρει διαφορετική οπτική στην προβληματική της τεχνολογικής επιτήρησης, καθόσον αναδεικνύει τη δυνατότητα επέμβασης στην άσκηση θεμελιωδών ελευθεριών μέσω της επεξεργασίας βιομετρικών δεδομένων. Η υπόθεση αφορούσε τον εντοπισμό και τη σύλληψη προσφεύγοντος ο οποίος είχε πραγματοποιήσει ειρηνική ατομική διαμαρτυρία στο μετρό της Μόσχας. Οι αστυνομικές αρχές αξιοποίησαν τεχνολογία αναγνώρισης προσώπου για την ταυτοποίηση και τον εντοπισμό του, ενώ ακολούθησε η καταδίκη του για διοικητική παράβαση σχετική με τη μη προηγούμενη γνωστοποίηση της διαμαρτυρίας. Το ΕΔΔΑ διαπίστωσε παραβίαση των άρθρων 8 και 10 ΕΣΔΑ, αποδίδοντας ιδιαίτερη σημασία τόσο στον ειρηνικό χαρακτήρα της διαμαρτυρίας όσο και στην ένταση της επέμβασης που συνεπαγόταν η χρήση τεχνολογίας αναγνώρισης προσώπου.[25]
Η σημασία της απόφασης δεν περιορίζεται στη διαπίστωση ότι η επεξεργασία βιομετρικών δεδομένων συνιστά επέμβαση στην ιδιωτική ζωή. Το Δικαστήριο συνεκτίμησε το γεγονός ότι η χρησιμοποιηθείσα τεχνολογία είχε εφαρμοστεί για τον εντοπισμό προσώπου που ασκούσε ειρηνικά δικαίωμα προστατευόμενο από τη Σύμβαση, αναδεικνύοντας τη σημασία του πραγματικού πλαισίου εντός του οποίου πραγματοποιείται η επεξεργασία.[26] Η ένταση της επέμβασης δεν προσδιορίζεται, επομένως, αποκλειστικά από τη φύση των συλλεγόμενων δεδομένων, αλλά και από τον σκοπό και τις περιστάσεις της αξιοποίησής τους. Η βιομετρική ταυτοποίηση συμμετεχόντων σε ειρηνικές διαμαρτυρίες παρουσιάζει διαφορετική κανονιστική βαρύτητα από την επεξεργασία αντίστοιχων δεδομένων σε πλαίσιο που δεν συνδέεται με την άσκηση θεμελιώδους ελευθερίας.
Στο πλαίσιο αυτό, το ΕΔΔΑ αναγνώρισε τη δυνατότητα αποτρεπτικής επίδρασης της τεχνολογίας αναγνώρισης προσώπου στην άσκηση της ελευθερίας της έκφρασης και του συνέρχεσθαι. Η δυνατότητα συστηματικής ταυτοποίησης και εντοπισμού συμμετεχόντων σε ειρηνικές διαμαρτυρίες μπορεί να επηρεάζει τη βούληση των προσώπων να συμμετάσχουν σε αντίστοιχες δραστηριότητες, ακόμη και όταν δεν ακολουθείται σε κάθε περίπτωση από συγκεκριμένη κύρωση.[27] Η παραδοχή αυτή αποκτά ιδιαίτερη σημασία για τη συνταγματική θεωρία, καθόσον αναδεικνύει ότι ο περιορισμός μιας ελευθερίας δεν προϋποθέτει πάντοτε την έκδοση τυπικής απαγορευτικής πράξης. Η τεχνολογική επιτήρηση μπορεί, υπό συγκεκριμένες περιστάσεις, να επηρεάζει τους πραγματικούς όρους άσκησης των δικαιωμάτων, δημιουργώντας συνθήκες αποθάρρυνσης της νόμιμης δημοκρατικής συμμετοχής.
Η προσέγγιση αυτή δεν εμφανίζεται αποκομμένη από την προγενέστερη νομολογία του ΕΔΔΑ για τη συστηματική συλλογή και διατήρηση προσωπικών πληροφοριών. Στην απόφαση S. and Marper κατά Ηνωμένου Βασιλείου, το Δικαστήριο εξέτασε τη διατήρηση δακτυλικών αποτυπωμάτων, κυτταρικών δειγμάτων και γενετικών προφίλ προσώπων που δεν είχαν καταδικαστεί, αναγνωρίζοντας την ιδιαίτερη σημασία της φύσης των δεδομένων, της διάρκειας διατήρησής τους και της απουσίας επαρκούς διαφοροποίησης μεταξύ των υποκειμένων.[28] Αντιστοίχως, στην απόφαση Big Brother Watch και λοιποί κατά Ηνωμένου Βασιλείου, η μείζων σύνθεση του Δικαστηρίου ανέδειξε την ανάγκη ουσιαστικών εγγυήσεων έναντι των κινδύνων αυθαιρεσίας που συνεπάγονται τα συστήματα μαζικής παρακολούθησης.[29] Οι αποφάσεις αυτές δεν αφορούν αλγοριθμική πρόβλεψη επικινδυνότητας, συμβάλλουν όμως στην κατανόηση της ιδιαίτερης σημασίας που αποκτούν η έκταση της πληροφοριακής επέμβασης και οι εγγυήσεις ελέγχου της.
Η νομολογία του ΕΔΔΑ επιτρέπει, συνεπώς, την ανάδειξη μιας διάστασης της αλγοριθμικής επιτήρησης η οποία δεν εξαντλείται στην ορθότητα της παραγόμενης πρόβλεψης. Όταν νόμιμες μορφές κοινωνικής ή πολιτικής δραστηριότητας χρησιμοποιούνται ως παράγοντες αξιολόγησης επικινδυνότητας, το κρίσιμο ερώτημα δεν είναι μόνον εάν η σχετική επεξεργασία είναι τεχνικώς αξιόπιστη, αλλά και εάν η ίδια η επιλογή των κριτηρίων είναι συμβατή με την προστατευτική λειτουργία των θεμελιωδών δικαιωμάτων. Η συμμετοχή σε δημόσια συνάθροιση, για παράδειγμα, δεν μπορεί να αντιμετωπίζεται ως αφ’ εαυτής ένδειξη παραβατικής συμπεριφοράς, χωρίς να αναιρείται ο προστατευτικός χαρακτήρας της αντίστοιχης ελευθερίας.[30] Η διαπίστωση αυτή δεν προκύπτει ως αυτοτελής γενικός κανόνας από την Glukhin, αλλά αποτελεί ερμηνευτικό συμπέρασμα από τη σημασία που αποδίδει η νομολογία στη σχέση μεταξύ τεχνολογικής επιτήρησης και δημοκρατικής συμμετοχής.
VI. Η αλγοριθμική αναπαραγωγή διακρίσεων και τα όρια της στατιστικής ουδετερότητας
Η προγνωστική αξιολόγηση παρουσιάζει ιδιαίτερες δυσχέρειες υπό το πρίσμα της αρχής της ισότητας, καθόσον τα χρησιμοποιούμενα δεδομένα μπορούν να ενσωματώνουν προϋφιστάμενες κοινωνικές ανισότητες ή θεσμικές πρακτικές διαφοροποιημένης μεταχείρισης. Η επιστημονική βιβλιογραφία έχει αναδείξει ότι η αλγοριθμική επεξεργασία δεν εξαλείφει αναγκαίως τις διακρίσεις που ενδέχεται να χαρακτηρίζουν τις ανθρώπινες αποφάσεις, αλλά μπορεί να τις αναπαράγει μέσω της επιλογής δεδομένων εκπαίδευσης, της διαμόρφωσης των μεταβλητών και του προσδιορισμού του επιδιωκόμενου αποτελέσματος. Οι Barocas και Selbst επισημαίνουν ότι η χρήση φαινομενικά ουδέτερων κριτηρίων μπορεί να οδηγεί σε δυσανάλογα δυσμενείς συνέπειες για ορισμένες ομάδες, ακόμη και όταν δεν υφίσταται πρόθεση διάκρισης εκ μέρους των σχεδιαστών του συστήματος.[31]
Ιδιαίτερη σημασία παρουσιάζει η δυνατότητα έμμεσης αναπαραγωγής προστατευόμενων χαρακτηριστικών μέσω άλλων μεταβλητών. Η εξαίρεση ενός ευαίσθητου χαρακτηριστικού από τα δεδομένα εισόδου δεν αποκλείει αναγκαίως τη συναγωγή του από συνδυασμούς άλλων πληροφοριών, όπως η γεωγραφική περιοχή κατοικίας ή ορισμένα κοινωνικοοικονομικά δεδομένα.[32] Η διαπίστωση αυτή αποκτά ιδιαίτερη σημασία για την προγνωστική αστυνόμευση, καθόσον η συστηματική αξιοποίηση δεδομένων που αντανακλούν προηγούμενες επιλογές επιτήρησης μπορεί να οδηγήσει σε περαιτέρω συγκέντρωση αστυνομικής δραστηριότητας στις ίδιες περιοχές. Η σχετική πρακτική δεν μπορεί να θεωρείται ουδέτερη αποκλειστικά λόγω της απουσίας ρητής αναφοράς σε απαγορευμένο κριτήριο διάκρισης, αλλά απαιτεί εξέταση των πραγματικών συνεπειών της.
Η εμπειρική διάσταση του προβλήματος έχει αναδειχθεί ιδίως από τη μελέτη των Lum και Isaac, οι οποίοι εξέτασαν τις συνέπειες της χρήσης ιστορικών δεδομένων για την προγνωστική αστυνόμευση υποθέσεων ναρκωτικών ουσιών, επισημαίνοντας τον κίνδυνο δυσανάλογης συγκέντρωσης αστυνομικών ελέγχων σε ήδη επιβαρυμένες από την αστυνόμευση κοινότητες.[33] Η σημασία της σχετικής διαπίστωσης δεν συνίσταται στην απόδειξη ότι κάθε σύστημα προγνωστικής αστυνόμευσης οδηγεί αναγκαίως σε διακρίσεις, αλλά στην ανάδειξη της αδυναμίας εξομοίωσης των καταγεγραμμένων αστυνομικών περιστατικών με το σύνολο της πραγματικής εγκληματικότητας. Η επιλογή των δεδομένων εκπαίδευσης αποτελεί, επομένως, ουσιώδες στοιχείο της αξιολόγησης της νομιμότητας και όχι απλώς τεχνικό ζήτημα βελτιστοποίησης της απόδοσης.
Η διάκριση μεταξύ της τεχνικής ακρίβειας και της ουσιαστικής δικαιοσύνης του αποτελέσματος αποκτά πρόσθετη σημασία όταν συνεκτιμηθεί ότι διαφορετικές μέθοδοι μέτρησης της αλγοριθμικής δικαιοσύνης ενδέχεται να οδηγούν σε διαφορετικές αξιολογήσεις της ίδιας πρακτικής. Η σύγχρονη έρευνα αναδεικνύει τη δυσχέρεια διαμόρφωσης ενιαίου τεχνικού κριτηρίου αμεροληψίας, ικανού να ανταποκρίνεται σε όλες τις απαιτήσεις της αρχής της ίσης μεταχείρισης.[34] Η νομική αξιολόγηση δεν μπορεί, συνεπώς, να ανατεθεί αποκλειστικά στην επιλογή ενός τεχνικού δείκτη, αλλά προϋποθέτει την εξέταση των ουσιαστικών κριτηρίων διαφοροποίησης, των συνεπειών της σχετικής πρακτικής και της δυνατότητας δικαιολόγησής τους υπό το πρίσμα του εφαρμοστέου δικαίου.
Στο πεδίο αυτό, η προστασία των προσωπικών δεδομένων και η απαγόρευση των διακρίσεων μπορούν να εμφανίζουν ιδιαίτερη κανονιστική αλληλεπίδραση. Η ανάγκη ελέγχου της μεροληψίας ενός συστήματος μπορεί να προϋποθέτει, υπό συγκεκριμένες συνθήκες, την επεξεργασία πληροφοριών σχετικά με προστατευόμενα χαρακτηριστικά, ενώ η ίδια η επεξεργασία των πληροφοριών αυτών υπόκειται σε αυστηρούς περιορισμούς. Ο Κανονισμός (ΕΕ) 2024/1689 αντιμετωπίζει το ζήτημα αυτό μέσω ειδικών προϋποθέσεων για την επεξεργασία ιδιαίτερων κατηγοριών δεδομένων στο πλαίσιο της ανίχνευσης και διόρθωσης μεροληψιών, χωρίς να καθιερώνει γενική εξουσιοδότηση συλλογής τους.[35] Η σχετική ρύθμιση καταδεικνύει ότι η αποτροπή των αλγοριθμικών διακρίσεων δεν εξαντλείται στην απαγόρευση χρήσης ορισμένων μεταβλητών, αλλά προϋποθέτει σύνθετη αξιολόγηση της λειτουργίας του συστήματος και των συνεπειών του.
Η συνταγματική σημασία των παραπάνω παρατηρήσεων έγκειται στην ανάγκη ουσιαστικού ελέγχου της αλγοριθμικής κατηγοριοποίησης, ιδίως όταν η τελευταία χρησιμοποιείται για την κατανομή της έντασης της κρατικής επιτήρησης. Η επίκληση της στατιστικής ουδετερότητας δεν αρκεί για τη δικαιολόγηση δυσμενούς μεταχείρισης, εφόσον τα χρησιμοποιούμενα κριτήρια αναπαράγουν προϋφιστάμενες ανισότητες ή οδηγούν σε αποτελέσματα ασύμβατα με την αρχή της ισότητας. Η διαπίστωση αυτή δεν συνεπάγεται ότι κάθε διαφοροποιημένο στατιστικό αποτέλεσμα συνιστά απαγορευμένη διάκριση, αλλά επιβάλλει την εξέταση της πραγματικής λειτουργίας των κριτηρίων και της ύπαρξης αντικειμενικής και εύλογης δικαιολόγησης της σχετικής διαφοροποίησης.[36]
VII. Οι απαγορευμένες πρακτικές του Κανονισμού (ΕΕ) 2024/1689 και η ουσιαστική οριοθέτηση της προγνωστικής επικινδυνότητας
Η θέσπιση του Κανονισμού (ΕΕ) 2024/1689 για την τεχνητή νοημοσύνη προσδίδει ιδιαίτερη κανονιστική σημασία στην προβληματική της αλγοριθμικής επιτήρησης, καθόσον ο ενωσιακός νομοθέτης δεν περιορίζεται στη ρύθμιση των τεχνικών και οργανωτικών προϋποθέσεων λειτουργίας των σχετικών συστημάτων, αλλά προβλέπει και την απαγόρευση ορισμένων πρακτικών. Η επιλογή αυτή αντανακλά τη διάκριση μεταξύ των κινδύνων που μπορούν να αντιμετωπιστούν μέσω εγγυήσεων διαφάνειας, ανθρώπινης εποπτείας και διαχείρισης κινδύνων και των πρακτικών που κρίνονται κανονιστικά ανεπίτρεπτες λόγω των ιδιαίτερων χαρακτηριστικών τους.[37] Ιδιαίτερη σημασία παρουσιάζει το άρθρο 5 § 1 στοιχ. γ΄, το οποίο απαγορεύει, υπό τις ειδικότερες προϋποθέσεις του, πρακτικές κοινωνικής βαθμολόγησης φυσικών προσώπων ή ομάδων προσώπων βάσει της κοινωνικής τους συμπεριφοράς ή γνωστών, συναγόμενων ή προβλεπόμενων προσωπικών χαρακτηριστικών, όταν η παραγόμενη βαθμολογία οδηγεί σε συγκεκριμένες μορφές δυσμενούς ή δυσανάλογης μεταχείρισης.[38]
Αντιστοίχως, το άρθρο 5 § 1 στοιχ. δ΄ απαγορεύει τη χρήση συστημάτων τεχνητής νοημοσύνης για την εκτίμηση ή πρόβλεψη του κινδύνου τέλεσης αξιόποινης πράξης από φυσικό πρόσωπο, όταν η σχετική εκτίμηση στηρίζεται αποκλειστικά στην κατάρτιση προφίλ ή στην αξιολόγηση χαρακτηριστικών της προσωπικότητάς του. Η διάταξη προβλέπει εξαίρεση για συστήματα που χρησιμοποιούνται προς υποστήριξη ανθρώπινης αξιολόγησης της εμπλοκής προσώπου σε εγκληματική δραστηριότητα, όταν η τελευταία στηρίζεται ήδη σε αντικειμενικά και επαληθεύσιμα περιστατικά άμεσα συνδεόμενα με εγκληματική δραστηριότητα.[39] Η διάκριση αυτή έχει ιδιαίτερη σημασία, καθόσον αναδεικνύει τη διαφορετική κανονιστική αξιολόγηση της πρόβλεψης που στηρίζεται αποκλειστικά σε γενικευμένα χαρακτηριστικά του προσώπου και της αξιοποίησης αλγοριθμικού εργαλείου προς υποστήριξη κρίσης που θεμελιώνεται σε συγκεκριμένα πραγματικά δεδομένα.
Η απαγόρευση δεν καταλαμβάνει, πάντως, κάθε μορφή προγνωστικής αξιολόγησης της εγκληματικότητας. Οι κατευθυντήριες γραμμές της Ευρωπαϊκής Επιτροπής για τις απαγορευμένες πρακτικές διευκρινίζουν ότι το άρθρο 5 § 1 στοιχ. δ΄ αφορά τις ειδικώς περιγραφόμενες περιπτώσεις ατομικής πρόβλεψης κινδύνου τέλεσης αξιόποινης πράξης και δεν συνιστά γενική απαγόρευση κάθε πρακτικής πρόβλεψης εγκληματικών φαινομένων.[40] Η ακριβής οριοθέτηση του πεδίου εφαρμογής της διάταξης είναι αναγκαία, προκειμένου να αποφευχθεί η εσφαλμένη συναγωγή ότι ο ενωσιακός νομοθέτης έχει αποκλείσει συνολικά τη χρήση αλγοριθμικών εργαλείων στην πρόληψη του εγκλήματος. Η σχετική επιλογή είναι ειδικότερη: αποκλείει συγκεκριμένους τρόπους απόδοσης προσωπικής επικινδυνότητας, οι οποίοι δεν στηρίζονται σε επαρκώς εξατομικευμένη πραγματική βάση.
Η νομοθετική αυτή οριοθέτηση συνδέεται με τη γενικότερη προβληματική της αξιολόγησης κινδύνων στο ποινικό σύστημα. Η πρόσφατη θεωρία έχει επισημάνει ότι η χρήση προγνωστικών συστημάτων για την κατάταξη προσώπων βάσει της πιθανότητας μελλοντικής παραβατικότητας μπορεί να επηρεάζει τις θεμελιώδεις παραδοχές της εξατομικευμένης ποινικής μεταχείρισης, ιδίως όταν η σχετική εκτίμηση αποκτά ουσιαστικά αποφασιστικό χαρακτήρα.[41] Η προβληματική αυτή δεν ταυτίζεται με την ποινική ενοχή, η οποία προϋποθέτει την απόδοση συγκεκριμένης αξιόποινης πράξης, αλλά αφορά την ενδεχόμενη μεταφορά πιθανολογικών χαρακτηριστικών του προσώπου στο πεδίο της προληπτικής κρατικής δράσης. Η διάκριση μεταξύ πρόληψης και καταλογισμού παραμένει, συνεπώς, αναγκαία, χωρίς να αναιρεί την υποχρέωση ελέγχου της νομιμότητας των προληπτικών περιορισμών.
Η διάκριση μεταξύ απαγορευμένων πρακτικών και συστημάτων υψηλού κινδύνου αποκτά ιδιαίτερη σημασία υπό το πρίσμα της δομής του Κανονισμού. Για τις επιτρεπτές χρήσεις που υπάγονται στην κατηγορία υψηλού κινδύνου προβλέπονται, μεταξύ άλλων, υποχρεώσεις διαχείρισης κινδύνων, τεχνικής τεκμηρίωσης, διαφάνειας και ανθρώπινης εποπτείας.[42] Η συμμόρφωση προς τις υποχρεώσεις αυτές δεν συνεπάγεται, ωστόσο, αυτομάτως τη νομιμότητα κάθε συγκεκριμένης κρατικής επέμβασης. Η χρήση του συστήματος εξακολουθεί να υπόκειται στους ειδικούς κανόνες που διέπουν την άσκηση της οικείας δημόσιας αρμοδιότητας, καθώς και στις εγγυήσεις προστασίας των θεμελιωδών δικαιωμάτων. Η νομιμότητα της τεχνολογίας και η νομιμότητα της διοικητικής ή αστυνομικής πράξης στην οποία αυτή αξιοποιείται αποτελούν διακριτά, έστω αλληλένδετα, αντικείμενα ελέγχου.
Η ανάγκη ουσιαστικής αξιολόγησης των συνεπειών της τεχνολογικής χρήσης αποτυπώνεται και στη ρύθμιση περί εκτίμησης επιπτώσεων στα θεμελιώδη δικαιώματα, την οποία προβλέπει το άρθρο 27 του Κανονισμού για τις περιπτώσεις που υπάγονται στο πεδίο εφαρμογής του.[43] Η σχετική υποχρέωση δεν μπορεί να αντιμετωπίζεται ως απλή διοικητική τυπικότητα, καθόσον αποβλέπει στην αναγνώριση και αξιολόγηση των κινδύνων που συνδέονται με τη συγκεκριμένη χρήση του συστήματος. Η σημασία της έχει αναδειχθεί και στη σύγχρονη ευρωπαϊκή βιβλιογραφία, η οποία αντιμετωπίζει την εκτίμηση επιπτώσεων ως εργαλείο σύνδεσης της τεχνολογικής διαχείρισης κινδύνων με τις ουσιαστικές απαιτήσεις προστασίας των θεμελιωδών δικαιωμάτων.[44]
Η κανονιστική σημασία του άρθρου 5 έγκειται, τελικώς, στην αναγνώριση ότι η χρήση της τεχνητής νοημοσύνης δεν αποτελεί πάντοτε ζήτημα τεχνικής διαχείρισης κινδύνων, αλλά ενδέχεται να προσκρούει στα ίδια τα ουσιαστικά όρια της νόμιμης κρατικής δράσης. Όταν η δυσμενής μεταχείριση στηρίζεται σε κριτήρια τα οποία δεν μπορούν να αποτελέσουν νόμιμη βάση περιορισμού δικαιωμάτων, η βελτίωση της τεχνικής αξιοπιστίας ή της διαδικαστικής διαφάνειας δεν θεραπεύει την ουσιαστική προβληματικότητα της επέμβασης. Η παραδοχή αυτή ανταποκρίνεται και στον προσανατολισμό της Σύμβασης-Πλαισίου του Συμβουλίου της Ευρώπης για την τεχνητή νοημοσύνη, τα ανθρώπινα δικαιώματα, τη δημοκρατία και το κράτος δικαίου, η οποία αντιμετωπίζει την προστασία των δικαιωμάτων ως διαρκή απαίτηση καθ’ όλο τον κύκλο ζωής των συστημάτων τεχνητής νοημοσύνης.[45]
VIII. Η κανονιστική αυτοτέλεια της αλγοριθμικής επικινδυνότητας και η ανάγκη αποτελεσματικού δικαστικού ελέγχου
Η συνεξέταση των ανωτέρω νομολογιακών και νομοθετικών δεδομένων επιτρέπει την ανάδειξη ενός ζητήματος το οποίο δεν έχει ακόμη αποκτήσει πλήρως αυτοτελή νομολογιακή επεξεργασία: κατά πόσον η αλγοριθμική απόδοση επικινδυνότητας συνιστά ιδιαίτερο αντικείμενο συνταγματικού ελέγχου, διακριτό από τη νομιμότητα της επεξεργασίας προσωπικών δεδομένων. Η απάντηση προϋποθέτει την εξέταση της λειτουργίας που επιτελεί η σχετική εκτίμηση εντός της συγκεκριμένης διαδικασίας άσκησης δημόσιας εξουσίας. Όταν το αλγοριθμικό αποτέλεσμα χρησιμοποιείται αποκλειστικά ως πληροφοριακό στοιχείο, η νομική αξιολόγηση επικεντρώνεται στις προϋποθέσεις παραγωγής και επεξεργασίας του. Όταν, αντιθέτως, αποκτά καθοριστική σημασία για τη λήψη δυσμενούς απόφασης, ανακύπτει πρόσθετο ζήτημα νομιμότητας της ίδιας της αξιολογικής βάσης της παρέμβασης. Η διαφοροποίηση αυτή δεν εξαρτάται από τον τεχνικό χαρακτηρισμό του συστήματος, αλλά από τη λειτουργία του ως παράγοντα διαμόρφωσης της ατομικής έννομης θέσης.[46]
Η προσέγγιση αυτή αποκτά ιδιαίτερη σημασία για την αποτελεσματική δικαστική προστασία. Η δυνατότητα αμφισβήτησης μιας δυσμενούς απόφασης προϋποθέτει ότι το θιγόμενο πρόσωπο και το αρμόδιο δικαστήριο μπορούν, στον βαθμό που απαιτείται από το εφαρμοστέο δίκαιο, να ελέγξουν τα ουσιώδη στοιχεία στα οποία στηρίχθηκε η κρίση. Όταν η πραγματική βάση της απόφασης συνίσταται σε αλγοριθμική αξιολόγηση, η ελεγξιμότητα δεν μπορεί να περιορίζεται στη διαπίστωση ότι το σύστημα εφαρμόστηκε σύμφωνα με τις τεχνικές προδιαγραφές του. Απαιτείται να καθίσταται δυνατή η εξέταση της συνάφειας των χρησιμοποιούμενων κριτηρίων με τον επιδιωκόμενο νόμιμο σκοπό, της αξιοπιστίας του συγκεκριμένου αποτελέσματος και της βαρύτητας που του αποδόθηκε κατά τη λήψη της απόφασης.[47]
Η σχετική προβληματική συνδέεται με τη γενικότερη νομολογία του ΔΕΕ για την προστασία των προσωπικών δεδομένων στο πλαίσιο της αστυνομικής δράσης. Στην απόφαση της 26ης Ιανουαρίου 2023, C-205/21, Ministerstvo na vatreshnite raboti, το Δικαστήριο εξέτασε τη συστηματική συλλογή βιομετρικών και γενετικών δεδομένων κατηγορουμένων, αποδίδοντας ιδιαίτερη σημασία στην απαίτηση αυστηρής αναγκαιότητας και στις εγγυήσεις δικαστικού ελέγχου.[48] Αντιστοίχως, στην απόφαση της 30ής Ιανουαρίου 2024, C-118/22, Direktor na Glavna direktsia Natsionalna politsia, αναγνώρισε ότι η γενική και αδιαφοροποίητη διατήρηση βιομετρικών και γενετικών δεδομένων καταδικασθέντων μέχρι τον θάνατό τους, χωρίς επαρκή δυνατότητα περιοδικής επανεξέτασης της αναγκαιότητας της διατήρησης, δεν συμβιβάζεται με τις απαιτήσεις του ενωσιακού δικαίου.[49] Οι αποφάσεις αυτές δεν αφορούν την αλγοριθμική πρόβλεψη, επιβεβαιώνουν όμως τη σημασία της εξατομικευμένης αξιολόγησης και της δυνατότητας ουσιαστικού ελέγχου των επεμβάσεων που πραγματοποιούνται για σκοπούς καταπολέμησης της εγκληματικότητας.
Στην ίδια κατεύθυνση, η απόφαση της 4ης Οκτωβρίου 2024, C-548/21, Bezirkshauptmannschaft Landeck, αναδεικνύει την ανάγκη αναλογικού και, καταρχήν, προηγούμενου ανεξάρτητου ελέγχου της πρόσβασης των αστυνομικών αρχών σε δεδομένα αποθηκευμένα σε κινητό τηλέφωνο, λαμβανομένης υπόψη της έντασης της επέμβασης στα θεμελιώδη δικαιώματα.[50] Η νομολογία αυτή ενισχύει τη θέση ότι η αποτελεσματικότητα της καταπολέμησης της εγκληματικότητας δεν μπορεί να λειτουργεί ως αυτοτελής λόγος παράκαμψης των εγγυήσεων νομιμότητας και αναλογικότητας. Η μεταφορά της συλλογιστικής αυτής στην αλγοριθμική επιτήρηση προϋποθέτει, ασφαλώς, συνεκτίμηση των ιδιαίτερων χαρακτηριστικών της τεχνολογίας, επιτρέπει όμως την ανάδειξη της ανάγκης ουσιαστικής δικαστικής προστασίας έναντι επεμβάσεων που στηρίζονται σε σύνθετες μορφές επεξεργασίας πληροφοριών.
Υπό το πρίσμα αυτό, η αρχή της αναλογικότητας δεν εξαντλείται στη στάθμιση μεταξύ της αποτελεσματικότητας της προληπτικής δράσης και της προστασίας της ιδιωτικότητας, αλλά καταλαμβάνει και τη σχέση μεταξύ της πιθανολογικής εκτίμησης και της συγκεκριμένης δυσμενούς συνέπειας. Η ύπαρξη στατιστικής συσχέτισης μεταξύ ορισμένων χαρακτηριστικών και συγκεκριμένης συμπεριφοράς δεν υποκαθιστά τη διαπίστωση των πραγματικών και νομικών προϋποθέσεων που απαιτούνται για την επιβολή περιορισμού. Η παραδοχή αυτή δεν συνεπάγεται ότι η έννομη τάξη οφείλει να αποκλείσει κάθε μορφή προληπτικής αξιολόγησης, αλλά ότι η αξιοποίηση της πρόβλεψης πρέπει να παραμένει συναρτημένη με τον σκοπό και τις προϋποθέσεις της συγκεκριμένης δημόσιας αρμοδιότητας. Όσο εντονότερη είναι η επέμβαση στο δικαίωμα, τόσο μεγαλύτερη σημασία αποκτά η ανάγκη εξατομικευμένης και ελέγξιμης θεμελίωσής της.[51]
IX. Συμπερασματικές παρατηρήσεις
Η αλγοριθμική επιτήρηση αναδεικνύει μια ιδιαίτερη όψη της σύγχρονης προληπτικής κρατικής δράσης, καθόσον καθιστά δυνατή τη συστηματική αξιολόγηση της πιθανολογούμενης μελλοντικής συμπεριφοράς φυσικών προσώπων και την αξιοποίηση των σχετικών εκτιμήσεων για τη διαφοροποίηση της μεταχείρισής τους. Η συνταγματική σημασία της τεχνολογικής αυτής δυνατότητας δεν εξαντλείται στη διεύρυνση της κρατικής πρόσβασης σε προσωπικές πληροφορίες, αλλά συνδέεται με τον κίνδυνο μετατροπής της στατιστικής πρόβλεψης σε αυτοτελές κριτήριο άσκησης δημόσιας εξουσίας. Η διάκριση μεταξύ της πληροφοριακής χρησιμότητας και της κανονιστικής καταλληλότητας της αλγοριθμικής εκτίμησης αποτελεί, υπό το πρίσμα αυτό, αναγκαία προϋπόθεση για την οριοθέτηση των επιτρεπτών μορφών προληπτικής παρέμβασης.[52]
Η νομολογία του ΔΕΕ και του ΕΔΔΑ δεν συγκροτεί ακόμη ενιαία θεωρία περί συνταγματικών ορίων της αλγοριθμικής επικινδυνότητας. Οι αποφάσεις Ligue des droits humains, SCHUFA Holding, Dun & Bradstreet Austria και Glukhin κατά Ρωσίας παρέχουν, ωστόσο, διακριτά ερμηνευτικά ερείσματα για τη διαμόρφωση ενός σύνθετου προτύπου προστασίας. Η πρώτη αναδεικνύει την ανάγκη ελεγξιμότητας των κριτηρίων και ουσιαστικής επαλήθευσης των αποτελεσμάτων της αυτοματοποιημένης προληπτικής αξιολόγησης· η δεύτερη αποδίδει σημασία στην πραγματική αποφασιστική λειτουργία της αλγοριθμικής βαθμολόγησης· η τρίτη προσδιορίζει τις πληροφοριακές προϋποθέσεις ουσιαστικής αμφισβήτησης της αυτοματοποιημένης κρίσης· η τέταρτη καταδεικνύει ότι η τεχνολογική επιτήρηση μπορεί να επηρεάζει την πραγματική άσκηση θεμελιωδών ελευθεριών, πέραν της προστασίας της ιδιωτικής ζωής.[53]
Η θέσπιση του Κανονισμού (ΕΕ) 2024/1689 ενισχύει τη σημασία της διάκρισης μεταξύ των αλγοριθμικών πρακτικών που μπορούν να υπαχθούν σε καθεστώς διαχείρισης κινδύνων και εκείνων που αποκλείονται λόγω των ιδιαίτερων χαρακτηριστικών τους. Η απαγόρευση ορισμένων μορφών κοινωνικής βαθμολόγησης και προγνωστικής αξιολόγησης της εγκληματικής συμπεριφοράς αναδεικνύει ότι η προστασία των θεμελιωδών δικαιωμάτων δεν μπορεί να εξαρτάται αποκλειστικά από την τεχνική αξιοπιστία ή τη διαδικαστική διαφάνεια ενός συστήματος. Η νομιμότητα της δυσμενούς μεταχείρισης εξακολουθεί να προϋποθέτει την ύπαρξη κατάλληλου κανονιστικού θεμελίου, το οποίο δεν μπορεί να υποκατασταθεί από τη στατιστική πιθανότητα εκδήλωσης ορισμένης συμπεριφοράς.[54]
Η ουσιώδης συνταγματική πρόκληση δεν συνίσταται, επομένως, στο εάν η κρατική εξουσία μπορεί να αξιοποιεί τεχνολογικά μέσα για την πρόβλεψη κινδύνων, αλλά στο εάν και υπό ποιες προϋποθέσεις επιτρέπεται να μετατρέπει την πρόβλεψη αυτή σε λόγο περιορισμού της ελευθερίας. Η απάντηση δεν μπορεί να αναζητηθεί αποκλειστικά στην τεχνική αποτελεσματικότητα της αλγοριθμικής αξιολόγησης, αλλά προϋποθέτει τη διατήρηση της εξατομικευμένης νομικής κρίσης, της ουσιαστικής ελεγξιμότητας της κρατικής δράσης και της κανονιστικής αυτοτέλειας των θεμελιωδών δικαιωμάτων έναντι των πιθανολογικών εκτιμήσεων.[55]
[1] Βλ. A.G. Ferguson, «Policing Predictive Policing», Washington University Law Review 94 (2017), σ. 1109–1189, ιδίως την ανάπτυξη της προγνωστικής αστυνόμευσης ως νέου μοντέλου κατανομής αστυνομικής προσοχής και την ανάγκη νομικού ελέγχου των σχετικών πρακτικών.
[2] Βλ. S. Söderholm, «Fundamental rights control when implementing predictive policing – a European perspective», Peking University Law Journal 11 (2023), σ. 91–104, για τη σύνδεση της προγνωστικής αστυνόμευσης με την προστασία θεμελιωδών δικαιωμάτων στο ευρωπαϊκό κανονιστικό περιβάλλον.
[3] Πρβλ. J. Chan / J. Bennett Moses, «Algorithmic prediction in policing: assumptions, evaluation, and accountability», Policing and Society, δημοσιευμένο ηλεκτρονικά το 2016, ιδίως την ανάλυση των προϋποθέσεων στις οποίες στηρίζονται τα προγνωστικά μοντέλα και της ανάγκης ανεξάρτητης αξιολόγησης της αποτελεσματικότητάς τους.
[4] Βλ. K. Lum / W. Isaac, «To Predict and Serve?», Significance 13(5) (2016), σ. 14–19, για την αναπαραγωγή της προηγούμενης αστυνομικής δραστηριότητας μέσω δεδομένων εκπαίδευσης και τον κίνδυνο δυσανάλογης επιτήρησης ορισμένων κοινοτήτων.
[5] Πρβλ. M. Anastasopoulou, «Exploring algorithmic governance: The AI Act and new realities for criminal justice, and fundamental rights», New Journal of European Criminal Law 16(2) (2025), για τη μετάβαση από την ανθρώπινη αξιολόγηση στην αλγοριθμική κατηγοριοποίηση και τις συνέπειές της για την ποινική δικαιοσύνη.
[6] ΔΕΕ 8.4.2014, συνεκδ. C-293/12 και C-594/12, Digital Rights Ireland, ECLI:EU:C:2014:238, ιδίως ως προς την ένταση της επέμβασης που συνεπάγεται η διατήρηση δεδομένων επικοινωνιών.
[7] Χάρτης Θεμελιωδών Δικαιωμάτων της Ευρωπαϊκής Ένωσης, άρθρα 7, 8, 21, 47, 51 § 1 και 52 § 1. Η εφαρμογή των διατάξεων του Χάρτη προϋποθέτει την υπαγωγή της συγκεκριμένης περίπτωσης στο πεδίο εφαρμογής του ενωσιακού δικαίου.
[8] European Union Agency for Fundamental Rights, Getting the Future Right – Artificial Intelligence and Fundamental Rights, 2020, ιδίως κεφ. 3–5, για τη συνδυασμένη αξιολόγηση των δικαιωμάτων προστασίας δεδομένων, ίσης μεταχείρισης και πρόσβασης στη δικαιοσύνη.
[9] Σύνταγμα της Ελλάδας, άρθρα 2 § 1, 4 § 1, 5 § 1, 9Α, 20 § 1 και 25 § 1, ως συνδυασμένο κανονιστικό έρεισμα της προστασίας του προσώπου έναντι δυσμενούς κρατικής μεταχείρισης.
[10] Πρβλ. FRA, Getting the Future Right, ό.π., κεφ. 3.3, σχετικά με τις προϋποθέσεις δικαιολόγησης επεμβάσεων στα θεμελιώδη δικαιώματα, καθώς και κεφ. 5, για τη λειτουργία των εκτιμήσεων επιπτώσεων ως εργαλείων προληπτικού ελέγχου.
[11] Βλ. Χάρτης, άρθρο 1, και Σ., άρθρο 2 § 1. Για τη σχέση ανθρώπινης αξιοπρέπειας και αλγοριθμικής διακυβέρνησης, πρβλ. Anastasopoulou, ό.π., ενότητα για τη μεταβολή της ατομικής αξιολόγησης μέσω αλγοριθμικών συστημάτων.
[12] ΔΕΕ 21.6.2022, C-817/19, Ligue des droits humains κατά Conseil des ministres, ECLI:EU:C:2022:491, σχετικά με την Οδηγία (ΕΕ) 2016/681 και την ερμηνεία της υπό το πρίσμα των άρθρων 7, 8 και 52 § 1 του Χάρτη.
[13] ΔΕΕ, Ligue des droits humains, ό.π., σκ. 194–195, σχετικά με τα προκαθορισμένα κριτήρια και τη χρήση αυτοεκπαιδευόμενων συστημάτων μηχανικής μάθησης στο πλαίσιο του συστήματος PNR.
[14] A.D. Selbst / S. Barocas, «The Intuitive Appeal of Explainable Machines», Fordham Law Review 87 (2018), σ. 1085 επ., ιδίως ως προς τη διάκριση μεταξύ αδιαφάνειας και μη διαισθητικής κατανόησης των αλγοριθμικών μοντέλων.
[15] Οδηγία (ΕΕ) 2016/681, άρθρο 6 §§ 5–6, σχετικά με την ανθρώπινη επανεξέταση των αποτελεσμάτων της αυτοματοποιημένης επεξεργασίας δεδομένων PNR.
[16] D.K. Citron, «Technological Due Process», Washington University Law Review 85 (2008), σ. 1249 επ., για την αποδυνάμωση των διαδικαστικών εγγυήσεων όταν οι αυτοματοποιημένες διοικητικές διαδικασίες δεν επιτρέπουν ουσιαστική ακρόαση και αμφισβήτηση της απόφασης.
[17] Πρβλ. Οδηγία (ΕΕ) 2016/681, άρθρο 7, ως προς τη χρήση και περαιτέρω επεξεργασία των δεδομένων PNR από τις αρμόδιες αρχές, σε συνδυασμό με τις εγγυήσεις της προγενέστερης αξιολόγησης του άρθρου 6.
[18] ΔΕΕ 7.12.2023, C-634/21, SCHUFA Holding (Scoring), ECLI:EU:C:2023:957, σχετικά με την έννοια της αυτοματοποιημένης ατομικής απόφασης κατά το άρθρο 22 § 1 ΓΚΠΔ.
[19] ΔΕΕ, SCHUFA Holding, ό.π., ιδίως σκ. 43–50, σχετικά με τη σημασία της αυτοματοποιημένης βαθμολόγησης για την τελική απόφαση τρίτου προσώπου.
[20] Οδηγία (ΕΕ) 2016/680, άρθρα 3 και 11, σχετικά με το πεδίο εφαρμογής και την αυτοματοποιημένη ατομική λήψη αποφάσεων στο ειδικό καθεστώς επεξεργασίας δεδομένων από αρμόδιες αρχές.
[21] ΔΕΕ 27.2.2025, C-203/22, Dun & Bradstreet Austria, ECLI:EU:C:2025:117, διατακτικό, σημείο 1, σχετικά με την παροχή ουσιαστικών και κατανοητών πληροφοριών για τη διαδικασία και τις αρχές που εφαρμόστηκαν κατά την αυτοματοποιημένη αξιολόγηση.
[22] ΔΕΕ, Dun & Bradstreet Austria, ό.π., διατακτικό, σημείο 2, σχετικά με τη στάθμιση του δικαιώματος πρόσβασης προς την προστασία εμπορικών απορρήτων και δεδομένων τρίτων από την αρμόδια εποπτική αρχή ή το δικαστήριο.
[23] S. Wachter / B. Mittelstadt / C. Russell, «Counterfactual Explanations Without Opening the Black Box: Automated Decisions and the GDPR», Harvard Journal of Law & Technology 31(2) (2018), σ. 841–887, για τις λειτουργίες της εξήγησης και τη δυνατότητα αμφισβήτησης αυτοματοποιημένων αποφάσεων μέσω αντιπαραδειγματικών εξηγήσεων.
[24] Πρβλ. FRA, Getting the Future Right, ό.π., κεφ. 4.6, για την πρόσβαση στη δικαιοσύνη και τις δυσχέρειες αμφισβήτησης αλγοριθμικών αποφάσεων.
[25] ΕΔΔΑ 4.7.2023, Glukhin κατά Ρωσίας, προσφ. αρ. 11519/20, ως προς τη χρήση τεχνολογίας αναγνώρισης προσώπου για τον εντοπισμό και τη σύλληψη συμμετέχοντος σε ειρηνική διαμαρτυρία.
[26] ΕΔΔΑ, Glukhin κατά Ρωσίας, ό.π., ως προς τη συνεκτίμηση του ειρηνικού χαρακτήρα της διαμαρτυρίας κατά την αξιολόγηση της επέμβασης στα άρθρα 8 και 10 ΕΣΔΑ.
[27] ΕΔΔΑ, Glukhin κατά Ρωσίας, ό.π., σχετικά με την ενδεχόμενη αποτρεπτική επίδραση της αναγνώρισης προσώπου στην άσκηση της ελευθερίας της έκφρασης και του συνέρχεσθαι.
[28] ΕΔΔΑ (Τμήμα Ευρείας Σύνθεσης) 4.12.2008, S. and Marper κατά Ηνωμένου Βασιλείου, προσφ. αρ. 30562/04 και 30566/04, για τη διατήρηση βιομετρικών και γενετικών δεδομένων προσώπων που δεν είχαν καταδικαστεί.
[29] ΕΔΔΑ (Τμήμα Ευρείας Σύνθεσης) 25.5.2021, Big Brother Watch και λοιποί κατά Ηνωμένου Βασιλείου, προσφ. αρ. 58170/13, 62322/14 και 24969/15, για τις εγγυήσεις έναντι συστημάτων μαζικής παρακολούθησης και τη σχέση τους με τα άρθρα 8 και 10 ΕΣΔΑ
[30] Πρβλ. ΕΣΔΑ, άρθρα 10 και 11, σε συνδυασμό με τη νομολογιακή προσέγγιση της Glukhin, αναφορικά με τη σημασία της αποτρεπτικής επίδρασης κρατικών μέτρων στην άσκηση δημοκρατικών ελευθεριών.
[31] S. Barocas / A.D. Selbst, «Big Data’s Disparate Impact», California Law Review 104 (2016), σ. 671–732, ιδίως σ. 677 επ., για τους μηχανισμούς αναπαραγωγής διακρίσεων μέσω δεδομένων εκπαίδευσης και επιλογής μεταβλητών.
[32] Barocas / Selbst, ό.π., σ. 688–694, για τη σημασία της επιλογής χαρακτηριστικών και της χρήσης υποκατάστατων μεταβλητών που δύνανται να αναπαράγουν προστατευόμενα χαρακτηριστικά.
[33] Lum / Isaac, ό.π., σ. 14–19, σχετικά με τις συνέπειες της εκπαίδευσης προγνωστικών συστημάτων σε ιστορικά δεδομένα αστυνομικής δραστηριότητας.
[34] A.S. Almasoud / J.A. Idowu, «Algorithmic fairness in predictive policing», AI and Ethics 5 (2025), σ. 2323–2337, για τις προκλήσεις αξιολόγησης και αντιμετώπισης της αλγοριθμικής μεροληψίας στο πεδίο της προγνωστικής αστυνόμευσης.
[35] Κανονισμός (ΕΕ) 2024/1689, άρθρο 10 § 5, σχετικά με τις ειδικές προϋποθέσεις επεξεργασίας ιδιαίτερων κατηγοριών προσωπικών δεδομένων για την ανίχνευση και διόρθωση μεροληψιών σε συστήματα υψηλού κινδύνου.
[36] Πρβλ. FRA, Getting the Future Right, ό.π., κεφ. 4.5, σχετικά με την ίση μεταχείριση και την ανάγκη αξιολόγησης των πραγματικών διακριτικών συνεπειών της χρήσης συστημάτων τεχνητής νοημοσύνης.
[37] Κανονισμός (ΕΕ) 2024/1689, άρθρα 5 και 6, για τη διάκριση μεταξύ απαγορευμένων πρακτικών και συστημάτων υψηλού κινδύνου. Για την ερμηνεία χρησιμοποιείται το ενοποιημένο κείμενο της 27.7.2026.
[38] Κανονισμός (ΕΕ) 2024/1689, άρθρο 5 § 1 στοιχ. γ΄, σχετικά με την απαγόρευση συγκεκριμένων πρακτικών κοινωνικής βαθμολόγησης.
[39] Κανονισμός (ΕΕ) 2024/1689, άρθρο 5 § 1 στοιχ. δ΄, σχετικά με την απαγόρευση ορισμένων μορφών ατομικής προγνωστικής αξιολόγησης κινδύνου τέλεσης αξιόποινης πράξης.
[40] Ευρωπαϊκή Επιτροπή, Guidelines on Prohibited Artificial Intelligence Practices Established by Regulation (EU) 2024/1689, 2025, σημεία 192–194, σχετικά με την έκταση της απαγόρευσης του άρθρου 5 § 1 στοιχ. δ΄ και τη διάκριση από άλλες πρακτικές πρόβλεψης εγκληματικότητας
[41] Anastasopoulou, ό.π., ιδίως ως προς τις επιπτώσεις της προγνωστικής αξιολόγησης στην ατομική μεταχείριση και στις θεμελιώδεις παραδοχές της ποινικής δικαιοσύνης.
[42] Κανονισμός (ΕΕ) 2024/1689, άρθρα 9, 11, 13 και 14, σχετικά με τη διαχείριση κινδύνων, την τεχνική τεκμηρίωση, τη διαφάνεια και την ανθρώπινη εποπτεία των συστημάτων υψηλού κινδύνου.
[43] Κανονισμός (ΕΕ) 2024/1689, άρθρο 27, σχετικά με την εκτίμηση επιπτώσεων στα θεμελιώδη δικαιώματα για τις χρήσεις που εμπίπτουν στο πεδίο εφαρμογής της διάταξης.
[44] D. Casaburo / I. Marsh, «Ensuring fundamental rights compliance and trustworthiness of law enforcement AI systems: the ALIGNER Fundamental Rights Impact Assessment», AI and Ethics 4 (2024), σ. 1569–1582, για τη λειτουργία της εκτίμησης επιπτώσεων στα θεμελιώδη δικαιώματα κατά τη χρήση συστημάτων τεχνητής νοημοσύνης από αρχές επιβολής του νόμου.
[45] Συμβούλιο της Ευρώπης, Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law, CETS No. 225, 2024, ιδίως οι διατάξεις περί διαφάνειας, εποπτείας, λογοδοσίας και διαδικαστικών εγγυήσεων.
[46] Πρβλ. Citron, ό.π., για τη διάκριση μεταξύ της τυπικής ύπαρξης διαδικαστικών εγγυήσεων και της ουσιαστικής δυνατότητας αμφισβήτησης αυτοματοποιημένων διοικητικών αποφάσεων.
[47] Βλ. Wachter / Mittelstadt / Russell, ό.π., ως προς τη λειτουργία της εξήγησης ως προϋπόθεσης κατανόησης και αμφισβήτησης μιας αυτοματοποιημένης κρίσης.
[48] ΔΕΕ 26.1.2023, C-205/21, Ministerstvo na vatreshnite raboti, ECLI:EU:C:2023:49, σχετικά με την αυστηρή αναγκαιότητα επεξεργασίας βιομετρικών και γενετικών δεδομένων στο πλαίσιο αστυνομικής καταγραφής.
[49] ΔΕΕ 30.1.2024, C-118/22, Direktor na Glavna direktsia Natsionalna politsia, ECLI:EU:C:2024:97, σχετικά με τη γενική και αδιαφοροποίητη διατήρηση βιομετρικών και γενετικών δεδομένων καταδικασθέντων και την ανάγκη περιοδικής επανεξέτασης.
[50] ΔΕΕ 4.10.2024, C-548/21, Bezirkshauptmannschaft Landeck, ECLI:EU:C:2024:830, σχετικά με την αναλογικότητα και τον προηγούμενο ανεξάρτητο έλεγχο της πρόσβασης αστυνομικών αρχών σε δεδομένα αποθηκευμένα σε κινητό τηλέφωνο.
[51] Πρβλ. ΔΕΕ, Ligue des droits humains, ό.π., σε συνδυασμό με το άρθρο 52 § 1 του Χάρτη, ως προς την ανάγκη ουσιαστικού ελέγχου της αναγκαιότητας και αναλογικότητας των προληπτικών επεμβάσεων.
[52] Ferguson, ό.π., ιδίως η πρόταση ανάπτυξης αυτοτελούς πλαισίου λογοδοσίας για την προγνωστική αστυνόμευση.
[53] Πρβλ. ΔΕΕ, SCHUFA Holding και Dun & Bradstreet Austria, καθώς και ΕΔΔΑ, Glukhin κατά Ρωσίας, για τις διακριτές διαστάσεις της αυτοματοποιημένης αξιολόγησης, της ελεγξιμότητας και της προστασίας θεμελιωδών ελευθεριών.
[54] Κανονισμός (ΕΕ) 2024/1689, άρθρο 5 § 1 στοιχ. γ΄ και δ΄, σε συνδυασμό με τις κατευθυντήριες γραμμές της Ευρωπαϊκής Επιτροπής για τις απαγορευμένες πρακτικές τεχνητής νοημοσύνης.
[55] Πρβλ. Söderholm, ό.π., για τον έλεγχο θεμελιωδών δικαιωμάτων στην προγνωστική αστυνόμευση, και FRA, Getting the Future Right, ό.π., κεφ. 5–6, για την ανάγκη συστηματικής αξιολόγησης των επιπτώσεων της τεχνητής νοημοσύνης στην άσκηση δημόσιας εξουσίας.
