Pomimo domniemanego zobowiązania Citizen Lab i Uniwersytetu w Toronto do przestrzegania i żądania wyższych standardów w zakresie przejrzystości i odpowiedzialności publicznej, raport „CatalanGate” wydaje się być wyjątkiem od stosowania tych zasad. Jak pokazuje ta krytyczna recenzja, istnieje nienormalny brak przejrzystości w odniesieniu do metodologii i analiz stosowanych przez Citizen Lab w tym przypadku.

Na przykład sposób, w jaki zgłaszane są ataki Pegasus, jest bardzo nietypowy. W raporcie „Załącznik A: Sekcja celów” 30 ofiar pojawia się z przybliżonymi datami infekcji „w okolicach RRRR-MM-DD”; dla 5 ofiar występuje przedział czasowy —„kiedyś między RRRR-MM-DD a RRRR-MM-DD”—; w 12 przypadkach nie ma innych informacji niż „[Nie można określić konkretnej daty(dat) infekcji]”; w 1 przypadku występuje [„Nieznana data(y) infekcji]; w 8 przypadkach po prostu informuje, że ofiara otrzymała „Pegasus SMS”; a w 5 przypadkach jest tylko notatka, że ​​ofiary te otrzymały „2019 WhatsApp Pegasus Notifications”. Informacje dostarczone przez Citizen Lab nie pozwalają czytelnikom dowiedzieć się, ile z tych ofiar miało swoje telefony poddane analizie kryminalistycznej ani jakie były wyniki. Podobnie, jeśli chodzi o domniemaną infekcję Candiru, 3 ofiary wydają się być celem, a jedna zainfekowana. Ponadto, raport nie wyjaśnia jasno konsekwencji tych etykiet. Dlaczego Citizen Lab nie podaje jasno, ile ofiar uzyskało wynik negatywny na infekcję, tj. niezainfekowanych, i czy przeprowadzili analizę kryminalistyczną urządzeń wszystkich polityków i aktywistów z listy? Sposób, w jaki Citizen Lab łączy przypadki z negatywnymi wynikami zakażenia z przypadkami z pozytywnymi wynikami zakażenia, a nawet dodaje przypadki, w przypadku których nie jest jasne, czy przeprowadzono jakąkolwiek analizę, pokazuje wyraźny brak rygoru.

Niedokładności i pominięcia Citizen Lab dotyczące kluczowych wyborów metodologicznych i procesów są sprzeczne z niektórymi ogólnymi wytycznymi i pięcioma zasadami informatyki śledczej, określonymi przez Agencję Unii Europejskiej ds. Bezpieczeństwa Sieci i Informacji (ENISA).

ENISA, podobnie jak większość organów specjalizujących się w dochodzeniach cyfrowych, twierdzi, że „zajęcie, przechowanie, kontrola, przekazywanie, analiza i dysponowanie dowodami muszą być chronologicznie dokumentowane w odpowiedni sposób, stanowiąc „łańcuch dowodowy””. Żąda, aby dowodami zajmowali się specjaliści: „Każde urządzenie ma swoje cechy, a procedury postępowania muszą być do nich zgodne: Urządzenia elektroniczne są szczególnie wrażliwe na niezamierzone zmiany ich stanu, co wraz z innymi zagrożeniami może prowadzić do odrzucenia dowodów przez sąd”. Jak ta analiza pokaże w dalszych sekcjach, dowodami zajmowali się nie tylko specjaliści od kryminalistyki cyfrowej, ale także niektórzy działacze na rzecz niepodległości, tak jak pan Elies Campo, który nie miał wcześniej żadnego szkolenia w zakresie kryminalistyki cyfrowej. W trakcie procesu mogły nastąpić niezamierzone lub celowe zmiany dowodów.

ENISA nalega również na stosowanie właściwych procedur, technik i narzędzi: „Oprócz wiedzy eksperckiej inżynierów kryminalistycznych, każde zadanie wymaga przestrzegania procedur przy stosowaniu właściwych technik z odpowiednimi narzędziami. Każde dochodzenie kryminalistyczne musi być możliwe do prześledzenia i powtórzenia przez innych specjalistów kryminalistycznych z takim samym ostatecznym wnioskiem”.

Raport CatalanGate, podobnie jak wiele innych raportów Citizen Lab, nie dokumentuje w minimalnym stopniu procedur i technik kryminalistycznych, a dla żadnego innego specjalisty kryminalistycznego nie byłoby możliwe prześledzenie i odtworzenie analizy. Wręcz przeciwnie, gdy pytano bezpośrednio o daty, procedury pobierania próbek i protokoły obsługi dowodów, Citizen Lab wykazało nienormalnie niejasne i nieuchwytne wnioski. Badania w Katalonii przeprowadził Pan Campo i inni działacze i politycy proniepodległościowi. Chociaż pan Campo był nadzorowany z Toronto przez pana Deiberta i pana Scotta-Railtona, nie ma śladu żadnego pisemnego protokołu ani techniki kryminalistycznej stosowanej podczas badań.

„Kompletność” to kolejne kryterium promowane przez ENISA, czyli dowody „muszą obejmować sprawę w całości, niezależnie od perspektywy”. W tym przypadku widać, że do analizy poddano tylko telefony niezależnych polityków i aktywistów. W dużej mierze jest to spowodowane zaangażowaniem organizacji nacjonalistycznych i partii politycznych w proces wyboru danych. Nie ma żadnych zapisów, czy analizowano inne telefony lub grupy kontrolne. Citizen Lab odmawia podania negatywnych wyników i liczby przeprowadzonych analiz.

ENISA podkreśla również, że istnieje pięć zasad, które stanowią podstawę wszelkich działań z dowodami elektronicznymi, jak w tym przypadku: 1) integralność danych, 2) ślad audytu, 3) wsparcie specjalistyczne, 4) odpowiednie szkolenie i 5) legalność. Integralność danych przypomina badaczom o konieczności zachowania łańcucha dowodowego. W raporcie CatalanGate nie ma żadnego odniesienia do łańcucha dowodowego. W odniesieniu do zasady śladu audytu ENISA stwierdza, że „niezbędne jest dokładne rejestrowanie wszystkich działań, aby umożliwić osobie trzeciej odtworzenie działań pierwszego śledczego na miejscu zdarzenia w celu zapewnienia wartości dowodowej w sądzie. Wszelkie działania związane z zajęciem, dostępem, przechowywaniem lub przekazywaniem dowodów elektronicznych muszą być w pełni udokumentowane, zachowane i dostępne do przeglądu”. Jak wspomniano powyżej, nie ma dostępnej dokumentacji do przeglądu ani zapisu dostępu, przechowywania lub przekazywania dowodów elektronicznych. Nie ma informacji o tym, kiedy i w jaki sposób dowody zostały zebrane ani przez kogo. ENISA żąda, aby wszystkie osoby zaangażowane w proces miały niezbędną specjalistyczną wiedzę i doświadczenie w badaniach, niezbędną wiedzę śledczą i niezbędną wiedzę prawną. Nie ma odniesienia do szkolenia lub specjalistycznych umiejętności i doświadczenia pana Campo, który koordynował badania i zbierał dowody w imieniu Citizen Lab. Z drugiej strony, gdy zapytano, jaki rodzaj wiedzy lub umiejętności  stanowił podstawę wyboru pana Eliesa Campo na koordynatora badań w Katalonii, pan Deibert odpowiedział, że nie jest wymagana żadna specjalistyczna wiedza techniczna.  Jak publicznie przyznali inni uczestnicy i pan Campo, był on bezpośrednio zaangażowany w wykrywanie zakażeń i zbieranie dowodów, a zatem, według ENISA, powinien był przejść szkolenie lub mieć wcześniejsze doświadczenie.

Oprócz zasad i wytycznych ENISA, praca Citizen Lab, przynajmniej w przypadku dochodzenia w sprawie „CatalanGate”, narusza istotne aspekty Protokołu Berkeley w sprawie dochodzeń w sprawie cyfrowych źródeł otwartych, wspieranego przez Biuro Wysokiego Komisarza Narodów Zjednoczonych ds. Praw Człowieka (OHCHR). Na przykład protokół ten stanowi, że:

„Odpowiednie postępowanie i przetwarzanie tego materiału znacznie zwiększy prawdopodobieństwo, że zostanie on wykorzystany przez prokuratorów i adwokatów. Jeśli jednak stosowane są nierzetelne metody gromadzenia i przechowywania, informacji tych nie można uznać za wiarygodne do celów ustalania faktów w sprawie. Sądy i organy dochodzeniowe odniosą korzyści z jasnych kryteriów oceny wagi informacji ze źródeł otwartych, jako powiązania lub dowodów opartych na przestępstwie”.

Żadna z tych trzech zasad nie wydaje się być spełniona w przypadku śledztwa „CatalanGate”. Protokół Berkeley wskazuje, że:

„transparentność metod i procedur śledczych jest istotnym elementem zapewnienia wiarygodności. Dlatego też, w możliwym i rozsądnym zakresie, śledczy w otwarty sposób powinni prowadzić zapisy swoich działań”.

Brak dokumentacji dotyczącej gromadzenia i przetwarzania danych, a także brak specjalistycznych umiejętności i specjalistycznego przeszkolenia, potwierdzone przez Citizen Lab w przypadku pana Campo, są wyraźnymi dowodami naruszenia dwóch pierwszych zasad zawodowych.

Jednak najbardziej rażące naruszenie pojawia się w przypadku zasady obiektywizmu.

„Śledczy open source powinni zrozumieć potencjał osobistych, kulturowych i strukturalnych uprzedzeń, które mogą wpłynąć na ich pracę i konieczność podjęcia środków zaradczych w celu zapewnienia obiektywizmu”.

W tym przypadku oczywiste jest, że powierzenie koordynacji badań działaczowi politycznemu, który twierdzi, że padł ofiarą spyware, stanowi sprzeczność z zasadą obiektywizmu. Przypadek ten jest jeszcze poważniejszy, biorąc pod uwagę, że pan Campo był drugim autorem raportu i nie znalazło się w nim żadne zastrzeżenie ani potwierdzenie jego działań jako działacza niepodległościowego. Ponadto nie podjęto żadnych środków zaradczych w celu złagodzenia jego oczywistego uprzedzenia. Jego udział w raporcie wydaje się być częścią jego pracy jako działacza politycznego, ponieważ to on skontaktował się z Citizen Lab, oferując pomoc w znajdowaniu przypadków ataków Pegasus na innych działaczy i polityków nacjonalistycznych.

Innym powiązanym aspektem, którego broni Protokół Berkeley, jest to, że:

„Śledczy muszą upewnić się, że podchodzą do swoich dochodzeń obiektywnie,opracowując i wdrażając wiele hipotez roboczych i nie faworyzując żadnej konkretnej teorii, aby wyjaśnić badane przypadki”.

Citizen Lab bierze pod uwagę jedynie hipotezę nielegalnego szpiegostwa przez hiszpański rząd i siły bezpieczeństwa. Jak wyjaśniono później, inne prawdopodobne hipotezy nie są nawet wspomniane. Należą do nich prawny monitoring z upoważnieniem sądowym — co z pewnością miało miejsce w przypadku znacznej liczby domniemanych ofiar—; możliwość, że niektóre domniemane infekcje zostały spowodowane przez inne złośliwe oprogramowanie lub oprogramowanie szpiegujące; lub że tajne służby Rosji lub innych krajów zainteresowanych współpracą niektórych domniemanych ofiar z wysłannikami Kremla mogły szpiegować niektóre z nich. Citizen Lab w swoim raporcie CatalanGate nie podjęło żadnej próby wykluczenia alternatywnych hipotez, i po prostu potwierdziło swoją początkową hipotezę na podstawie tego, co uznają za „dowody poszlakowe”. Hipoteza ta była wygodna dla Citizen Lab, ponieważ specjalizują się oni w Pegasusie, ponieważ opublikowali dziesiątki raportów dotyczących tego konkretnego oprogramowania szpiegującego —dla porównania, zbadali znacznie mniej przypadków spowodowanych przez inne oprogramowanie szpiegujące i złośliwe—.

Było to również przydatne dla aktywistów i organizacji secesjonistycznych, w ich próbach pokazania Hiszpanii jako odpowiedzialnej za niesprawiedliwość, represje i wątpliwe standardy demokratyczne  – strategia, którą stosowali przez wiele lat.

Wreszcie, wytyczne Narodowego Instytutu Norm i Technologii (NIST) Departamentu Handlu USA dotyczące śledczej analizy urządzeń mobilnych zgadzają się z podstawowymi zasadami bronionymi przez ENISA i OHCHR i podkreślają znaczenie procedur i wymogów dotyczących dokumentacji, których brakuje w tym dochodzeniu Citizen Lab. Wytyczne tej organizacji odnoszą się do potrzeby dokładnego dokumentowania i izolowania wszystkich widocznych danych dotyczących sposobu znajdowania urządzeń mobilnych. W szczególności, te organizacje zalecają wyłączenie łączności sieciowej, w tym:

„Dane przychodzące (połączenia lub wiadomości tekstowe), które mogą modyfikować bieżący stan danych przechowywanych na urządzeniu mobilnym […] badacze kryminalistyczni muszą być świadomi i podejmować środki ostrożności podczas zabezpieczania urządzeń mobilnych, zmniejszając ryzyko modyfikacji danych”.

Nie ma dowodów na to, że Citizen Lab prowadziło dokładny rejestr dotyczący sposobu fizycznego znalezienia urządzeń i wydaje się prawdopodobne, że żaden pracownik Citizen Lab poza panem Campo nigdy nie miał bezpośredniego dostępu do żadnego z analizowanych telefonów i komputerów. Co ważniejsze, nie ma dowodów na to, że urządzenia były izolowane lub odłączane od sieci między wstępnymi analizami a zdalnymi analizami kryminalistycznymi, które pracownicy Citizen Lab prawdopodobnie przeprowadzili. Jeśli te telefony były rzeczywiście zainfekowane jakimkolwiek oprogramowaniem szpiegującym lub złośliwym, dowody mogły zostać zmienione w trakcie tego procesu. Przynajmniej jeden z uczestników badania przyznaje, że miesiące po tym, jak jego telefon uzyskał wynik negatywny, ponownie skontaktował się z nim pan Campo, który w końcu znalazł dowody ataków Pegasus, datowane w okresie przed pierwszą analizą.

NIST zaleca fizyczną analizę urządzenia, w tym pakowanie, transport i przechowywanie dowodów, wspominając, że specjalista ds. kryminalistyki powinien zamknąć urządzenie w odpowiednim pojemniku; powinien być również opiekun dowodów. NIST odnosi się do korzyści płynących z „przetwarzania triażu na miejscu”:  jest to wyodrębnieie na miejscu (ręczne lub logiczne), ale ich wytyczne wyrażają preferencję dla środowiska laboratoryjnego i przetwarzania. Decyzja Citizen Lab, aby nie analizować fizycznie w swoim laboratorium żadnej z ofiar CatalanGate, nie jest uzasadniona w ich raporcie.

NIST nawiązuje do przewodnika U.S. Department of Justice Forensic Examination of Digital Evidence, aby zalecić systematyczne rejestrowanie osób, które utworzyły,  modyfikowały lub uzyskały dostęp do pliku, a także ram czasowych, i zawiera zalecenia dotyczące raportowania badań kryminalistycznych, w tym:

• Tożsamość agencji raportującej
• Identyfikator sprawy lub numer zgłoszenia
• Śledczy sprawy
• Data otrzymania dowodów
• Data raportu
• Opisowa lista elementów przedłożonych do zbadania, w tym numer seryjny, marka i model
• Tożsamość i podpis egzaminatora
• Sprzęt i konfiguracja użyta podczas badania
• Krótki opis kroków podjętych podczas badania, takich jak przeszukiwanie ciągów, wyszukiwanie obrazów graficznych i odzyskiwanie usuniętych plików.
• Materiały pomocnicze, takie jak wydruki poszczególnych elementów dowodów, cyfrowe kopie dowodów i łańcuch dokumentacji
• Szczegóły ustaleń
• Wnioski ze sprawozdania

Raport CatalanGate pomija większość tych informacji, a Citizen Lab również ich nie udostępnił po zadaniu mu pytań. Nie można przewidzieć żadnego rozsądnego wyjaśnienia sprzeciwu wobec udostępniania informacji dotyczących kiedy, gdzie i jak urządzenia zostały przeanalizowane i przez kogo. Jak wyjaśniono później, sprzeczności znalezione w zeznaniach dotyczących podmiotów zaangażowanych w badanie techniczne telefonów i komputerów zdają się potwierdzać, że w tym dochodzeniu nie przestrzegano wielu powszechnie akceptowanych zasad w nauce i kryminalistyce cyfrowej. W szczególności brak jakichkolwiek odniesień do łańcucha dowodowego lub jakichkolwiek środków ostrożności podjętych w celu zapewnienia, że ​​dowody (fizyczne i logiczne) nie zostały zmienione, wskazuje na niezbyt rygorystyczny proces, który zwykle unieważniałby zebrane dane, uniemożliwiając im wpływanie na jakiekolwiek decyzje prawne.

Brak przejrzystości i rygoru akademickiego ilustrują również modyfikacje, które Citizen Lab wprowadziło w raporcie po publikacji. Zmiany, z których niektóre nie zostały zgłoszone w żadnym dzienniku (Tabela 3). Jako środek ostrożności autor tego raportu pobrał oryginalną wersję; Citizen Lab dodał następnie akapit modyfikujący wprowadzające w błąd oświadczenie z oryginału, w którym twierdził, że „dokumenty Snowdena z 2013r. ujawniły, że NSA przechwyciła 60 milionów połączeń w Hiszpanii między grudniem 2012r. a styczniem 2013r.”. Zmienili również datę zakażenia urządzenia pana Botrana. W czerwcu 2022r. data zakażenia urządzenia pana Andreu Van den Eynde’a została również zmieniona w treści raportu. Citizen Lab niemniej jednak przyznał się do błędu i usunął z listy ofiar pana Antoniego Comína 22 grudnia 2022r. Witryna CatalanGate.cat nie usunęła jeszcze pana Comína z listy ofiar.

Tabela 1. Tekst raportu afery CatalanGate z dnia 18 kwietnia 2022r. i 19 listopada 2022r

Co do Citizen Lab również nie ma jasności, w jaki sposób finansowano śledztwo w Katalonii. Pan Deibert wyjaśnia, że ​​cały udział ofiar oprogramowania szpiegującego Pegasus w programie badawczym jest dobrowolny i nieodpłatny i twierdzi, że źródła finansowania Citizen Lab są publicznie wymienione na ich stronie internetowej. Jednak ich strona internetowa zawiera tylko nazwiska niektórych fundatorów i nie podają szczegółowych kwot, jakie każdy z nich im przyznaje. Co więcej, ich strona internetowa zawiera link do „Citizen Lab Fund”, gdzie darczyńcy mogą przekazywać darowizny na rzecz Citizen Lab. Można to robić anonimowo. Co więcej, jak wyjaśniono później, Uniwersytet w Toronto wykazuje dużą niechęć do ujawniania tych informacji. Autor tego raportu złożył wniosek na podstawie ustawy o wolności informacji i ochronie prywatności (FIPPA) w lipcu 2022 r. i udało mu się uzyskać informacje o dochodach otrzymywanych przez Citizen Lab.

Jednak odmówili oni zidentyfikowania jakiejkolwiek organizacji lub osoby zapewniającej każdą z linii finansowania (patrz tabela 2). Citizen Lab udało się znacznie zwiększyć swoje roczne finansowanie od 2019r., z 1 750 135 CAD na rok akademicki 2019-2020, kiedy rozpoczęto dochodzenia w sprawie WhatsApp i Katalonii, do 3 713 603 CAD w 2021-22. Jest to wzrost o 112%, którego, biorąc pod uwagę brak dokładnych informacji z Uniwersytetu w Toronto, niniejszy raport nie może przypisać żadnej konkretnej instytucji ani osobie. Nie można również obliczyć, jaka część dochodów Citizen Lab pochodzi z organizacji prywatnych, publicznych, non-profit lub korporacyjnych. Tak jest w przypadku przynajmniej części finansowania zasianego za pośrednictwem Fundacji Forda dla Citizen Lab od Apple Inc.

Tabela 2. Fundusze Citizen Lab