Gogle XR z eye trackingiem mierzą średnicę źrenicy, otwartość powiek i kierunek spojrzenia dwieście razy na sekundę. Z tych trzech rzeczy da się oszacować, jak ciężko pracuje głowa szkolonego. Poniżej działający prototyp, który to robi. Możecie wgrać własne nagranie z gogli Varjo albo obejrzeć wszystko na danych demonstracyjnych, bez żadnego sprzętu.
W sekcji badawczej piszę, że pracuję nad adaptacyjnymi scenariuszami reagującymi na obciążenie poznawcze operatora. To jest kawałek tego warsztatu wystawiony do obejrzenia. Nie sprzedaję tego narzędzia, nie jest częścią oferty Varjo i nie jest gotowe do wdrożenia u kogokolwiek. Pokazuję je, bo łatwiej ocenić czyjeś podejście do pomiaru, patrząc na liczby i wzory, niż czytając deklaracje.
Nic nie opuszcza Waszej przeglądarki. Plik, który wgracie, jest przetwarzany lokalnie, w kodzie tej strony. Nie ma tu serwera, bazy danych, wysyłki ani zapisu. Nie ma też żadnych zewnętrznych bibliotek ani zapytań do cudzych domen, cała strona to jeden plik. Dane okulograficzne są danymi biometrycznymi w rozumieniu RODO i tak je tu traktuję.
Zanim uwierzycie w liczby. Średnica źrenicy reaguje na zmianę jasności o rząd wielkości silniej niż na wysiłek umysłowy. Jasna scena zwęża źrenicę o milimetry, trudne zadanie rozszerza ją o dziesiąte części milimetra. Jeśli w trakcie nagrania zmienia się luminancja sceny, wykres pokazuje przede wszystkim oświetlenie.
Wskaźnik ma sens wyłącznie w porównaniu do linii bazowej tej samej osoby w tej samej sesji. Nie porównuje ludzi między sobą, nie jest wyrobem medycznym i nie nadaje się do kwalifikowania kogokolwiek do zadań ani do decyzji personalnych. Pełna lista ograniczeń jest na dole strony i warto ją przeczytać przed wyciąganiem wniosków.
Wejściem jest plik CSV z logowania eye trackingu w Varjo Base. Jeśli nie macie gogli pod ręką, dane demonstracyjne to sztuczna pięciominutowa sesja z czterema fazami: spoczynek, zadanie łatwe, zadanie trudne, odpoczynek. Przechodzą przez dokładnie ten sam kod co dane prawdziwe.
Skala od 0 do 100, gdzie 50 to linia bazowa tej osoby. Jedno odchylenie standardowe powyżej bazy odpowiada mniej więcej 66, trzy odchylenia mniej więcej 88. Przerywana linia pokazuje udział prawidłowych próbek w oknie, czyli na ile wynik w tym miejscu jest w ogóle wiarygodny.
1. Wczytanie. Plik z Varjo Base zawiera jedną próbkę w wierszu, do dwustu na sekundę.
Używane są kolumny left_pupil_diameter_in_mm, right_pupil_diameter_in_mm,
left_eye_openness, right_eye_openness, stability,
gaze_forward_x/y/z oraz znaczniki czasu. Częstotliwość próbkowania wyliczana jest
z mediany odstępów, a nie zakładana z góry.
2. Mrugnięcia. Gdy otwartość oka spada poniżej progu, a pomiar źrenicy znika, mamy zamknięcie powiek. Zamknięcia trwające od 50 do 500 ms są liczone jako mrugnięcia. Dłuższe traktowane są jako zdjęcie gogli albo przymknięcie oczu i wypadają z analizy.
3. Czyszczenie sygnału źrenicy. Wokół każdego mrugnięcia usuwane jest dodatkowe 60 ms z każdej strony, bo w tym czasie powieka częściowo zasłania źrenicę i pomiar jest zaniżony. Powstałe luki do 300 ms są interpolowane liniowo, dłuższe zostają puste i obniżają wskaźnik wiarygodności okna. Na koniec sygnał wygładza średnia ruchoma 100 ms.
4. Sakady i fiksacje. Z kolejnych wektorów spojrzenia liczony jest kąt między nimi, dzielony przez odstęp czasu, co daje prędkość kątową w stopniach na sekundę. Przekroczenie progu to sakada, czyli szybki przeskok wzroku. Odcinki poniżej progu to fiksacje.
5. Wskaźnik falkowy. Uproszczona wersja metody Index of Pupillary Activity. Sygnał źrenicy rozkładany jest falką Haara na pasma częstotliwości, potem liczone są lokalne maksima w paśmie niskim i wysokim, a wynikiem jest stosunek tych liczb. Maleje przy rosnącym wysiłku umysłowym. Oryginalne prace Duchowskiego i współpracowników z lat 2018 i 2020 używają falki Symlet-16, tutaj dla prostoty jest Haar, więc wartości nie są wprost porównywalne z literaturą. To najbardziej eksperymentalna składowa i stąd ma domyślnie najmniejszą wagę.
6. Wskaźnik zbiorczy. Każda składowa przeliczana jest na odchylenie standardowe od linii bazowej tej samej osoby. Rozszerzenie źrenicy i wzrost częstości sakad podnoszą wynik, spadek częstości mrugania i spadek wskaźnika falkowego również. Ważona suma przechodzi przez krzywą logistyczną na skalę od 0 do 100, więc skrajnie obciążone okna nie zlepiają się w jedną wartość na końcu skali. Składowa, której nie da się policzyć albo która w linii bazowej w ogóle się nie zmienia, jest pomijana, a pozostałe wagi rozkładają się proporcjonalnie.
Dlaczego wagi są suwakami. Dla różnych zadań różne wskaźniki działają lepiej. Częstość mrugania potrzebuje dłuższych okien niż źrenica, bo mrugnięć jest po prostu mało i przy dziesięciosekundowym oknie liczba ta jest bardzo szumna. Przy zadaniach wymagających przeszukiwania wzrokowego mocniej pracują sakady, przy zadaniach pamięciowych źrenica. Nie ma jednego zestawu wag dobrego na wszystko i nie udaję, że jest.
To jest najważniejsza część strony. Pupilometria jest atrakcyjna, bo daje ładny wykres, i właśnie dlatego łatwo ją przecenić.
Metoda ma sens tam, gdzie porównujecie tę samą osobę w kontrolowanych warunkach: przed i po przeszkoleniu, na scenariuszu łatwym i trudnym, na starym i nowym interfejsie stanowiska. Wtedy różnica jest interpretowalna. Nie ma sensu tam, gdzie ktoś chciałby na tej podstawie wystawiać ocenę konkretnemu żołnierzowi albo decydować o jego przydziale.
Jeśli chcielibyście użyć czegoś takiego w badaniu na ludziach, potrzebna jest zgoda komisji etycznej i świadoma zgoda uczestników. To nie jest formalność, którą da się pominąć, bo dane okulograficzne są danymi biometrycznymi.
Prototyp powstał przy okazji przygotowań do badań doktorskich nad adaptacyjnymi scenariuszami taktycznymi w XR. Kierunek i lista tekstów w opracowaniu są opisane w sekcji badawczej. Nic z tego nie jest jeszcze opublikowane i nie przedstawiam tego jako dorobku.
Porozmawiajmy o pomiarze skuteczności Kalkulator kosztu szkolenia