Nr 5/2005 (66), Filtrowanie, kontrola i ochrona sieci. Badania, teorie, wizje
| | Nr 5/2005 (66), Filtrowanie, kontrola i ochrona sieci. Badania, teorie, wizje |
|
 | | | |
Michał GrzywaczPaweł MarzecZbigniew Szałwiński
| |||
| | ||
| WstępArtykuł ten prezentuje wyniki badań jego autorów nad problematyką oceny jakości zasobów internetowych. Autorzy zetknęli się z tym tematem w trakcie swoich studiów na kierunku informacji naukowej i bibliotekoznawstwa. Artykuł powstał jako rezultat studiów nad wspomnianą dziedziną. Wiedząc o potrzebie oceny jakości zasobów internetowych, które w obecnych czasach stały się jednym z najważniejszych źródeł informacji, autorzy postanowili nabytą wiedzę teoretyczną zastosować w praktyce. Zdobyte w ten sposób doświadczenie miało na celu poszerzenie wiedzy na temat oceny jakości. Przeprowadzony test użyteczności jest podstawą niniejszej pracy, którą można traktować jako raport z przeprowadzonych badań. Jednak należy przy tym pamiętać, że wyniki testu nie są tu najważniejsze. Artykuł opisuje całość pracy, jaką wykonali jego autorzy. Można go podzielić na dwie części. W pierwszej zaprezentowano ogólne cechy testu użyteczności jako jednej z metod oceny jakości. Drugą część stanowi sprawozdanie z projektowania i przeprowadzenia tego testu. W zakończeniu autorzy zamieścili wnioski, jakie uczynili po zakończeniu pierwszego etapu badań w dziedzinie oceny jakości zasobów internetowych. Test użyteczności - informacje ogólneWiększość dostępnych obecnie metod oceny jakości zasobów internetowych opiera się na ocenie poziomu funkcjonalności danych zasobów. Do dwóch najbardziej popularnych metod należą ocena heurystyczna i test użyteczności[1]. Ze względu na swoją elastyczność istnieje wiele odmian tych dwóch metod. Praca ta koncentruje się jednak tylko na teście użyteczności. Jest to metoda pozwalająca na ocenę interfejsu danego zasobu, także na pewnym ogólnym poziomie jego zawartości merytorycznej. To metoda dość czasochłonna i stosunkowo droga, a co za tym idzie przeznaczona do oceny dużych serwisów komercyjnych, których właściciele gotowi są za nią zapłacić. Jest jednak na tyle elastyczna, że przy niewielkich modyfikacjach można ją wykorzystać także do oceny innych zasobów. Metodę tę doceniono także w OCLC[2] i jest ona przez to konsorcjum rekomendowana. Test użyteczności pozwala na uzyskanie wielokierunkowych informacji, które mogą posłużyć do głębokiej analizy jakościowej danego zasobu. Dużą zaletą jest tutaj również to, że to sami potencjalni użytkownicy dostarczają tych informacji. Przeprowadzenie tego typu badania prowadzi do stworzenia listy, która wylicza błędy w użyteczności badanego serwisu. Lista ta daje podstawę do takiego przeprogramowania serwisu, aby poziom jego funkcjonalności zbliżył się jak najbardziej do oczekiwań użytkowników. Test przeprowadza się w czterech podstawowych etapach:
Poprawność przeprowadzenia testu polega w głównej mierze na zachowaniu odpowiedniej procedury i trzymaniu się właściwego szablonu działań, który należy wcześniej przygotować. Taki szablon tworzy się na podstawie wskazówek, które można odnaleźć w bogatej literaturze przedmiotu. Nie ma bowiem gotowych szablonów, które pasowałyby do wszystkich rodzajów serwisów. Każdy zasób posiada pewne cechy indywidualne, tak więc szczegóły kolejnych procedur mogą się między sobą różnić. Autorzy artykułu postanowili oprzeć się na wskazówkach zawartych w książce Marka Pearrowa Funkcjonalność stron internetowych[4]. Wskazówki te dotyczą m.in.: odpowiedniego wyselekcjonowania grupy docelowej uczestników sesji testowej. Ma to związek z tym, iż materiału do badań dostarczają potencjalni użytkownicy badanego serwisu, a co za tym idzie, niewłaściwe ich określenie może wpłynąć na wyniki badania. Pearrow dużą uwagę poświęca także laboratorium funkcjonalności. Za tą nazwą kryje się określenie pomieszczenia, w którym przeprowadza się sesje testowe. Właściwe stworzenie środowiska pracy uczestników badania wpływa w dużym stopniu na wyniki tej pracy. Uczestnicy powinni czuć się swobodnie, tak więc laboratorium powinno posiadać cechy naturalności. Mówiąc najprościej, uczestnicy powinni mieć możliwość swobodnej pracy. Należy pamiętać, że grupa zbierająca informacje musi działać możliwie dyskretnie. Odpowiedni wystrój sali, a także sprzęt użyty do badania mają również duże znaczenie dla poprawności wyników. Ważny jest także etap przygotowania zadań testowych. Zadania te powinny dać możliwość sprawdzenia wszystkich elementów serwisu. Ważny jest też poziom ich trudności, który powinien być odpowiednio dobrany do profili uczestników. Powyższe, jak również inne wskazówki, można podsumować tak, że metody badawcze wykorzystane w teście powinny dawać dużą swobodę uczestnikom, oferując przy tym jednocześnie możliwość zebrania obiektywnych wyników[5]. Oczywiście dostępnych wskazówek jest dużo więcej, jednak te zaprezentowane wyżej pokazują pewien obraz i charakter testu użyteczności. Jak widać, jest on skoncentrowany głównie na uczestnikach testu. Wynika to z faktu, że to właśnie użytkownicy Internetu, podczas korzystania z jego zasobów, często nawet nieświadomie weryfikują jakość odwiedzanych stron, poprzez omijanie tych mniej funkcjonalnych. Każdy użytkownik ocenia w pewien sposób odwiedzane przez siebie serwisy. Test użyteczności próbuje wykorzystać to zjawisko i ocenę tą sformalizować tak, aby dawała one kompetentne i przeliczalne wyniki. Wnioski, które zostaną z tych wyników wyciągnięte, mogą w prosty sposób zostać wykorzystane do naprawy błędów w funkcjonalności danych serwisów, a których nie uniknie nawet najlepszy webmaster. Sprawozdanie z projektowania i przeprowadzenia testu użytecznościProjektowanie testu: Samo projektowanie testu odbyło się w kilku etapach. Na kilku spotkaniach autorzy ustalili plan działania. Każdy otrzymał pewną liczbę zadań do wykonania. Zadania polegały na zaprojektowaniu testu i wykonaniu odpowiednich kwestionariuszy, które zostały wykorzystane w trakcie sesji testowej. Każda decyzja odnośnie do pojawiających się problemów była podejmowana wspólnie. Projektowanie testu poprzedziła wnikliwa analiza serwisu EBIB, a następnie opierając się na książce Pearrowa, autorzy artykułu rozpoczęli prace nad kolejnymi wyznaczonymi wcześniej zadaniami. Projektowanie testu przebiegało w następujących etapach: ustalenie celu badania, opisanie profilu osób grupy docelowej, organizacja środowiska testów oraz wyposażenie laboratorium, ustalenie funkcji w zespole testowym, ustalenie kryteriów oceny zaliczenia kolejnych zadań testowych, stworzenie listy zadań testowych, określenie pytań ankiety potestowej i debriefingu, przeprowadzenie testu próbnego. W dalszej kolejności poszczególne części zostaną opisane bardziej szczegółowo. A. Ustalenie celu badania: Serwis EBIB przeznaczony jest dla środowiska bibliotekarskiego. W głównej mierze spełnia on funkcję informacyjną. Ma również na celu konsolidację całego środowiska bibliotecznego oraz stworzenia miejsca, gdzie bibliotekarze i osoby zajmujące się informacją naukową mogą wymieniać poglądy. Do ważnych funkcji serwisu należy również zapewnienie źródła informacji dla bibliotekoznawców i studentów bibliotekoznawstwa[6]. Przeprowadzony test miał na celu sprawdzenie poziomu funkcjonalności wspomnianego serwisu. Badanie miało wykazać ewentualne błędy w konstrukcji serwisu. Badaniu poddany został każdy element serwisu z wyłączeniem anglojęzycznej wersji. B. Opisanie profilu osób grupy docelowej: Ze względu na charakter serwisu EBIB populacją badaną, spośród której wyłoniono grupę docelową, była potencjalna grupa użytkowników serwisu. Nieważny był poziom wykorzystania przez nich znajdujących się tam informacji, nie braliśmy także pod uwagę częstotliwości ich odwiedzin w serwisie. Założyliśmy, że użytkownicy potrafili korzystać z komputerów i dysponowali wiedzą w tym zakresie przynajmniej w podstawowym stopniu. Grupa ta została ograniczona do studentów naszego Instytutu. Takie rozwiązanie podyktowane było możliwościami finansowymi. Nasi koledzy za uczestnictwo w teście nie otrzymali żadnej zapłaty, zrobili to w ramach koleżeńskiej przysługi. Wyszliśmy też z założenia, że studenci naszego kierunku powinni zetknąć się z serwisem w trakcie swoich dotychczasowych studiów. A program zajęć na studiach już od pierwszego roku obejmuje przedmioty z obsługi komputerów. Profile użytkowników zostały określone na podstawie kwestionariusza[7], który został przedstawiony pewnej grupie studentów. Pytania dotyczyły poziomu wykorzystywanych technologii informatycznych w życiu codziennym. Pytano o częstotliwość korzystania z komputerów i Internetu oraz rodzaj programów, które są wykorzystywane przez studentów. Najważniejsze pytania w ankiecie, które decydowały o przyjęciu bądź odrzuceniu z grupy docelowej, dotyczyły znajomości i częstotliwości korzystania z EBIB-u. Zebrane ankiety zostały przeanalizowane. Sporządzono także listę grupy docelowej uczestników, odrzucając te profile, które nie spełniały określonych warunków. Następnie na drodze losowania wybrano pięć osób, które zostały zaproszone do udziału w sesji testowej. C. Organizacja środowiska testów oraz wyposażenie laboratorium: Test został przeprowadzony w jednej z sal komputerowych naszego Instytutu. Jest to sala bardzo przestronna i estetyczna. Zainstalowany jest tam najnowszy sprzęt komputerowy, którym dysponuje nasz Instytut. Wybór sali był także podyktowany względami finansowymi. Praca odbywała się na komputerach klasy PC o prędkości 2 GHz, 256 MB RAM. Oprogramowanie, które wykorzystaliśmy, to Windows XP. Wybór przeglądarki padł na Internet Explorer ze względu na jej największą popularność. Monitory, które wykorzystaliśmy, miały 15 cali i rozdzielczość 1024-768 pikseli. D. Ustalenie funkcji w zespole testowym: Autorzy artykułu pełnili funkcję zespołu testowego. Paweł Marzec był moderatorem testu, Zbigniew Szałwiński obserwatorem, a Michał Grzywacz operatorem kamery. Podział funkcji był stały dla każdej przeprowadzonej sesji. Zadania dotyczące przeanalizowania wyników testów oraz sporządzenia listy wniosków i raportu zostały również odpowiednio podzielone. E. Ustalenie kryteriów oceny zaliczenia kolejnych zadań testowych: Główne kryteria zaliczenia wykonania poszczególnych zadań dotyczyły limitu czasu, a także poprawności odpowiedzi na zadane pytanie. Zadania były zaliczane jako poprawnie wykonane, kiedy użytkownik odpowiedział poprawnie, jak również zmieścił się w ustalonym limicie czasu. Aby umożliwić głębszą ocenę funkcjonalności, mierzona była również liczba kliknięć podczas wykonywania zadania przez poszczególnych użytkowników. Wszystkie odpowiednie limity zostały podane w tabeli listy zadań. F. Stworzenie listy zadań: Podczas projektowania testu ustaliliśmy listę jedenastu zadań. Każde z nich dotyczyło poszczególnych elementów serwisu. W głównej mierze polegały one na odnalezieniu odpowiednich informacji. Wynika to z faktu, że serwis jest serwisem informacyjnym. Lista zadań powstała w wyniku wnikliwej analizy całego serwisu EBIB. Lista stworzona została metodą burzy mózgów. Kolejność zadań została ułożona w ten sposób, aby od pytań łatwiejszych przechodzić do trudniejszych, następnie poziom trudności od pytania nr 7 był obniżany. Wszystkie zadania prezentujemy w tabeli poniżej. Zadania do testu
G. Określenie pytań dla ankiety potestowej i debriefingu: Pytania w ankiecie potestowej dotyczyły zarówno sesji testowej, jak i pracy w serwisie EBIB. Ankieta zawierała 14 pytań zamkniętych oraz jedno otwarte. Sesja debriefingowa jest rozumiana jako rozmowa, do której moderator stara się wciągnąć uczestnika. Poprzez zadawanie przygotowanych wcześniej pytań dotyczących sesji, a także badanego serwisu użytkownik ma szansę bardziej swobodnej wypowiedzi. H. Przeprowadzenie testu próbnego: Przed właściwym testem przeprowadzony został test próbny. Zweryfikował on w pewnym stopniu limity, które ustaliliśmy dla poszczególnych zadań. Przeprowadzenie testu: Test został przeprowadzony w dniach 8 i 9 grudnia 2004 r. Na sesję, zgodnie z zaleceniami Marka Pearrowa[8], zostało zaproszonych pięciu uczestników wyłonionych losowo z grupy docelowej, którą stanowili studenci naszego Instytutu. Uczestnicy zgłaszali się na sesje o ustalonych godzinach. Przed przystąpieniem do wykonywania zadań moderator przedstawiał w krótkim wprowadzeniu[9] główne założenia testu. Wprowadzenie miało na celu również wyjaśnienie potencjalnych niejasności związanych z sesją testową oraz odpowiednie nastawienie uczestników do pracy w trakcie samego testu. Po wprowadzeniu moderator udzielił odpowiedzi na kilka pytań uczestników. Kolejnym krokiem była już właściwa sesja testowa. We wszystkich przypadkach przebiegała ona bez zakłóceń. W trakcie wykonywania zadań obserwator skrzętnie mierzył czas wykonywania poszczególnych zadań, kliknięcia myszką oraz dokonywał notatek o zaliczeniu bądź niezaliczeniu kolejnych zadań. Moderator przedstawiał kolejne zadania, od czasu do czasu udzielał pewnych wyjaśnień uczestnikom. W dalszej kolejności odbyła się część debriefingowa sesji. Zadano na niej wcześniej przygotowane pytania. Pozwolono także uczestnikom wyrazić opinię na temat samej sesji, własnych obserwacji dotyczących pracy z serwisem, a także jego oceny. Wszystkie odpowiedzi były notowane przez obserwatora. Ostatnim etapem sesji było wypełnienie przez uczestników ankiet potestowych. Każda sesja trwała średnio 40 minut i kończyła się podziękowaniem dla poszczególnych uczestników. Wyniki: niżej zostaną zaprezentowane poszczególne wyniki z odpowiednich etapów sesji. A. Wyniki kwestionariusza profili uczestników sesji testowych: W teście wzięło udział pięcioro uczestników. Były to trzy kobiety i dwóch mężczyzn w wieku od 20 do 26 lat. Wszyscy byli studentami Instytutu Informacji Naukowej i Bibliologii UMK różnych specjalności. Cztery osoby studiowały na II roku studiów uzupełniających magisterskich, a jedna była na studiach licencjackich. Ich doświadczenie z komputerami przedstawia się następująco: nikt nie ukończył kursów komputerowych, komputer posiadają około 7 lat, trzy osoby korzystają z komputerów kilka razy w tygodniu, dwie - codziennie. W pracy z komputerem korzystają z programów MS Word i MS Excel, a najpopularniejszą wśród nich przeglądarka był Internet Explorer. Wszyscy znali serwis EBIB, cztery osoby korzystały z niego rzadziej niż raz w tygodniu, a jedna raz w tygodniu. B. Wyniki testów w sesjach przeprowadzonych w dniach 8 i 9 grudnia 2004 r.[10]: Praca z serwisem EBIB dla większości badanych nie przedstawiała większych trudności. Większość zadań została wykonana poprawnie. W niektórych przypadkach użytkownicy z reguły nieznacznie przekroczyli limit czasu. Pozytywne ukończenie zadania wymagało zmieszczenia się w limicie czasu oraz udzielenia poprawnej odpowiedzi na zadanie. Pytanie 1: Uczestnicy testu nie mieli problemu z tym pytaniem, ponieważ "Aktualności" są widoczne, dobrze rozmieszczone i wyeksponowane w centralnej części strony głównej. Osoby, którym się nie powiodło, szukały informacji w dziale "Zasoby", gdzie znajduje się odsyłacz do materiałów z konferencji, które już się odbyły. Przyczyną tego błędu jest być może to, iż odsyłacz na stronie głównej nie był dla niektórych uczestników zrozumiały. Zadanie poprawnie ukończyły trzy osoby, a średni czas wyniósł 30 sekund przy średnio dwóch kliknięciach. Pytanie 2: Wszyscy uczestnicy ukończyli zadanie poprawnie. Strona Biuletynu EBIB jest przejrzysta. Poszczególne działy są dobrze wyeksponowane, a tytuły artykułów w dziale "Warto wiedzieć" są odpowiednio oddzielone, co nie powoduje ich zlewania. Pytanie 3: Czworo użytkowników ukończyło zadanie bez większych problemów. Jednak jedna osoba zgubiła się zupełnie. Mimo iż uczestnik odnalazł odpowiedni artykuł, nie potrafił odnaleźć w nim żądanych informacji. Większość uczestników przeglądała wszystkie artykuły po kolei. A z racji tego, iż jest on szósty w kolejności, średnia liczba kliknięć zbliżyła się do 7. Pytanie 4: W tym przypadku trzy osoby nie zaliczyły zadania poprawnie. Uczestnicy, mieszcząc się w limicie czasu, nie udzielali poprawnej odpowiedzi. Uczestnicy generalnie nie wyszukiwali przez listę autorów, lecz korzystali z wyszukiwarki EBIB opartej na robocie Google'a. Pytanie 5: W przypadku tego pytania średni czas ukończenia u wszystkich użytkowników był większy niż ustalony limit. Dlatego zadanie dla dwóch osób nie zostało zaliczone. Bazy bibliotek są bardzo rozbudowane i często niedoświadczeni użytkownicy gubili się w serwisie. Stąd również tak duża liczba kliknięć. Pytanie 6: Użytkownicy początkowo mieli problemy z odnalezieniem Bazy bibliotek, mimo że odnośnik jest na stronie głównej wyróżniony na czerwono. Natomiast w samej bazie nie potrafili znaleźć odpowiedniego sposobu wyszukiwania. Być może nie zrozumieli zadania polegającego na odnalezieniu właściwego typu biblioteki. Serwis EBIB umożliwia wyszukanie witryny biblioteki według trzech kryteriów: ogólne, według miejscowości oraz typu biblioteki. W wyszukiwaniu ogólnym można skorzystać z formularza wyszukiwawczego, wypełniając odpowiednio pola. Jednak użytkownicy nie potrafili zastosować odpowiednich kryteriów i ten sposób wyszukiwania kończył się z reguły niepowodzeniem. W tym przypadku, tak jak w poprzednim, przyczyną niezaliczenia zadania było również przekroczenie limitu czasu. Pytanie 7: Generalnie użytkownicy nie mieli problemów z odpowiedzią. Liczba kliknięć oraz czas mieściły się w limitach. Użytkownicy szybko docierali do informacji. Ta podstrona jest w miarę przejrzysta - działy są odpowiednio wyszczególnione, a informacje nie zlewają się ze sobą. Tylko jedna osoba nie zaliczyła zadania, przekraczając limit czasu. Pytanie 8: Pytanie podobne do poprzedniego. Uczestnicy testu zachowywali się podobnie. Potwierdza to ogólną przejrzystość badanego działu. Jedynym utrudnieniem jest menu serwisu. Użytkownicy narzekali na to, że nazwy poddziałów nie są odpowiednio wyszczególnione. Średnia liczba kliknięć wynosiła trzy, wszyscy uczestnicy zadanie ukończyli pozytywnie. Pytanie 9: Mimo iż na stronie głównej jest odnośnik w formie graficznej, użytkownicy ignorowali go, prawdopodobnie sądząc, że jest to tylko reklama i szukali informacji poprzez dział "Serwisy". Serwis "Praca" był dla nich nieczytelny ze względu na to, że odsyłacze umieszczone są w obrębie tekstu i niektórzy uczestnicy otwierali po kolei wszystkie strony, których odnośniki były dostępne w serwisie. Użytkownicy gubili się też w samym forum poświęconym pracy. Mogło to być przyczyną przekroczenia limitu czasu. Problemy przy przeszukiwaniu serwisu i forum poświęconych pracy są też przyczyną dużej liczby zarejestrowanych kliknięć, która wynosiła aż dziewięć. Zadanie pozytywnie ukończyło tylko dwóch uczestników. Pytanie 10: Użytkownicy znajdowali artykuły, ale popełniali błąd przy podawaniu instrukcji wyszukiwawczej (nie używali cudzysłowów). W rezultacie odnajdywali z reguły 17 artykułów. Średni czas w tym przypadku również przekroczył limit i wyniósł 98 sekund. Często zdarzało się, że wyszukiwarka wyświetlała po kilkadziesiąt wyników. Użytkownicy, orientując się w niedoskonałości sformułowania, próbowali innych wyrażeń wyszukiwawczych. Z racji tego przekraczali limit czasu. W rezultacie tego prostego zadania żaden z uczestników nie ukończył pozytywnie. Pytanie 11: Zadanie to należało raczej do łatwych. Archiwum Biuletynu EBIB jest przejrzyste i odpowiednio wyeksponowane na stronie Biuletynu. Jedna osoba nie ukończyła zadania poprawnie ze względu na przekroczenie limitu czasu. C. Debriefing: Zapytano uczestników o ocenę samego testu; większość odpowiadała, że było to ciekawe doświadczenie. Na pytania związane z oceną samego serwisu uczestnicy zwracali uwagę na małą czcionkę użytą przez twórców serwisu, a także małą przejrzystość i przeładowanie strony głównej informacjami. Zwracali uwagę na źle wyeksponowane menu i kłopoty w nawigacji na poszczególnych podstronach serwisu. W pozytywny sposób mówili o sposobie zredagowania poszczególnych artykułów oraz na sam zasób informacji serwisu. D. Wyniki ankiety potestowej[11]: Pytanie nr 1 miało odpowiedzieć autorom testu, czy zadania, które przygotowali, były dla uczestników zrozumiałe. Wszyscy uczestnicy odpowiedzieli pozytywnie, że zadania były zrozumiałe. Kolejne pytania zadane w tej ankiecie można podzielić na trzy grupy:
Dwa dodatkowe pytania dotyczyły opinii ogólnej o stronie i ewentualnych uwagach użytkowników. Użytkownicy w przedostatnim pytaniu ankiety poproszeni zostali o wskazanie w skali od 1 do 6 własnej oceny strony. Średnia wszystkich wyników uplasowała się na poziomie 3,8 punktów. Niestety, żaden użytkownik nie podał swoich komentarzy w pytaniu ostatnim. Ankieta potestowa wykazała, że słownictwo użyte w serwisie na ogół jest zrozumiałe, a serwis szybko się ładuje. Sama nawigacja też nie jest zbyt uciążliwa. Jednak z naszych obserwacji wynika, że sporym utrudnieniem dla użytkowników - mimo ich deklaracji - jest brak na poszczególnych podstronach menu głównego, które umożliwiałoby bardziej elastyczną pracę w serwisie. Użytkownicy zwrócili uwagę, że nagłówki stron są nieczytelne. E. Wnioski z wyników testu użyteczności i lista błędów: Ogólne wyniki przeprowadzonego testu użyteczności: większość użytkowników ukończyło osiem zadań pozytywnie, a w przypadku trzech pytań zadanie u przeważającej części uczestników testu nie zostało ukończone. Najwięcej trudności sprawiły zadania 10, 9 i 4. Błędy były spowodowane w niektórych przypadkach małą przejrzystością serwisu (zwłaszcza menu na stronie głównej), co potwierdziło się w debriefingu, gdzie na pytanie, co na stronie najbardziej nie odpowiada użytkownikom, odpowiadano, że menu strony głównej i przeładowanie niektórych podstron informacjami. Użytkownicy zwrócili uwagę na brak mapy serwisu, co wpływa na nieczytelność jego struktury. Jednak większość zasobów EBIB-u jest w miarę łatwo dostępna - poszczególne podstrony są bardziej przejrzyste, ważne informacje są tam wyeksponowane w odpowiedni sposób. Autorzy serwisu głównego nacisk położyli na zasób serwisu, a nie na jego wygodę, ponieważ brakuje elementów usprawniających przemieszczanie się między jego poszczególnymi stronami (czasem drobnych, takich jak odsyłacz do poprzedniej strony), a ustawienia szerokości stron wymagają rozdzielczości 800x600 pikseli do wygodnej pracy. Oprócz tego (przynajmniej w Internet Explorer) niemożliwa jest zmiana wielkości czcionki. EBIB jest adresowany głównie dla środowiska bibliotekarzy, czyli osób doświadczonych w wyszukiwaniu informacji, więc takie rozwiązanie, które prawdopodobnie obniża koszty funkcjonowania, jest zrozumiałe, biorąc pod uwagę, iż nie jest on nastawiony na zyski. Ocena konstrukcji tak rozbudowanego serwisu, jakim jest EBIB, który składa się z dwóch głównych części: Biuletynu EBIB i części serwisów, jest raczej dobra. Przewagę w poziomie jakości uzyskuje Biuletyn EBIB. Wyniki zadań testowych oraz pytań w ankiecie potestowej wykazały poprawność zredagowania artykułów. Są one przejrzyste i czytelne. Nie ma też tam problemów w nawigacji. Tytuły i śródtytuły są dobrze wyeksponowane. Dobór kolorystyki jest również odpowiedni. Większość niezaliczonych zadań dotyczyła, niestety, w przeważającej liczbie części serwisowej. Konstrukcja jej niektórych elementów, takich jak "Baza bibliotek" czy serwisu "Praca" posiada kilka błędów. Potwierdzają to wyniki sesji debriefingowej. Duża liczba informacji, którą autorzy serwisu starali się tam zmieścić, spowodowała, że ich część jest zupełnie nieczytelna bądź trudna do znalezienia. Zbyt słabe wyróżnienie elementów głównego menu oraz odsyłaczy do poszczególnych podstron, a także konieczność uciążliwego przewijania ekranu może zniechęcać nawet doświadczonych użytkowników. Lista błędów sporządzona na podstawie zebranego materiału przedstawia się następująco:
Do dużych plusów EBIB-u należy zapewne jego zasób informacyjny. W znacznym stopniu rekompensuje on uchybienia w konstrukcji całego serwisu. ZakończenieCałe przedsięwzięcie autorzy mogą zaliczyć raczej do udanych. Test został zaprojektowany i przeprowadzony, wyniki opisane i zinterpretowane. Wniosek, który się nasuwa jako pierwszy, to taki, że była to rzeczywiście ciężka praca. Autorzy zapewne nie ustrzegli się błędów, jednakże doświadczenie, które zdobyli, powinno zaprocentować w przyszłości. Najcięższym elementem pracy było niewątpliwie samo przygotowanie testu, a także opracowanie wyników. Najwięcej problemów sprawiło odpowiednie sporządzenie zadań testowych i próba wytłumaczenia uczestnikom testu, że w jego trakcie testom nie są poddawane ich umiejętności, tylko funkcjonalność serwisu EBIB. Jak już było wspomniane wcześniej, opracowanie zdobytych danych sprawiło autorom wiele problemów. Jest to zapewne wynikiem braku wiedzy w zakresie statystyki. Jednak autorzy są przekonani, że wnioski, które wyciągnęli z ich opracowania, są miarodajne i zbliżone do rzeczywistego stanu jakości badanego serwisu. Aby istniała możliwość zweryfikowania wyników, autorzy postanowili włączyć do artykułu niektóre kwestionariusze, zarówno te wykonane przed testem, a także te, które zawierają zebrane dane. Test użyteczności okazał się wszechstronnym narzędziem do oceny jakości zasobów internetowych. Umożliwia on bardzo głębokie przebadanie zarówno poziomu interfejsu, jak i zawartości merytorycznej. Samo przygotowanie oraz przeprowadzenie nie jest zbyt trudne, chociaż kosztuje dużo cierpliwości i czasu. Najtrudniejszym zadaniem jest opracowanie wszystkich zebranych wyników. Ich ilość, nawet przy pięciu uczestnikach sesji testowych, jest bardzo duża i może prowadzić do popełnienia błędów w wyciągnięciu poprawnych wniosków. Test może okazać się dość kosztowny, jednak możliwości całej analizy i korzyści, jakie daje, wydają się bardzo cenne i nie powinny być traktowane jako przeszkoda przy wykorzystywaniu tej metody do oceny jakości zasobów internetowych. Autorzy badań są zadowoleni z pracy, którą wykonali, i bogatsi o nowe doświadczenia. Już teraz szukają nowych wyzwań na polu badania jakości zasobów internetowych. Przypisy[1] SAPA, R. Jakość serwisów WWW bibliotek akademickich - usability test. In Biuletyn EBIB [on-line]. 2002 nr 2 (31) [dostęp 6 kwietnia 2005]. Dostępny w World Wide Web: http://ebib.oss.wroc.pl/2002/31/sapa.php. ISSN 1507-7187. [2] Usability testing at OCLC. In Online Computer Library Center [on-line]. [dostęp 6 kwietnia 2005]. Dostępny w World Wide Web: http://www.oclc.org/policies/usability/testing/default.htm. [3] SAPA, R. Jakość serwisów... [4] PEARROW, M. Funkcjonalność stron internetowych. Gliwice: Wydawnictwo Helion, 2002. ISBN 83-7197-731-X. [5] Tamże, .s. 167-186. [6] Biuletyn EBIB [on-line]. [Warszawa]: Stowarzyszenie Bibliotekarzy Polskich K[omisja] W[ydawnictw] E[lektronicznych], 1999- [dostęp 6 kwietnia 2005]. Dostępny w World Wide Web: http://ebib.oss.wroc.pl/. Miesięcznik. ISSN 1507-7187. [7] Zobacz załącznik nr 1. [8] PEARROW, M. Funkcjonalność stron..., s. 179. [9] Patrz załącznik nr 2. [10] Patrz załącznik nr 3. [11] Patrz załącznik nr 4. Załącznik 1
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ID uczestnika/ Pytania | 01/081204 | 02/081204 | 03/081204 | 04/081204 | 05/091204 | Suma |
|---|---|---|---|---|---|---|
| Rok i kierunek studiów? | II Licencjat | II UM Historia Książki | II UM Prasoznawstwo | II UM Informacja Naukowa | II UM Bibliotekoznawstwo | |
| Wiek? | 20 | 26 | 24 | 24 | 26 | |
| Płeć? | K | K | K | M | M | |
| Wykształcenie? | Średnie | Wyższe Zawodowe | Wyższe Zawodowe | Wyższe Zawodowe | Wyższe Zawodowe | (medina): Wyższe zawodowe |
| Ukończone kursy komputerowe? | 0 | 0 | 0 | 0 | 0 | |
| Od jak dawna używasz komputera? | 6 | 5 | 7 | 8 | 8 | (medina): 7 |
| Jak często korzystasz z komputera? | Codziennie | Kilka razy w tygodniu | Kilka razy w tygodniu | Codziennie | Kilka razy w tygodniu | Kilka razy w tygodniu: 60% Codziennie: 40% |
| Podaj nazwy programów, z których najczęściej korzystasz? | MS Word, MS Excel | MS Word, Vplayer | Total Comander, MS Word, Internet Explorer | MS Word, MS Excel, Corel, Power Point | (moda) MS Word, MS Excel | |
| Z jakiej przeglądarki internetowej korzystasz najczęściej? | Opera | Wirtualna Polska, Onet | Internet Explorer | Internet Explorer | (moda) Internet Explorer | |
| Czy znasz serwis EBIB ? | Tak | Tak | Tak | Tak | Tak | Tak 5 |
| Jeżeli tak, to jak często go odwiedzasz? | Raz w tygodniu | Rzadziej | Rzadziej | Rzadziej | Rzadziej | Rzadziej 4 Raz w tygodniu 1 |
Dzień dobry, nazywam się Paweł Marzec, jestem moderatorem testu, który za chwilę przeprowadzimy. Chciałbym wyjaśnić teraz, na czym będzie on polegał.
Spotkaliśmy się tutaj, aby przeprowadzić test funkcjonalności Serwisu EBIB i chcielibyśmy, abyś nam w tym pomógł/a. Wyniki testu zostaną opracowane i przedstawione podczas Międzynarodowej Konferencji BOBCATSSS, która odbędzie się w Budapeszcie na przełomie stycznia i lutego 2005 r.
Twoim zadaniem będzie wykonanie kilku zadań, które dla Ciebie przygotowaliśmy. Będą one polegały na wyszukaniu na stronach Serwisu EBIB odpowiednich informacji. Postaraj się zachowywać naturalnie, nie oceniamy tutaj Twoich zdolności, a jedynie funkcjonalność wspomnianego serwisu. Pracuj w tempie, które odpowiada Tobie najbardziej, nie śpiesz się i nie przejmuj, jeżeli napotkasz na pewne trudności. Test jest tak skonstruowany, aby wychwycić ewentualne błędy serwisu. W każdej chwili możesz zadawać pytania, jednak pamiętaj, iż nie mogę udzielić odpowiedzi na ewentualne pytania dotyczące rozwiązania danego zadania.
Chciałbym jeszcze dodać, że podczas dzisiejszej sesji poproszę Cię dodatkowo o wypełnienie dwóch ankiet. Pierwsza z nich dotyczy Twojego profilu jako uczestnika testu. Poproszę Cię o wypełnienie jej, jeszcze zanim przejdziemy do rozwiązywania zadań testowych. Na koniec sesji poproszę Cię o wypełnienie kolejnej ankiety. Będzie ona dotyczyła Twoich doświadczeń w dzisiejszej pracy z Serwisem EBIB. Obydwie ankiety pomogą nam w opracowaniu właściwych wyników testu funkcjonalności. W trakcie samego testu, jak również po nim, mogę zadać Ci szereg pytań. Mogą one dotyczyć samego testu, jak również serwisu. Proszę, abyś na wszystkie pytania odpowiadał/a szczerze. Chcielibyśmy, aby wyniki i wnioski z ich opracowania były rzetelne i obiektywne.
Podczas Twojej pracy będę siedział razem z kolegą w pobliżu, będziemy robić stosowne notatki, a także mierzyć czas wykonywania zadań. Jak sam/a zauważyłeś/łaś, sesja jest nagrywana. Materiał zebrany tą drogą posłuży nam jako pomoc w opracowaniu wyników, a także jako dokumentacja całej sesji. Na jej podstawie powstanie film, który chcemy wyświetlić podczas konferencji w Budapeszcie.
Oczywiście zapewniamy pełną anonimowość. Twojemu nazwisku będzie przyporządkowany odpowiedni numer identyfikacyjny. Twoje dane osobowe nie będą w żaden sposób przetwarzane ani wykorzystywane. Tyle tytułem wstępu, jeżeli masz jakieś pytania, bardzo proszę, chętnie wyjaśnię wszystkie niejasności.
| Pytanie | Ukończyło pozytywnie w % | Ukończyło negatywnie w % | Średni czas ukończenia w sekundach: | Średnia liczba kliknięć |
|---|---|---|---|---|
| 1.Proszę podać adres e-mail, na który należy składać propozycje referatów na Konferencję pt.: Menedżer w bibliotece profesjonalista, aktor, lider | 60 | 40 | 30 | 2 |
| 2. W bieżącym numerze Biuletynu z działu "Warto wiedzieć" proszę odnaleźć odsyłacz do Urzędu Ochrony Konsumenta | 100 | 0 | 52 | 3 |
| 3. W bieżącym numerze Biuletynu proszę odnaleźć artykuł o Shiyali Ramamritha Ranganathanie i podać miejsce oraz rok jego urodzenia | 60 | 40 | 121 | 7 |
| 4. Proszę podać liczbę artykułów Remigiusza Sapy zamieszczonych w bazie EBIB | 40 | 60 | 21 | 3 |
| 5. Proszę odnaleźć odsyłacz do Biblioteki Wyższej Szkoły Biznesu National - Louis Universityw Nowym Sączu | 60 | 40 | 113 | 11 |
| 6. Proszę odnaleźć odsyłacz do Centralnej Biblioteki Wojskowej w Warszawie | 60 | 40 | 51 | 6 |
| 7. Czy w dziale "Serwisy" w grupie odsyłaczy "Standardy" jest odsyłacz na stronę Internet Engineering Task Force? | 80 | 20 | 32 | 3 |
| 8. Czy w dziale "Serwisy" w grupie odsyłaczy "Rynek wydawniczy i księgarski" wśród zagranicznych antykwariatów znajduje się odsyłacz do antykwariatu British Books? | 100 | 0 | 38 | 3 |
| 9. Biblioteka Wydziału Matematyki i Mechaniki Uniwersytetu Warszawskiego poszukuje pracownika. Proszę podać miejsce, gdzie należy składać podania o pracę w tej Bibliotece | 40 | 60 | 108 | 9 |
| 10. Ile artykułów w serwisie EBIB dotyczy tematu: "komputeryzacja poszczególnych bibliotek w Toruniu"? | 0 | 100 | 98 | 8 |
| 11. Proszę odnaleźć tytuł Biuletynu EBIB nr 34/2002 | 80 | 20 | 27 | 6 |
| ID uczestnika | Wyniki wyrażone w procentach | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 01/081204 | 02/081204 | 03/081204 | 04/081204 | 05/091204 | AZ | Z | NZ | N | AN | |
| 1. Czy język użyty w teście był zrozumiały? | Z | AZ | Z | Z | AZ | 40 | 60 | 0 | 0 | 0 |
| 2. Czy informacje na stronie głównej są czytelne? | Z | Z | NZ | Z | NZ | 0 | 60 | 20 | 20 | 0 |
| 3. Czy kolorystyka stron jest odpowiednia? | AZ | Z | NZ | Z | NZ | 20 | 40 | 40 | 0 | 0 |
| 4. Czy sposób poruszania się po stronie był intuicyjny? | Z | Z | N | N | Z | 0 | 60 | 0 | 40 | 0 |
| 5. Czy forma strony była niezmienna na poszczególnych poziomach serwisu? | Z | NZ | NZ | Z | AN | 0 | 40 | 40 | 0 | 20 |
| 6. Czy poruszanie się po serwisie było łatwe? | Z | NZ | Z | NZ | N | 0 | 40 | 40 | 20 | 0 |
| 7. Czy informacje na poszczególnych stronach serwisu były wystarczające? | Z | NZ | N | Z | N | 0 | 40 | 20 | 40 | 0 |
| 8. Czy ważne informacje były w odpowiedni sposób wyróżnione? | AZ | AN | NZ | NZ | N | 20 | 0 | 40 | 20 | 20 |
| 9. Czy nagłówki stron były zrozumiałe? | Z | N | N | AZ | N | 20 | 20 | 0 | 60 | 0 |
| 10. Czy nawigacji po stronie była prosta w użyciu? | NZ | N | N | AZ | N | 20 | 0 | 0 | 60 | 20 |
| 11. Czy użyta grafika była odpowiednia? | Z | NZ | Z | Z | NZ | 0 | 60 | 40 | 0 | 0 |
| 12. Czy użyte słownictwo było zrozumiałe? | Z | Z | Z | Z | Z | 0 | 100 | 0 | 0 | 0 |
| 13. Czy forma serwisu była estetyczna? | AZ | Z | NZ | AZ | NZ | 40 | 20 | 40 | 0 | 0 |
| 14. Czy serwis szybko się ładował? | AZ | N | Z | AZ | AZ | 60 | 20 | 0 | 20 | 0 |
| Proszę zaznaczyć w skali od 1 do 6 (jeden oznacza wynik najgorszy, a sześć najlepszy) własną ocenę serwisu: | 5 | 4 | 3 | 5 | 2 | Średnia: 3,8 | ||||
| | | |
| |||
| | ||