Wskaźniki efektywności bibliotek według normy ISO 11620

Na świecie i w Polsce obserwuje się coraz większą dbałość o zapewnianie wysokiej jakości usług bibliotecznych oraz starania o podwyższanie efektywności funkcjonowania placówek bibliotecznych. Do zarządzania włącza się podejścia związane z zarządzaniem jakością, m.in. zapewnianie jakości (biblioteki dążą do uzyskania certyfikatu ISO serii 9000) oraz TQM. W związku z tym bardzo ważne staje się wypracowanie oraz stosowanie spójnych, jednolitych i porównywalnych wskaźników efektywności działania, czyli miar (sposobów badania i obliczania) sprawności funkcjonowania bibliotek. Od 1998 roku na forum międzynarodowym w tym zakresie funkcjonuje norma ISO 11620: Information and Documentation - Library Performance Indicators, która definiuje wspomniane wskaźniki niezależnie od typu biblioteki. Aktualnie przygotowywana jest jej polska wersja jezykowa. Lista mierników w niej opracowanych wydaje się niekompletna. Warto jednak przyjrzeć się im bliżej - być może staną się one przydatne w ocenie własnej biblioteki.

Tabela 1: Lista wskaźników efektywności działania bibliotek według normy ISO 11620

I. Wskaźniki Ogólne

1. Satysfakcja użytkowników

Wskaźnik może być używany do pomiaru percepcji użytkowników w zakresie każdej publicznej usługi biblioteki, na przykład: godzin otwarcia, udogodnień w zakresie studiowania, dostępności dokumentów, wypożyczeń międzybibliotecznych, służby informacyjnej, szkolenia użytkowników, itd. W ramach tych samych badań mogą być również oceniane różne aspekty poszczególnych usług.
Celem ustalenia wskaźnika projektuje się prosty kwestionariusz wymieniający te określone usługi i/lub ich aspekty, które będą oceniane. Przy pytaniach zamieszcza się skalę pięciopunktową. Następnie ustala się próbkę reprezentatywną (losową) użytkowników i prosi się ich o wypełnienie kwestionariusza. Średnia satysfakcji użytkownika z każdej usługi, bądź jej aspektu, to stosunek sumy wartości wskazanych przez użytkowników dla każdej usługi do liczby osób odpowiadających na pytania.

II. Wskaźniki usług publicznych

2. Procent społeczności docelowej objętej usługami

Wskaźnik ten służy do oceny skuteczności biblioteki w dotarciu do społeczności docelowej. Społecznością docelową może być populacja obsługiwana przez bibliotekę, specyficzna grupa w obrębie tej populacji lub jakaś inna grupa, którą biblioteka zamierza obsługiwać. Ustalenie wskaźnika to określenie procentu społeczności docelowej korzystającej z biblioteki. (Stosunek liczby użytkowników do liczby osób w grupie docelowej). Dla celów tego wskaźnika użytkownikiem jest osoba, która odwiedziła bibliotekę lub korzystała z jej usług w inny sposób w ciągu ostatniego roku.
Na odsetek społeczności docelowej korzystającej z biblioteki może mieć wpływ szereg czynników, wiele z nich niezależnych od biblioteki. Oto ich przykłady: struktura demograficzna społeczności docelowej, poziom urbanizacji, poziom wykształcenia, właściwości obsługiwanych instytucji (np. metody nauczania, poziom pomocy finansowej dla studentów), przyzwyczajenia związane z zakupami książek, odległości terytorialne między bibliotekami i użytkownikami, ogólne warunki społeczne, sytuacja ekonomiczna, itd. Wynik powinien być uzależniony zarówno od aktywnej promocji usług biblioteki, jak i od doskonalenia świadczonych usług.
 
3. Koszt w przeliczeniu na użytkownika

Jest to całość stałych wydatków bieżących biblioteki w pełnym roku finansowym podzielona przez liczbę użytkowników. Wskaźnik może być używany do oceny: efektywności kosztów ponoszonych przez bibliotekę w różnych odcinkach czasu; efektywności kosztów ponoszonych przez bibliotekę w lokalnym środowisku w porównaniu z innymi służbami; efektywności kosztów ponoszonych przez bibliotekę w porównaniu z innymi bibliotekami tego samego typu.
 
4. Odwiedziny w bibliotece w przeliczeniu na osobę

Wskaźnik służy do oceny sukcesu biblioteki w zdobywaniu użytkowników swoich usług. Ustala się tu ogólną liczbę odwiedzin w bibliotece w ciągu całego roku i dzieli się ją przez liczbę osób w obsługiwanej populacji. Dla celów tego wskaźnika, odwiedziny jest to czynność wejścia do lokalu biblioteki z zamiarem skorzystania z jednej ze świadczonych przez nią usług. Metody obliczania liczby odwiedzin: używa się bramki lub podobnego urządzenia do automatycznego liczenia osób wychodzących bądź wchodzących do biblioteki. Liczy się osoby wchodzące i wychodzące z biblioteki w ciągu jednego lub większej liczby próbnych odcinków czasu. Liczba i długość okresów jest wybierana przez użytkownika wskaźnika. Szacuje się ogólną liczbę odwiedzin dla jednego roku przez ekstrapolację, wykorzystując dostępne informacje o odchyleniach w ciągu roku. Dla bibliotek publicznych typowe będzie użycie jednego okresu tygodniowego; dla bibliotek akademickich - dwu, bądź większej liczby okresów odzwierciedlających cykl działania uczelni.
 
5. Koszt w przeliczeniu na odwiedziny w bibliotece

Wskaźnik służy do oceny kosztu usługi bibliotecznej w stosunku do liczby odwiedzin w bibliotece. Jest to całość stałych wydatków bieżących biblioteki w pełnym roku finansowym podzielona przez liczbę odwiedzin w bibliotece.

III. Dostarczanie dokumentów

6. Dostępność tytułów

Zadaniem wskaźnika jest ocena, w jakim stopniu tytuły posiadane przez bibliotekę są dostępne w momencie zażądania ich przez użytkowników. Jest to procent tytułów posiadanych przez bibliotekę, które są natychmiast dostępne dla użytkowników. (Stosunek liczby tytułów dostępnych w próbce losowej do liczby tytułów w próbce.) Dla celów tego wskaźnika dostępność oznacza, że egzemplarze poszczególnych tytułów są obecne w bibliotece i stoją do dyspozycji użytkowników, zarówno do wypożyczenia na zewnątrz, jak i do udostępnienia na miejscu.
 
7. Dostępność żądanych tytułów

Zadaniem wskaźnika jest ocena, w jakim stopniu tytuły posiadane przez bibliotekę i potrzebne użytkownikom są dostępne w chwili, gdy są przez nich żądane. Oblicza się tu procent tytułów posiadanych przez bibliotekę i żądanych przez przynajmniej jednego użytkownika, które są natychmiast dostępne. (Stosunek liczby tytułów dostępnych spośród żądanych w próbce do liczby żądanych tytułów w próbce).
 
8. Procent żądanych tytułów w zbiorach

Wskaźnik służy do oceny, w jakim stopniu tytuły potrzebne użytkownikom są w posiadaniu biblioteki. Jest on używany do oceny dopasowania zbiorów do żądań użytkowników. Oblicza się tu procent tytułów żądanych przez przynajmniej jednego użytkownika, które są już w posiadaniu biblioteki. (Stosunek liczby żądanych tytułów posiadanych przez bibliotekę w próbce do liczby żądanych tytułów w próbce). Jeśli tytuł opublikowano i zamówiono przed badaniem, ale biblioteka go jeszcze nie otrzymała, jest liczony jako będący w jej posiadaniu.
 
9. Rozszerzona dostępność żądanych tytułów

Zadaniem wskaźnika jest ocena, w jakim stopniu tytuły potrzebne użytkownikom są natychmiast dostępne, bądź mogą być udostępnione w ciągu określonego czasu. Oblicza się procent tytułów żądanych przez przynajmniej jednego użytkownika, które są dostępne natychmiast lub mogą być udostępnione w ciągu określonego czasu.
Wskaźnik może być używany do mierzenia procentu żądanych tytułów, które mogą być udostępnione w ciągu kolejnych odcinków czasu (np. natychmiast, po 1 tygodniu, po 2 tygodniach, po1 miesiącu, po 3 miesiącach itd.).
Liczbę tytułów, które mogą być udostępnione w ciągu określonego czasu można ustalać dwojako: obserwuje się tytuły zawarte w próbce przez określony czas i rejestruje się, kiedy egzemplarz staje się dostępny. Wykorzystuje się zapisy systemu wydawania dokumentów i inne odpowiednie zapisy w celu oceny czy można oczekiwać, że tytuły posiadane przez bibliotekę będą udostępnione w ciągu określonego czasu. Ocenia się dostępność tytułów zamawianych drogą wypożyczania międzybibliotecznego, zadając pytanie właściwej bibliotece, kiedy - jak sądzi - tytuły te będą dostępne.
 
10. Wykorzystanie zbiorów na miejscu w przeliczeniu na osobę

Zadanie wskaźnika to ocena poziomu wykorzystania materiałów w lokalu biblioteki. Wskaźnikiem jest liczba dokumentów bibliotecznych wykorzystanych w bibliotece w ciągu roku podzielona przez liczbę osób z obsługiwanej populacji. Ustala się odcinek czasu pobierania próbki. W ciągu tego okresu prosi się użytkowników o nieodkładanie na półki dokumentów wykorzystanych w bibliotece. Liczy się dokumenty przed ponownym wstawieniem na półki. Wykorzystanie zbiorów na miejscu w przeliczeniu na osobę to:
 
(A/B x C)/D
 
gdzie:
A jest to liczba dokumentów policzonych w badanym odcinku czasu;
B jest to liczba dni otwarcia biblioteki dla użytkowników w badanym odcinku czasu;
C jest to liczba dni otwarcia biblioteki dla użytkowników w całym roku;
D jest to liczba osób w obsługiwanej populacji.
 
Dokumenty wypożyczone na zewnątrz nie są wliczane do A.
 
11. Stopień wykorzystania dokumentów

Wskaźnik ten służy do oceny ogólnego stopnia wykorzystania zbiorów przez oszacowanie procentu dokumentów będących w użyciu w danym czasie. Wskaźnik może również być używany do oceny dopasowania zbiorów do wymagań obsługiwanej populacji. Liczy się procent tytułów posiadanych przez bibliotekę, które są w użyciu. (Stosunek liczby wykorzystywanych dokumentów w próbce do liczby dokumentów w próbce). Dla celów tego wskaźnika określenie w użyciu oznacza, że dokument jest wypożyczony lub wykorzystywany przez użytkownika na miejscu.

IV. Wyszukiwanie dokumentów

12. Mediana czasu wyszukiwania dokumentów w zbiorach o zamkniętym dostępie

Wskaźnik służy do oceny efektywności systemu wyszukiwania. Liczy się medianę czasu, który upłynął pomiędzy zamówieniem dokumentu umieszczonego w zbiorze o zamkniętym dostępie a momentem udostępnienia go użytkownikowi.
Ustala się próbkę reprezentatywną (losową) posiadanych przez bibliotekę dokumentów przechowywanych w zbiorach o zamkniętym dostępie i zamówionych przez użytkowników. Dla każdego zamówienia rejestruje się datę i czas, kiedy zamówienie doręczono oraz czas, kiedy dokument był gotowy do odebrania przez użytkownika. Odejmuje się czas początkowy od końcowego, wyrażając to w minutach lub godzinach, w zależności od potrzeb.
Mediana czasu wyszukiwania dokumentów w zbiorach o zamkniętym dostępie jest ustalana przez szeregowanie zamówień w porządku wstępującym czasu wyszukiwania. Mediana czasu jest to wartość dla zamówienia pośrodku listy rankingowej. Jeśli liczba zamówień jest parzysta, mediana czasu jest średnią arytmetyczną dwóch wartości będących pośrodku listy rankingowej, zaokrąglona do minuty.
 
13. Mediana czasu wyszukiwania dokumentów w przestrzeni z wolnym dostępem

Służy do oceny czy etykiety wyjaśniające i prawidłowe ustawienie na półkach pozwalają na szybki dostęp do dokumentów. Jest to mediana czasu, który upłynął pomiędzy końcem wyszukiwania dokumentu w katalogu a momentem znalezienia go na półce. Ustala się próbkę reprezentatywną (losową) posiadanych przez bibliotekę tytułów umieszczonych w przestrzeni z wolnym dostępem. Sprawdza się czy wszystkie tytuły są dostępne i na właściwym miejscu na półce. Osoby biorące udział w badaniach otrzymują grupę tytułów do szukania. Zaleca się, aby osobami tymi byli użytkownicy dobrze zaznajomieni z biblioteką. Szukają oni tytułów w katalogu a następnie lokalizują je na półkach. Dla każdego tytułu oblicza się liczbę minut, które upłynęły między zakończeniem poszukiwań w katalogu a znalezieniem dokumentu na półce. Szereguje się tytuły według liczby minut, które upłynęły.
Mediana czasu wyszukiwania dokumentów w przestrzeni z wolnym dostępem jest to liczba minut, które znajdują się w środku listy rankingowej.

V. Wypożyczanie dokumentów

14. Obieg zbiorów

Służy do oceny ogólnego stopnia wykorzystania zbiorów przeznaczonych do wypożyczania. Wskaźnik może być również używany do oceny dopasowania zbiorów do wymagań obsługiwanej populacji. Jest to ogólna liczba wypożyczeń określonych zbiorów w określonym odcinku czasu, zwykle w ciągu jednego roku, podzielona przez ogólną liczbę dokumentów w zbiorze. Na obieg zbiorów wpływa szereg czynników. Najważniejsze to: struktura zbiorów w zestawieniu z wymaganiami użytkowników; zbiory z dużym udziałem materiałów przestarzałych lub nieodpowiednich będą charakteryzować się wolniejszym obiegiem; polityka biblioteki w zakresie oczyszczania zbiorów z przestarzałych tytułów lub dodatkowych, niepotrzebnych egzemplarzy; liczba egzemplarzy najbardziej pożądanych tytułów; stosunek wykorzystywania na miejscu do wypożyczeń; standardowy okres wypożyczeń w bibliotece, specjalny okres wypożyczeń dla tytułów najbardziej rozchwytywanych oraz liczba dokumentów dozwolonych do jednoczesnego wypożyczenia; działania promocyjne biblioteki i umiejętności personelu w dziedzinie promocji; łatwość dokonywania prolongat.
 
15. Wypożyczenia w przeliczeniu na osobę

Wskaźnik służy do oceny stopnia wykorzystania zbiorów bibliotecznych przez obsługiwaną populację. Może być również używany do oceny jakości zbiorów i zdolności biblioteki do ich promocji. Jest to ogólna liczba wypożyczeń w ciągu roku podzielona przez liczbę osób w obsługiwanej populacji. Wskaźnik skoncentrowany jest na usłudze wypożyczania.
 
16. Dokumenty wypożyczone w przeliczeniu na osobę

Wskaźnik również służy do oceny ogólnego stopnia wykorzystania zbiorów bibliotecznych przez obsługiwaną populację. Jest to liczba dokumentów wypożyczonych w określonym odcinku czasu w ciągu roku podzielona przez liczbę osób w obsługiwanej populacji. Określonym odcinkiem czasu może być jeden dzień. Wskaźnik skoncentrowany jest na obiegu dokumentów.
 
17. Koszt wypożyczenia

Wskaźnik służy do oceny kosztu usług biblioteki w odniesieniu do liczby wypożyczeń. Może być używany do porównań: jednostkowego kosztu wypożyczeń dla określonej biblioteki w danym okresie z takim samym kosztem w innym okresie; jednostkowego kosztu wypożyczeń dla określonej biblioteki z takim samym kosztem innej biblioteki tego samego typu. Jest to całość stałych wydatków bieżących biblioteki w pełnym roku finansowym podzielona przez ogólną liczbę wypożyczeń w tym samym czasie. Stałe wydatki bieżące są kalkulowane w sposób, jak jest normalnie wymagany tam, gdzie wskaźnik został zastosowany. Zaleca się, aby w celu uniknięcia nieporozumień zostało wyraźnie określone to, co zostało uwzględnione w kalkulacji.
Jeśli wskaźnik jest używany do porównań międzynarodowych, podatek VAT, podatki od sprzedaży i usług oraz inne lokalne podatki nie są włączane do stałych wydatków bieżących.
 
18. Wypożyczenia w przeliczeniu na pracownika

Wskaźnik służy do oceny personelu biblioteki w relacji do liczby wypożyczeń. Jest to ogólna liczba wypożyczeń w okresie całego roku podzielona przez liczbę pracowników w przeliczeniu na pełne etaty, w tym samym okresie.

VI. Dostarczanie dokumentów ze źródeł zewnętrznych

19. Prędkość wypożyczania międzybibliotecznego

Wskaźnik służy do oceny czy biblioteka dostarcza użytkownikom wydajną obsługę w zakresie wypożyczeń międzybibliotecznych. Jest to procent żądanych dokumentów nie posiadanych przez bibliotekę, które zostały udostępnione użytkownikom ze źródeł zewnętrznych w określonym odcinku czasu (np. 7, 14, 30, 60 dni).

VII. Usługi informacyjne

20. Stopień osiągalności poprawnych odpowiedzi

Wskaźnik służy do oceny stopnia, w jakim personel jest zdolny sprostać głównemu wymaganiu w stosunku do dobrej służby informacyjnej, mianowicie udzielać prawidłowych odpowiedzi na zapytania informacyjne. Jest to liczba poprawnych odpowiedzi na zapytania podzielona przez liczbę wszystkich otrzymanych pytań.
Wśród wielu używanych do obliczania wskaźnika metod, najobszerniej stosowany i opisany jest tzw. dyskretny test. Wymaga on zestawienia reprezentatywnej grupy pytań z odpowiedziami. Pytania te są następnie stawiane pracownikom służby informacyjnej przez upoważnionych użytkowników jako autentyczne, bez powiadamiania pracowników, że są sprawdzani. Zaletą tego podejścia jest ocena służby informacyjnej w normalnych warunkach.
W celu otrzymania wiarygodnych wyników: zaleca się aby bardzo starannie dobierać pytania; zaleca się aby wybór upoważnionych użytkowników był reprezentatywny dla grupy aktualnych użytkowników biblioteki; upoważnieni użytkownicy powinni być właściwie wyszkoleni, w kierunku zalecanego zachowania się.
Wskaźnik ten skupia się tylko na jednym aspekcie efektywności służby informacyjnej. Na wyniki może wpływać np. wybór pytań, komunikatywność personelu oraz jakość, różnorodność i dostępność wydawnictw informacyjnych, a także baz danych.

VIII. Wyszukiwanie informacji

21. Stopień powodzenia wyszukiwania tytułów w katalogu

Służy do oceny powodzenia biblioteki w informowaniu użytkowników, gdzie i jak znaleźć tytuł w katalogach. Wskaźnik to procent zakończonych sukcesem poszukiwań przez użytkowników tytułów znajdujących się w katalogu. (Stosunek liczby tytułów odnalezionych przez użytkowników w katalogu do liczby tytułów szukanych przez użytkowników, które obecnie znajdują się w katalogu).
Użytkownicy, którzy szukają w katalogu jednego bądź większej liczby tytułów proszeni są o wypełnienie formularza dostarczającego: skróconych danych bibliograficznych tytułu (tytułów); informacji o znalezieniu (bądź nie) tytułu (tytułów) w katalogu; informacji o statusie użytkownika (fakultatywnie).
Tytuły, których nie odnaleziono, są sprawdzane przez personel biblioteki, aby ocenić czy znajdują się w katalogu.
 
22. Stopień powodzenia wyszukiwania rzeczowego w katalogu

Wskaźnik służy do oceny powodzenia biblioteki w dopasowaniu się do potrzeb wyszukiwania rzeczowego przez użytkowników w katalogach oraz w informowaniu użytkowników, gdzie i jak znaleźć literaturę na dany temat. Jest to procent tytułów w katalogu odpowiadających tematowi poszukiwań użytkownika i przez niego odnalezionych. (Stosunek liczby tytułów zgodnych z tematem poszukiwań i odnalezionych przez użytkownika do liczby tytułów zgodnych z tematem poszukiwań użytkownika, które są aktualnie zaindeksowane w katalogu).
Użytkownicy, którzy szukają w katalogu według określonego tematu, proszeni są o wypełnienie formularza dostarczającego: krótkiego opisu tematu poszukiwań; haseł przedmiotowych i/lub notacji, które przeglądali; haseł przedmiotowych i/lub notacji, pod którymi znaleźli tytuły uznane przez nich za trafne; informacji o statusie użytkownika (fakultatywnie). Wyszukiwanie rzeczowe jest następnie powtarzane przez personel biblioteki celem sprawdzenia czy hasła przedmiotowe i/lub notacje dostosowane do obszaru poszukiwań zostały przejrzane

IX. Udogodnienia (sprzęt, wyposażenie)

23. Dostępność udogodnień

Wskaźnik służy do oceny, w jakim stopniu określone udogodnienia oferowane przez bibliotekę są obecnie dostępne dla użytkowników. Oblicza się procent udogodnień dostępnych w okresie badań.
 
24. Stopień wykorzystania udogodnień

Służy do oceny stopnia wykorzystania określonych udogodnień oferowanych przez bibliotekę. Oblicza się procent udogodnień będących w użytkowaniu w czasie badań.
 
25. Stopień wykorzystania miejsc

Jest to procent zajętych miejsc w czasie badań. Miejsca zarezerwowane wyłącznie do użytku personelu nie są uwzględniane.
 
26. Dostępność systemu zautomatyzowanego

Oblicza się procent czasu, w którym system jest dostępny dla użytkowników i pracuje w określonym standardzie funkcjonalności, w porównaniu z planowymi godzinami dostępności w określonym odcinku czasu. Użytkownik tego wskaźnika będzie musiał przyjąć określone kryteria zadowalającej funkcjonalności, włączając w to metody pomiarów i wartości progowe. Zaleca się aby kryteria opierały się na wymaganiach biblioteki (użytkowników, jak i personelu bibliotecznego).

X. Technologia biblioteczna

A. Nabywanie dokumentów

27. Mediana czasu nabywania dokumentów
Służy do oceny stopnia efektywności dostawców materiałów bibliotecznych w zakresie prędkości. Liczy się medianę liczby dni pomiędzy datą zamówienia dokumentu a datą jego wpływu do biblioteki.

B. Opracowanie dokumentów

28. Mediana czasu opracowania dokumentów
Służy do oceny czy różne rodzaje procedur opracowania są efektywne pod względem prędkości. Jest to mediana liczby dni pomiędzy dniem wpływu dokumentu do biblioteki a dniem, kiedy jest on dostępny dla użytkownika (ogólnie: na półkach).

C. Katalogowanie

29. Koszt skatalogowania tytułu
Zadaniem wskaźnika jest ocena kosztu określonej polityki tworzenia opisów bibliograficznych. Wskaźnikiem jest koszt uzyskania opisu dokumentu i jego logicznego oraz spójnego wprowadzenia do katalogu, podzielony przez liczbę skatalogowanych tytułów. Dla celów tego wskaźnika nazwa katalogowanie odnosi się do fizycznego opisu dokumentu. Uwzględnia się tu również zdobywanie opisów wzorcowych, analizę rzeczową, indeksowanie i klasyfikację. W celu uniknięcia nieporozumień zaleca się aby użytkownik wskaźnika dokładnie określił, co włącza się do obliczeń.
Użytkownik wskaźnika ustala okres pomiarów. Zaleca się aby zbierać dane w ciągu określonego, próbnego odcinka czasu. Koszt skatalogowania tytułu liczy się według wzoru:
 
(A x B + C)/D
 
gdzie:
A jest to ogólna liczba godzin poświęconych w okresie badań na tworzenie opisów bibliograficznych i opisów wzorcowych oraz na identyfikację i wyszukiwanie importowanych danych bibliograficznych;
B jest to koszt 1 godziny pracy (płace i dodatki socjalne wypłacane w okresie badań podzielone przez przepisowy czas pracy odpowiedniego personelu umownie uważanego za "obecny");
C jest to koszt nabycia opisów bibliograficznych i innych danych potrzebnych do katalogowania w okresie badań;
D - Liczba skatalogowanych tytułów w okresie badań.
 
Na koszty opisów katalogowych może wpływać szereg czynników, np. narodowa centrala bibliograficzna może stosować wysoki poziom szczegółowości katalogowania, a mała biblioteka może przejmować tylko podstawowe dane. Oczekuje się, że koszty będą odzwierciedlać te różnice.
Koszty mogą być szacowane w zestawieniu z jakością katalogu, tzn. z jego:
efektywnością dla użytkowników;
efektywnością dla personelu (kontrola zbiorów i inne funkcje wewnętrzne);
zgodnością ze standardami wymiany i komunikacji.
 
Wyniki mogą być również oceniane w porównaniu z uprzednimi kosztami dla tej samej biblioteki lub w porównaniu z innymi bibliotekami. Koszty uważane za wysokie muszą zostać rozpatrzone w kontekście kluczowych zmiennych w organizacji: wydajności zarządzania; kosztu importowanych danych bibliograficznych; względnych proporcji między danymi importowanymi a utworzonymi na miejscu; aspektów technicznych, takich jak funkcjonalność oprogramowania i sprzętu komputerowego; funkcjonalności i dostosowania formatów bibliograficznych do pracy wewnętrznej, współpracy i wymiany.

Pozostawiam Państwu do oceny kompletność i funkcjonalność przedstawionych wskaźników. Sens pomiarów tego rodzaju wydaje się niepodważalny. Ważne jest również stosowanie porównywalnych - a najlepiej - takich samych mierników. Jeśli nie tych to jakich?