Selasa, 16 Februari 2016

Evaluasi Institutional Repository Perpustakaan Uin Sunan Kalijaga Yogyakarta (Studi Precision)



A. LATAR BELAKANG
A
Perpustakaan perguruan tinggi merupakan sebuah perpustakaan yang berada di lingkungan perguruan tinggi dengan tujuan utama membantu perguruan tinggi tersebut mencapai tujuannya[1]. Adapun tujuannya tertuang dalam Tri Dharma Perguruan Tinggi (pendidikan, penelitian, dan pengabdian masyarakat). Karenanya perpustakaan harus mampu memenuhi segala kebutuhan informasi civitas akademika. Perpustakaan dapat memenuhi kebutuhan informasinya dengan mengoleksi bahan pustaka yang sesuai dengan berbagai bentuk.
Perpustakaan perguruan tinggi juga sering dimaknai sebagai pusat penelitian, karena menyediakan informasi yang mendukung dalam proses penelitian. Sehingga dengan adanya penelitian akan menghasilkan sebuah pengetahuan baru yang biasanya tertuang dalam sebuah laporan penelitian, skripsi, tesis, maupun desertasi. Karya ini lebih kita kenal dengan sebutan karya ilmiah atau karya intelektual. Perpustakaan diharuskan menghimpun hasil penelitian tersebut untuk nantinya dapat dijadikan acuan penelitian selanjutnya. Selain itu perpustakaan diharapkan juga dapat melakukan pemutakhiran koleksi yang dimilikinnya untuk mendukung dan mengembangkan kegiatan penelitian.
Karya ilmiah yang telah dihasilkan apabila tidak dikelola dengan baik akan mengakibatkan timbulnya permasalahan. Adapun permasalahan yang timbul adalah terkait dengan penyebarannya kepada pengguna perpustakaan. Terkadang pengguna tidak mengetahui bawasannya perpustakaan mengoleksi karya ilmiah hasil penelitian yang dilakukan oleh civitas akademikanya. Adapun usaha untuk menghimpun, mengelola, melesatarikan, dan menyebarluaskan karya intelektual sebuah perguruan tinggi dengan bantuan teknologi adalah melalui institutional repository. Institutional Repository atau lebih dikenal dengan IR ini akan memudahkan pengguna perpustakaan untuk mengetahui karya ilmiah yang dimiliki sebuah perguruan tinggi. Ketika sebuah perpustakaan memustuskan untuk memiliki IR, maka timbullah pekerjaan tambahan bagi perpustakaan untuk melakukan evaluasi terhadap IR tersebut. Evaluasi ini bertujuan mengatahui seberapa efisien dan kepuasn pengguna perpustakaan dalam mengakses IR tersebut. Adapun untuk mengevaluasinya dapat menggunakan pendekatan recall dam precision.

bB. RUMUSAN MASALAH
Berdasarkan rumusan masalah di atas, rumusan masalah pada makalah ini, yaitu bagaimana tingkat efektifitas IR Perpustakaan UIN Sunan Kalijaga?

C. PEMBAHASAN
1.      Evaluasi
Salah satu isu yang menarik saat di kalangan pengamat, pendukung, dan pengelola perpustakaan digital adalah isu evaluasi. Sebagaimana di masa sebelum digital ketika perpustakaan masih didominasi koleksi tercetak, maka kini setiap upaya menyediaan jasa perpustakaan digital memerlukan justifikasi (pembenaran) yang cukup. Dari segi evaluasi, ada perbedaan antara perpustakaan non-digital dan digital, yang menyebabkan perhatian khusus. Saracevic merumuskan sebagai[2]:
a.    Complexity, perkembangan teknologi informasi yang sangat dinamis dan cepat menyebabkan perpustakaan digital tergolong salah satu institusi yang paling rumit, dan ini menyebabkan evaluasi sulit dilakukan
b.   Pre-maturity, bagaimanapun, fenomena perpusatkaan digital baru benar-benar hadir di akhir 1990-an, dan setelah 10 tahun baru dianggap dalam tahap perkembangan, sehingga masih ada beberapa aspek yang cukup stabil untuk dievaluasi
c.    Interest levels, sebelum benar-benar stabil dianggap stabil, biasanya banyak pihak yang lebih tertarik pada pengembangan, dan kurang pada upaya evaluasi
d.   Funding, belum ada cukup dana yang banyak yang tersedia untuk evaluasi secara menyeluruh
e.    Culture, kegiatan evaluasi belum populer menakala semua orang sedang lebih tertarik pada eksperimen dan pengembangan landasan kerja baru
f.    Cynicism, belum banyak orang yang peduli pada kinerja perpustakaan digital terutama  karena juga banyak yang belum jelas memahami apa yang diukur?.
Tradisi evaluasi terhadap kinerja perpustakaan yang sudah lama dijelaskan para pustakawan, seringkali dianggap tidak memadai untuk situasi digital. Belakangan ini semakin banyak upaya menyusun kerangka pikir baru untuk memodifikasi sistem evaluasi perpustakaan agar lebih cocok bagi keadaan masa kini. Namun sebagaian dikatakan oleh Berton, evaluasi terdapat perpustakaan digital tentu tidak dapat secara sertamerta dilepaskan dari apa yang sudah selama ini dijalankan. Pada dasarnya perpustakaan merupakan fenomena lanjutan dari perpustakaan non-digital karena dibangun di atas landasan sosial-budaya maupun teknologi yang sama[3].
Dalam mengadakan evaluasi terdapat dua langkah, yaitu mengukur dan menilai. Di dalam istilah asingnya, pengukuran adalah measurement, sedangkan penilaian adalah evaluation. Dari kata evaluation inilah diperoleh kata Indonesia evaluasi yang berarti menilai (tetapi dilakukan dengan mengukur terlebih dahulu). Di buku ini ketiga istilah tersebut digunakan bergantian tanpa mengubah makna[4]. Sedangkan menurut Salton seperti yang dikutip oleh Sanusi[5] evaluasi terhadap sarana temu kembali juga dapat dilakuakan dengan mengukur tingkat kepuasan pengguna terhadap hasil pencarian dokumen yang diinginkan. Adapun indikatornya bisa dilihat dari efisiensi waktu, ketetapan, akumulasi pencarian, dan kemudahan penggunaan.

2.      Sistem Temu Kembali Informasi
            Sistem informasi pada saat ini telah banyak dibangun oleh para kelompok analisis dan programmer, namun pada akhirnya ditinggalkan oleh para pemakainya[6]. Hal ini terjadi karena sistem yang dibuat lebih berorientasi pada pembuatnya daripada ke pemakainya. Sehingga, ketika sistem itu digunakan oleh pengguna akan berakibat[7]:
a.       Sistem yang dipakai sulit untuk digunakan atau kurang user friendly bagi pemakai
b.      Sistem kurang interaktif dan kurang memberi rasa nyaman bagi pemakai, karena merasa tidak paham terhadap penjelasan yang disediakan
c.       Sistem sulit dipahami karena tampilan atau interface dari sistem menu dan tata letak kurang memperhatikan kebiasaan perilaku pemakai
d.      Sistem dirasa memaksa bagi pemakai dalam mengikuti prosedur yang dibangun, sehingga sistem terasa kaku dan kurang dinamis.
Berdasarkan penjelasan di atas dapat ditarik sebuah kesimpulan, bawasannya sebuah sistem yang dibangun baik itu diperpustakaan maupun di instansi lainnya sebaiknya user oriented.
            Sistem sendiri merupakan sekelompok elemen-elemen yang saling berhubungan dan bertanggung jawab melakukan proses input sehingga menghasilkan output[8]. Paryati dan Yosef juga mengemukakan beberapa definisi sistem menurut pakar, yaitu[9]:
a.       Ludwig Von Bartalanfy; sistem merupakan seperangkat unsur yang saling terikat dalam suatu antar relasi diantara unsur-unsur tersebut dengan lingkungan
b.      Anatol Raporot; sistem adalah suatu kumpulan kesatuan dan perangkat hubungan satu sama lain
c.       L. Ackof; sistem adalah setiap kesatuan secara konseptual atau fisik yang terdiri dari bagian-bagian dalam keadaan saling tergantung satu sama lainnya.
Adapun syarat sebuah sistem, yaitu[10]:
a.       Dibentuk untuk menyelesaikan tujuan
b.      Elemen sistem harus mempunyai rencana yang ditetapkan
c.       Adanya hubungan antara elemen sistem
d.      Unsur dasar dari sebuah proses (arus informasi, energi, dan material) lebih penting daripada elemen sistem
e.       Tujuan organisasi lebih penting dari pada tujuan elemen.
Sedangkan sistem informasi adalah sekumpulan aturan yang membentuk sistem dalam menyajikan data yang memiliki arti dan daya guna[11]. Sistem informasi seringkali kali dihubungkan dengan penggunaan sistem komputer di dalam kegiatan manajemen. Menurut Lee seperti yang dikutip oleh Putu Laxman Pendit[12], terdapat beberapa dimensi yang saling berkaitan dalam sistem informasi, yaitu:
a.       Manajemen sistem informasi melibatkan tidak hanya teknologi informasi, tetapi juga instansinya
b.      Manajemen sistem informasi melibatkan pula sistem informasi dan konteks organisasinya, keduanya sebagai elemen yang saling bereaksi dan tidak dapat saling dipisahkan
c.       Menajemen sistem informasi mengandung teknologi intelektual yang sering dikaitkan dengan manajemen pengetahuan
d.      Manajemen sistem informasi melibatkan aktivitas sebuah profesi khusus untuk menjalankan fungsi-fungsi korporasi sebagai bagaian integral dari sistem informasi yang bersangkutan.
Adapun sistem temu tembali informasi merupakan sistem yang berfungsi untuk menemukan informasi yang relevan dengan kebutuhan pemakai. Salah satu hal yang perlu diingat adalah bahwa informasi yang diproses terkandung dalam sebuah dokumen yang bersifat tekstual. Dalam konteks ini, temu kembali informasi berkaitan dengan representasi, penyimpanan, dan akses terhadap dokumen representasi dokumen. Dokumen yang ditemukan tidak dapat dipastikan apakah relevan dengan kebutuhan informasi pengguna yang dinyatakan dalam query. Pengguna sistem temu kembali informasi sangat bervariasi dengan kebutuhan informasi yang berbeda-beda.
Sistem temu kembali informasi didesain untuk menemukan dokumen atau informasi yang diperlukan oleh masyarakat pengguna. Sistem temu kembali informasi bertujuan untuk menjembatani kebutuhan informasi pengguna dengan sumber informasi yang tersedia dalam situasi seperti dikemukakan oleh Belkin[13] sebagai berikut:
a.       Penulis mempresentasikan sekumpulan ide dalam sebuah dokumen menggunakan sekumpulan konsep
b.      Terdapat beberapa pengguna yang memerlukan ide yang dikemukakan oleh penulis tersebut, tapi mereka tidak dapat mengidentifikasikan dan menemukannya dengan baik
c.       Sistem temu kembali informasi bertujuan untuk mempertemukan ide yang dikemukakan oleh penulis dalam dokumen dengan kebutuhan informasi pengguna yang dinyatakan dalam bentuk pertanyaan (query).
Berkaitan dengan sumber informasi di satu sisi dan kebutuhan informasi pengguna di sisi yang lain, sistem temu kembali informasi berperan untuk:
a.       Menganalisis isi sumber informasi dan pertanyaan pengguna
b.      Mempertemukan pertanyaan pengguna dengan sumber informasi untuk mendapatkan dokumen yang relevan.
Adapun fungsi utama sistem temu kembali informasi seperti dikemukakan oleh Lancaster dan Kent[14]  adalah sebagai berikut:
a.       Mengidentifikasi sumber informasi yang relevan dengan minat masyarakat pengguna yang ditargetkan
b.      Menganalisis isi sumber informasi (dokumen)
c.       Merepresentasikan isi sumber informasi dengan cara tertentu yang memungkinkan untuk dipertemukan dengan pertanyaan (query) pengguna
d.      Merepresentasikan pertanyaan (query) pengguna dengan cara tertentu yang memungkinkan untuk dipertemukan sumber informasi yang terdapat dalam basis data
e.       Mempertemukan pernyataan pencarian dengan data yang tersimpan dalam basis data
f.       Menemu-kembalikan informasi yang relevan
g.      Menyempurnakan unjuk kerja sistem berdasarkan umpan balik yang diberikan oleh pengguna.
Menurut Lancaster[15] sistem temu kembali informasi terdiri dari beberapa subsistem, yaitu subsistem dokumen, subsistem pengindeksan, subsistem kosa kata, subsistem pencarian, subsistem antarmuka pengguna-sistem, dan subsistem penyesuaian. Sementara itu Tague-Sutcliffe[16] melihat sistem temu kembali informasi sebagai suatu proses dengan kompenen utama, yaitu kumpulan dokumen, pengindeksan, kebutuhan informasi pemakai, strategi pencarian, kumpulan dokumen yang ditemukan, penilaian relevansi. 
Kemudian menurut Teskey seperti yang dikutip oleh Rowlands[17] terdapat beberapa fungsi yang harus diterapkan pada sebuah sistem temu kembali informasi. Sistem temu kembali informasi yang baik sebaiknya:
a.       Menerima dan menyusun berbagai teks dari berbagai sumber
b.      Menetapkan penyimpanan yang sesuai untuk semua teks
c.       Mendapatkan/memperoleh informasi yang spesifik dari teks yang tersimpan dalam merespon quaries yang diberikan
d.      Merespon teks yang ddapatkan dan menyajikan kepada pengguna dalam format yang diterima (acceptable).

3.      Institutional Repository
Istilah institutional repository atau simpanan kelembagaan merujuk ke sebuah kegiatan menghimpun dan melestarikan koleksi digital yang merupakan hasil karya intelektual dari sebuah komunitas tertentu. Simpanan kelembagaan ini dikaitkan dengan upaya menghimpuan karya-karya civitas akademika dalam bentuk artikel-artikel yang kemudian akan dikirim ke jurnal. Berikut teknologi komputer yang memudahkan pembuatan, penyuntingan, pengiriman, maupun penempatan artikel di jaringan internet, maka tercipta peluangbagi setiap orang untuk menterbitkan karya mereka tanpa harus mengikuti proses pemuatan di jurnal-jurnal resmi[18].
Perkembangan pemikiran tentang simpanan kelembagaan juga dapat dikaitkan dengan fenomena Open Archives Initative (OAI) yang merebak di penghujung era 1990-an. Sebelum inisiatif dan gerakan ini meuncul, sudah ada tanda-tanda bahwa konunitas-komunitas ilmuwan di universitas mulai punya kebiasaan menyimpan karya-karya mereka secara lokal, dan ini terutama dilakukan di bidang komputer dan ekonomi. Sifat simpanan ini masih “departement” karena hanya melibatkan ilmuwan di suatu jurusan atau departemen. Setelah OAI memperkenalkan protokol untuk tukar menukar bekas melalui teknik yang dikenal dengan nama harvesting (menemui atau memanen) kegiatan para ilmuwan meluas  menjadi antar fakultas di sebuah perguruan tinggi. Dari sinilah lahir konsep dan praktik yang membentuk simpanan kelembagaan[19].
Salah satu ciri khas simpanan kelembagaan yang kemudian juga sempat menimbulkan perdebatan adalah keterbukaannya. Dalam arti keleluasaan yang diberikan kepada pihak produsen (dalam hal ini para penulis e-print) untuk memuat (upload) karya mereka tanpa terlalu melalui proses pemeriksaan oleh rekan-rekan mereka (pear review). Kegiatan ini dikenal dengan istilah self-archiving. Ini tentu saja merupakan penyimpanan dari tradisi penulisan artikel ilmiah untuk dimuat di jurnal-jurnal bergengsi. Selama ini para ilmuwan terkadang harus menunggu setahun atau lebih untuk melihat karyanya dimuat di sebuah jurnal. Banyak jurnal bengengsi yang meminta bayaran dari penulis sebelum bersedia menerbitkan karya penulis itu[20].
Sebuah kelembagaan adalah sebuah simpanan yang memiliki ciri kelembagaan, sebagaimana dan dengan demikian sangat bergantung pada kelembagaan dan dengan demikian sangat bergantung pada kesepakatan serta kepercayaan semua pihak yang berkaitan dengan kelembagaan itu walaupun gerakan dan fenomena yang ditimbulkan oleh inisiatif pengarsipan terbuka ini pada awalnya lebih terkonsentrasi pada upaya memperlancar dan mempermudah para ilmuwan memuat atau meletakkan karyanya di server dan di jaringan antar server, perlahan-lahan muncul juga kesadaran bahwa kelancaran dan kemudahan itu perlu diikuti dengan keseksamaan dan kehandalan dalam penyimpanan. Sehingga dapat diartikan, fasilitas teknologi yang mmepermudah dan mempercepat produksi digital harus segera diimbangi dengan fasilitas yang menjamin kelestarian produk-produk digital. Dari segi inilah kita dapat melihat peranan perpustakaan digital sebagai lembaga penghimpunan.
Peran perpustakaan digital dalam konteks simpanan kelembagaan pada awalnya juga menjadi bahan diskusi dan perdebatan. Inti dari simpanan kelembagaan adalah inisiatif ilmuwan atau dosen untuk mengirim karya mereka dan kesadaran untuk menyimpan karya mereka secara pribadi (self archiving). Kegiatan “mengirim” dan “menyimpan” ini seringkali dapat dilakukan dengan amat mudah berkat kemajuan teknologi informasi komputer[21]. Hal ini berhubungan dengan perpustakaan perguruan tinggi segera mengadopsi Model OAIS dan menjalankan konsep keseksamaan, khususnya yang berkaitan dengan pengelolaan metadata. Lanskap digital simpanan kelembagaan segera berubah cepat dan dinamis yang melahirkan praktik-praktik baru yang melengkapi fungsi utama perpustakaan digital[22]. Perpustakaan digital ini berkonsentrasi pada kemudahan pertukaran dan penggunan pengetahuan yang mungkin tersebar dalam berbagai koleksi, dengan memakai protokol atau kesepakatan, misalnya protokol yang dikenal dengan nama The Open Archives Initative’s Protocol for Metadata Harvesting (OAI-PMH), hal ini merupakan standar yang dapat diikuti oleh para pembuat antarmuka Web bagi kepentingan penyimpanan dan penemuan kembali di dalam setting Simpanan Kelembagaan[23]. Sehingga dapat disimpulkan bahwa pada akhirnya fenomena instutional repository atau simpanan kelembagaan bermuara juga di perpustakaan digital yang melanjutkan “ruh” kepustakawanan sebagai penghimpun pengetahuan yang dapat dipercaya oleh komunitas pengguna pengetahuan itu[24].
Fenomena simpanan kelembagaan masih terus mencari bentuk yang pasti. Sebagaimana dikatakan oleh Westell seperti yang dikutip oleh Putu Laxman Pendit, terdapat beberapa faktor yang akan mempengaruhi perkembangan fenomena ini, yaitu[25]:
a.       Mandat dan Legitimasi
b.      Integrasi dengan perencanaan lembaga
c.       Model Pendanaan
d.      Keterkaitan dengan program digitalisasi
e.       Interoperability
f.       Evaluasi dan pengukuran
g.      Promosi
h.      Strategi Preservasi Digital
Sedangkan menurut Sulistyo-Basuki sasaran institutional repository adalah[26]:
a.       Menyediakan akses terbuka bagi luaran lembaga penelitian dengan cara pengarsipan
b.      Menciptakan ketampakan (visibilitas) global dalam penelitian universitas
c.       Mengumpulkan barhara (konten) di lokasi tunggal
d.      Menyimpan dan melestarikan aset digital institusi, termasuk literature yang tidak diterbitkan atau literatur yang mudah hilang (skripsi, tesis, laporan teknik).



4.      IR Perpustakaan UIN Sunan Kalijaga Yogyakarta
Perpustakaan UIN Sunan Kalijaga membuat repository untuk penyimpanan file-file digital, pada awalnya menggunakan software GDL (Ganesha Digital Library) 4.2 kemudian terbaru beralih pada software Eprints versi terbaru. Dengan menggunakan software Eprints tersebut diharapkan repositori ini mampu menyimpan hampir semua format digital, maka semua file-file digital dapat dia akses oleh publik. Sejak 2007, Perpustakaan ini berkomitmen untuk memudahkan akses ke koleksi digital yang dihasilkan civitas akademika UIN Sunan Kalijaga untuk masyarakat luas. Koleksi digital yang disediakan meliputi skripsi, tesis, disertasi, laporan penelitian, laporan PPL (Praktik Pengenalan Lapangan), dll. Di samping koleksi digital tugas-tugas yang dihasilkan mahasiswa tersebut, perpustakaan juga menyediakan artikel-artikel jurnal, prosiding, soal-soal ujian, dan informasi tentang UIN Sunan Kalijaga yang dihimpun dalam UINSIANA. Koleksi digital yang dihimpun tidak hanya dalam format teks, tetapi juga foto. Berikut akan merencanakan format audio dan video. Seluruh koleksi digital tersebut dikelola dengan menggunakan aplikasi GDL 4.2. Setelah tim teknologi perpustakaan  melakukan evaluasi terhadap beberapa kekurangan GDL, serta berbagai masukan dari pengguna perpustakaan digital UIN Sunan Kalijaga Yogyakarta, kemudian dilakukan migrasi dari GDL 4.2 ke aplikasi Eprint sejak bulan Mei 2012. Dengan adanya migrasi ini diharapkan dapat memberikan yang terbaik bagi para pengguna perpustakaan digital UIN Sunan Kalijaga. Dengan semangat berbagai sumber (reseorce sharing) antar perpustakaan demi pengembangan ilmu pengetahuan dan teknologi.
Pembangunan institutional repository (IR) UIN Sunan kalijaga telah dimulai sejak tahun 2008. Dengan penggunaan software Eprints sebagai system digital library di perpustakaan UIN Sunan kalijaga Yogyakarta memiliki berbagai macam keutamaan dalam menjalankan perannya diantaranya adalah memudahkan akses pada repositori yang terbuka, akses cepat, fulltext indexing, kapasitas tinggi, dukungan dari vendor, dukungan dari komunitas form-form (web-page) yang simpel serta mudah dipahami, sehingga penelusuran  informasi dapat dilakukan dengan mudah dan efektif.

5.      Evaluasi Recall dan Precission
Salah satu penerapan yang digunakan dalam prinsip evaluasi yang sejak dahulu digunakan dalam pengembangan sistem IR adalah penggunaan ukuran recall and precision. Sejak teori tentang IR berkembang di tahun 1940-an, para ilmuwan selalu memeras otak, bagaimana caranya membuat sistem IR yang benar-benar handal. Hal ini digunakan untuk mengukur keefektifan sebagai sistem IR dalam memenuhi permintaan informasi. Dan mengukur kemampuan sistem dalam menyediakan dokumen yang relevan dengan kebutuhan pemakai. Sehingga upaya yang dilakukan di sebuah perpusatkaan salah satunya menggunakan evaluasi dengan recall dan precision[27].
Menurut istilah recall digunakan dalam psikologi untuk menjelaskan proses mengingat yang dikerjakan otak manusia. Kata lain untuk recall dalam Bahasa Inggris adalah remember, recollect, remind. Di bidang IR, recall berkaitan dengan kemampuan menemukan kembali butir informasi yang sudah tersimpan. Sehingga dapat disimpulkan bahwa recall merupakan proporsi jumlah dokumen yang dapat ditemukan kembali oleh sebuah proses pencarian di sistem IR[28]. Adapun rumusnya adalah sebagai berikut:
Recall =
Jumlah dokumen relevan yang ditemukan
Jumlah semua dokumen relevan di dalam koleksi
Sedangkan precision dapat juga diartikan sebagai kepersisan atau kecocokan (antara permintaan informasi dengan jawaban terhadap permintaan itu). Jika seseorang mencari informasi di sebuah sistem, dan sistem yang menawarkan beberapa dokumen, maka kepersisan itu sebenarnya juga adalah relevansi. Artinya, seberapa persis atau cocok dokumen tersebut untuk keperluan pencari informasi, bergantung pada sebuah relevan dokumen tersebut. Sehingga dapat disimpulkan presecion adalah proporsi jumlah dokumen yang ditemukan dan dianggap relevan untuk kebutuhan si pencari informasi[29]. Rumusnya adalah sebagai berikut:
Precision  =
Jumlah dokumen relevan yang ditemukan
Jumlah semua dokumen yang ditemukan
Kedua ukuran di atas biasanya diberi nilai dalam bentuk persentase, 1 sampai 100%. Sebuah sistem informasiakan dianggap baik jika tingkat recall maupun precision-nya tinggi. Dalam perkembangan teori IR, ukuran dan eksperimen terhadap kinerja sebuah sistem semakin diupayakan untuk mengakomodasi berbagai kemungkinan dalam situasi yang sesungguhnya. Misalnya, Lancaster seperti yang dikutip oleh Putu Laxman Pendit[30] merumuskan matriks terkenal berikut ini sebagai ukuran recall dan precision:

Relevan
Tidak Relevan
Total
Ditemukan
a (hits)
b (noise)
a+b
Tidak ditemukan
c (misses)
d (rejected)
c+d
Total
a+c
b+d
a+b+c+d
Lalu, berdasarkan tabel tersebut, rumus recall-precision pun menjadi:
Recall              = [a/(a+b)] x 100
Precision         = [a/(a+b)] x 100
Lewat rumus ini kita dapat membayangkan bahwa sebuah sistem harus meningkatkan nilai a di rumus di atas (atau nilai hits). Nilai a yang besar ini dapat terjadi jika jumlah dokumen yang diberikan oleh sebuah sistem dalam sebuah pencarian juga besar. Semakin besar jumlah dokumen yang diberikan, semakin besar kemungkinan nilai a. Tetapi pada saat yang sama, muncul kemungkinan bahwa nilai b (atau jumlah dokumen yang tidak relevan) juga semakin besar. Ini artinya, nilai precision-nya semakin kecil. Dalam berbagai eksperimen ditemukan kenyataan bahwa bahwa nilai recall dan precision ini cenderung berlawanan alias terbalik. Jika recall tinggi, besar kemungkinannya precision rendah[31].
Ukuran recall-precision ini tentu saja sangat berkaitan dengan sistem pengindeksan. Hal ini dilakukan secara full-text dan dokumen yang diindeks berjumlag puluhan juta. Dalam kehidupan sehari-hari, ini terjadi ketika kita menggunakan mesin pencari Google di internet[32]. Misalnya kita memerlukan situs web tentang keadaan politik di Indonesia. Coba kita ketik kata “Indonesia” dan lihatlah berapa banyak dokumen yang diberikan Google kepada kita. Itulah cermin dati tingkat recall. Total dokumen yang terambil mungkin mencapai jutaan, dan jumlah dokumen yang relevan juga mungkin sangat besar. Namun besar pula jumlah noise (atau dokumen yang tidak relevan), sehingga tingkat precision pun menjadi rendah.
Bahwa ukuran recall-precision ini juga sangat bergantung pada apa yang sesungguhnya dimaksud dengan “dokumen yang relevan” itu dan bagaimana memastikan relevan-relevan sebuah dokumen. Perdebatan dan eksperimen tentang hal ini merupakan penggerak utama dari perkembangan ilmu informasi, dan menjadi topik paling penting dalam bidang IR, baik secara teoritis maupun praktis. Salah satu perkembangan yang cenderung mengkritik dan memperbaiki prinsip-prinsip recall-precision ini datang dari para ilmuwan dan peneliti yang berpendapat bahwa ukuran ideal sebuah sistem selama ini terlalu berpihak kepada mesin dan logika yang terlalu ketat[33].
Hal-hal di luar logika ketat recall-precision inilah yang kemudian membawa berbagai penelitian IR ke ranah-ranah luar psikologi, sosialisasi, dan bahkan ergonomi dalam pengembangan sistem informasi. Sebagai salah satu pilar teknologi utama dalam pengembangan perpustakaan digital, maka teori dan eksperimen IR pun sejak awal sudah menjadi bagian dari berbagai proyek. Dari sisi IR pula terjadi komunikasi yang lebih intensif antara “orang komputer” dan “orang perpustakaan”, sehingga secara sepintas kita dapat melihat bahwa sebenarnya IR lah yang membawa kedua profesi ini bertemu di bidang.
Adapun contoh evaluasinya di IR perpustakaan UIN Sunan Kalijga adalah penelusuran melalaui fasilitas simple search dengan menggunakan istilah subyek. penelusuran ini adalah metode yang paling sering digunakan oleh para penelusur karena tanpa membatasi gabungan antara frase pencarian. Evaluasi pada makalah ini menggunakan pendekatan precision. Penelusuran dengan menggunakan satu subyek tanpa menggunaan strategi pencarian, adapun subjek yang digunakan adalah “Difabel Netra”. Sehingga mendapatkan hasil sebagai berikut:
Pada pencarian ini mendapatkan hasil yang berjumlah 144, namun hasil temuan yang relevan sejumlah 3. Sehingga untuk hasil dari perhitungan precesionnya sejumlah 0,28%. Dengan rumus yang tertera di atas.

D.    KESIMPULAN
Intitutional repository bertujuan untuk mempermudah pengguna mengetahui koleksi ilmiah yang dimiliki oleh perguruan tinggi melalui perpustakaan. Namun, dalam pencarin IR di perpustakaan UIN Sunan Kalijaga hasil pencarian tidak sesuai dengan subyek yang dicari. Karena, sistem tidak memberikan temuan secara langsung terhadap subjek yang dicari. Kemudian, pada hasil temuannya subyek yang tidak dicari pun ikut muncul dalam tampilan hasilnya.

E.     DAFTAR PUSTAKA
Belkin, N.J., “Anomalous State of Knowledge as a Basis for Information Retrieval”, Canadian Journal of Information Sciences, 5, 1980, hlm. 133-143.

Lancaster, F.W., Information Retrieval Systems: Characteristics, Testing, and Evaluation, 2 nd Edition, New York: John Wiley, 1979.

Lasa HS, Kamus Kepustakawanan Indonesia, Yogyakarta: Pustaka Book Publisher, 2009.

Paryati dan Yosef Murya Kusuma Ardhana, Sistem Informasi, Yogyakarta: Ardana Media, 2007.

Putu Laxman Pendit, Perpustakaan Digital: dari A sampai Z, Jakarta: Cita Karyakarsa Mandiri, 2008.

Putu Laxman Pendit, Perpustakaan Digital: Kesinambungan & Dinamika, Jakarta: Cita Karyakarsa Mandiri, 2009.

Rowlands, Text Retrieval: an Introduction , London: Taylor Graham,1986.

Sanusi Sofyan, “Evaluasi Sarana Temu Kembali Informasi Perpustakaan Sekolah Tinggi Ilmu Ekonomi Islam Tazkia”, Jakarta: Fakultas Ilmu Pengetahuan Budaya Universitas Indonesia, 2008.

Suharmini Arikunto, Dasar-Dasar Evaluasi Pendidikan, Jakarta: Bumi Aksara, 2006.

Sulistyo-Basuki, “Ilmu Perpustakaan”, Diktat Matakuliah Perpustakaan Dan Informasi Dalam Masyarakat Global Pasca Sarjana UIN Sunan Kalijga Yogyakrta, hlm. 22.

____________, Pengantar Ilmu Perpustakaan, Jakarta: Gramedia Pustaka Utama, 1993.

Tague-Sutclife, J.M., “Some Perspective on the Evaluation of Information Retrieval System”, Journal of the American Society for Information Science, 47(1), 1996, hlm. 1-3.



[1] Sulistyo-Basuki, Pengantar Ilmu Perpustakaan (Jakarta: Gramedia Pustaka Utama, 1993), hlm. 51.
[2] Putu Laxman Pendit, Perpustakaan Digital: dari A sampai Z (Jakarta: Cita Karyakarsa Mandiri, 2008), hlm.69.
[3] Ibid., hlm. 69.
[4] Suharmini Arikunto, Dasar-Dasar Evaluasi Pendidikan (Jakarta: Bumi Aksara, 2006), hlm. 3.
[5] Sanusi Sofyan, “Evaluasi Sarana Temu Kembali Informasi Perpustakaan Sekolah Tinggi Ilmu Ekonomi Islam Tazkia” (Jakarta: Fakultas Ilmu Pengetahuan Budaya Universitas Indonesia, 2008).
[6] Paryati dan Yosef Murya Kusuma Ardhana, Sistem Informasi (Yogyakarta: Ardana Media, 2007), hlm. 1.
[7] Ibid.
[8] Ibid., hlm. 2.
[9] Ibid.
[10] Ibid.
[11] Lasa HS, Kamus Kepustakawanan Indonesia (Yogyakarta: Pustaka Book Publisher, 2009), hlm. 315.
[12] Putu Laxman Pendit, Perpustakaan Digital: dari A sampai Z..., hlm. 268-269.
[13] Belkin, N.J., “Anomalous State of Knowledge as a Basis for Information Retrieval”, Canadian Journal of Information Sciences, 5, 1980, hlm. 133-143.
[14] Lancaster, F.W., Information Retrieval Systems: Characteristics, Testing, and Evaluation, 2 nd Edition (New York: John Wiley, 1979).
[15] Ibid.
[16] Tague-Sutclife, J.M., “Some Perspective on the Evaluation of Information Retrieval System”, Journal of the American Society for Information Science, 47(1), 1996, hlm. 1-3.
[17] Rowlands, Text Retrieval: an Introduction  (London: Taylor Graham,1986)
[18] Putu Laxman Pendit, Perpustakaan Digital: Kesinambungan & Dinamika (Jakarta: Cita Karyakarsa Mandiri, 2009), hlm. 50.
[19] Ibid., hlm. 50.
[20] Ibid., hlm. 51.
[21] Ibid., hlm. 52.
[22] Ibid., hlm. 53
[23] Ibid.
[24] Ibid., hlm. 54.
[25] Putu Laxman Pendit, Perpustakaan Digital: dari A sampai Z..., hlm. 140-141.
[26] Sulistyo-Basuki, “Ilmu Perpustakaan”, Diktat Matakuliah Perpustakaan Dan Informasi Dalam Masyarakat Global Pasca Sarjana UIN Sunan Kalijga Yogyakrta, hlm. 22.

[27] Putu Laxman Pendit, Perpustakaan Digital: dari A sampai Z..., hlm. 257.
[28] Ibid.
[29] Ibid.
[30] Ibid., hlm. 258.
[31] Ibid., hlm. 258.
[32] Ibid.
[33] Ibid., hlm. 259.



Subscribe to Our Blog Updates!




Share this article!

Tidak ada komentar:

Posting Komentar

Return to top of page
Powered By Blogger | Design by Genesis Awesome | Blogger Template by Lord HTML