Minggu, 02 Juni 2013

EVALUASI


EVALUASI
Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas system yang dilakukan di dalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi sebaiknya dilakukan dengan mempertimbangkan semua tahapan siklus hidup desain.

A. Evaluasi Empiris
Empiris adalah segala informasi yang diperoleh melalui eksperimen, penelitian, atau observasi. Evaluasi empiris adalah proses penilaian dengan cara eksperimen, penelitian, atau observasi. Sedangkan data empiris merupakan data yang ditemukan atau disimpulkan dari sebuah eksperimen atau penelitian.

B. Perancangan Eksperimen
Merupakan metode klasik dengan pendekatan statistik. FaktoR eksperimental seperti :
             1.  Subjects : siapa merepresentasikan, ketercukupan contoh.
a)      Pemilihan subjek
b)      Harus setepat mungkin dengan keinginan user.
c)      Subjek yang dipilih harus sama usia dan tingkat pendidikannya sesuai dengan kelompok user yang dimaksud.
d)      Ukuran sample yang dipilih kebanyakan ditentukan dengan pertimbangan pragmatis, kehandalan user yang terbatas juga harus cukup besar untuk mewakili populasi yang diambil dalam eksperimen perancangan dan metode statistika yang dipilih.

2.      Variabel : Sesuatu untuk dimodifikasi dan ukuran
  • Variabel independen : Karakteristik suatu eksperimen manipulasi untuk menghasilkan kondisi yang berbeda sebagai perbandingan. Contoh : Jenis interface, level dari help, jumlah item menu dan perancangan ikon.
  • Variabel dependen : Variabel yang dapat diukur dalam eksperimen. Contoh variable independen adalah kecepatan dari pemilihan menu.

3.      Hipotesis : apa yang ingin ditunjukkan
  • Merupakan prediksi yang dihasilkan dalam eksperimen.
  • Masih menggunakan variable independen dan dependen akan menyebabkan perbedaan pada variable dependen.
  • Untuk menunjukkan bahwa perkiraan benar dengan menyangkal adanya hipotesis null yang menyatakan bahwa tidak ada perbedaan dalam variable.
  • Nilai hasil dapat dibandingkan dengan tingkat kepercayaan.
          
4.      Desain eksperimental : bagaimana cara melakukannya.
A. Between-Groups (Randomized)
  • Masing-masing subjek diberi kondisi yang berbeda
  • Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi
  • Kerugiannya adalah dengan semakin banyaknya jumlah subjek yang tersedia maka akan menyebabkan hasilnya berkurang dan perbedaan antar setiap individu akan membuat hasilnya menjadi bias.

B. Within-Groups
  • Setiap user akan menampilkan kondisi yang berbeda
  • Jumlah user yang tersedi lebih sedikit.


C. Partisipasi, IRB, & Etika

1. Partisipasi
Partisipasi dalam evaluasi berarti keikutsertaan dalam melakukan proses penilaian. Bentuk partisipasi yang nyata yaitu :

  • Partisipasi uang adalah bentuk partisipasi untuk memperlancar usaha-usaha bagi pencapaian kebutuhan penilaian yang memerlukan bantuan
  • Partisipasi harta benda adalah partisipasi dalam bentuk menyumbang harta benda, biasanya berupa alat-alat kerja atau perkakas
  • Partisipasi tenaga adalah partisipasi yang diberikan dalam bentuk tenaga untuk pelaksanaan usaha-usaha yang dapat menunjang keberhasilan suatu penilaian
  • Partisipasi keterampilan, yaitu memberikan dorongan melalui keterampilan yang dimilikinya kepada anggota masyarakat lain yang membutuhkannya


 2. IRB (Institutional Review Board)
Sebuah kelembagaan dewan peninjau ( IRB ), juga dikenal sebagai komite etika independen atau dewan peninjau etik , adalah panitia yang telah ditunjuk secara resmi untuk menyetujui, memantau, dan meninjau biomedis dan perilaku penelitian yang melibatkan manusia . Mereka sering melakukan beberapa bentuk analisis risiko dan manfaat dalam upaya untuk menentukan benar atau tidak penelitian harus dilakukan. Nomor satu prioritas IRB adalah untuk melindungi subyek manusia dari bahaya fisik atau psikologis.

3. Etika
Etika evaluasi terdiri dari 4 hal, yaitu:
a. Kerahasiaan hasil evaluasi
b. Keamanan evaluasi
c. Intepretasi hasil evaluasi
d. Penggunaan evaluasi

D. Pengumpulan Data
Pengumpulan data primer membutuhkan perancangan alat dan metode pengumpulan data
Metode pengumpulan data penelitian:
a. Observasi
b. Wawancara
c. Kuesioner (Daftar Pertanyaan)
d. Pengukuran Fisik
e. Percobaan Laboratorium

Semua metode mensyaratkan pencatatan yang detail, lengkap, teliti dan jelas

Untuk mencapai kelengkapan, ketelitian dan kejelasan data, pencatatan data harus dilengkapi dengan:
• Nama pengumpul data
• Tanggal dan waktu pengumpulan data
• Lokasi pengumpulan data
• Keterangan-keterangan tambahan data/istilah/responden


PENAHANAN KESALAHAN DAN HELP DOKUMENTASI


PENAHANAN KESALAHAN DAN HELP DOKUMENTASI
A. Jenis-jenis Kesalahan
A. Kesalahan acak adalah fluktuasi statistik (dalam kedua arah) pada ukuran data sebenarnya karena keterbatasan ketelitian alat pengukuran. Kesalahan acak bisa diperkirakan melalui analisis statistik dan bisa dikurangi dengan memperbanyak pengamatan.
B. Kesalahan sistematis adalah ketidakakuratan hasil secara tetap pada arah yang sama. Kesalahan ini sulit dideteksi dan tidak bisa di analisis statistik. Jika kesalahan sistematis diidentifikasi ketika mengkalibrasi lagi sebuah standar, menerapkan koreksi atau faktor koreksi untuk mengimbangi efek yang bisa mengurangi ketidakseimbangan. Tidak seperti pada kesalahan acak, kesalahan sistematis tidak bisa dideteksi atau dikurangi dengan meningkatkan jumlah pengamatan.

B. Petunjuk Pencegahan Kesalahan
Ada beberapa cara untuk mencegah terjadinya kesalahan, yaitu:
A.    Menghapus mode-mode atau menyediakan petunjuk yang terlihat untuk mode-mode   
        tersebut.
B.     Gunakan teknik koding yang baik (warna, gaya).
C.     Memaksimalkan pengenalan, mengurangi hafalan.
D.    Merancang urutan gerak atau perintah yang tidak sama.
E.     Mengurangi kebutuhan untuk mengetik.
F.     Memungkinkan pertimbangan ulang aksi-aksi yang dilakukan oleh user, misalnya
        memindahkan file dari recycle bin.

C. Petunjuk Memperbaiki Kesalahan
Jika kesalahan sudah tak sengaja terjadi, maka cara untuk memperbaikiya adalah:
·         Menyediakan tipe-tipe tanggapan yang sesuai.
·         Query: bertanya pada user apa yang sudah dilakukan, kemudian melegalkan tindakan
          yang salah.
·         Menyediakan fungsi “undo” dan pembatalan dari proses yang sedang berjalan.
·         Meminta konfirmasi untuk perintah yang drastis dan bersifat merusak.
·         Menyediakan pengecekan yang beralasan pada masukan data.
·         Mengembalikan kursor ke area kesalahan, memungkinkan untuk melakukan
          perbaikan.
·         Menyediakan beberapa kecerdasan buatan.
·         Menyediakan akses cepat kepada bantuan untuk konteks-sensitif.

D. Jenis-jenis dokumen dan alat bantu

1.      Dokumen Menurut Ketajaman Analisis
·    Dokumen Primer, dokumen yang disiapkan oleh pengarangnya, berisi mengenai penelitian yang dilakukan sendiri (misalnya: artikel majalah ilmiah/jurnal, laporan penelitian, paten, disertasi, makalah lokakarya, dan kartu informasi.
·    Dokumen Sekunder, dokumen yang berisi informasi mengenai dokumen primer (dokumen yang mengacu ke dokumen primer, karena isinya merupakan deskripsi dan informasi tentang dokumen primer (misalnya: bibliografi, katalog, majalah indeks, majalah abstrak dan daftar isi).
·    Dokumen Tesier, dokumen yang berisi informasi mengenai dokumen sekunder (dokumen yang mengumpulkan, menyarikan dan memindahkan informasi yang semula ada pada dokumen sekunder dan terkadang dokumen primer yang kemudian diolah sesuai dengan kepentingan pemakai atau pembaca (misalnya: buku ajar, direktori serta panduan literature bibliografi dari bibliografi).

2.      Dokumen Grey Literature
Grey Literature = literatur kelabu = unconventional literature = non conventional literature = literatur nonkomersial, jenis dokumen yang sukar atau tidak mungkin ditemukan di pasaran bahkan perpustakaan (atau perpustakaan tidak semua memiliki), misalnya: prosiding seminar, laporan penelitian, disertasi, naskah-naskah kerjasama, kertas kerja pertemuan ilmiah/seminar, terbitan peerintah. Hal ini dikarenakan jumlah cetakan/terbitannya sangat terbatas. Untuk bisa mendapatkan grey literature, perpustakaan harus memiliki hubungan yang baik dengan suatu lembaga/instansi.

2. Alat Bantu
 Alat – alat bantu pencarian informasi dalam dokumen antara lain :

- indeks : daftar penulis, daftar judul, daftar tabel, daftar gambar, daftar kata-kata kunci, dll
- konkordansi : daftar kata – kata dengan penunjuk ke baris tertentu yang memunculkannya
- thesaurus : daftar sinonim dan istilah – istilah yang lebih luas maupun lebih sempit
- daftar isi : isi dokumen secara garis besar.

Sumber :