Emergent
Effects in Multimodal Feedback from Virtual Buttons
ADAM
FAETH, Iowa State University. CHRIS HARDING, Iowa State University.
http://dx.doi.org/10.1145/2535923.
The
continued advancement in computer interfaces to support 3D tasks requires a better
understanding of how users will interact with 3D user interfaces in a virtual
workspace. This article presents two studies that investigated the effect of
visual, auditory, and haptic sensory feedback modalities presented by a virtual
button in a 3D environment on task performance (time on task and task errors)
and user rating. Although we expected task performance to improve for
conditions that combined two or three feedback modalities over a single
modality, we instead found a significant emergent behavior that decreased
performance in the trimodal condition. We found a significant increase in the
number of presses when a user released the button before closing the virtual
switch, suggesting that the combined visual, auditory, and haptic feedback led
participants to prematurely believe they actuated a button. This suggests that
in the design of virtual buttons, considering the effect of each feedback
modality independently is not sufficient to predict performance, and unexpected
effects may emerge when feedback modalities are combined. Categories and
Subject Descriptors: H.5.2 [Information Interfaces and Presentation]:
User Interfaces—Haptic I/O. General Terms: Design, Experimentation,
Human Factors Additional KeyWords and Phrases: Virtual buttons, multimodal
feedback, haptic force feedback, evaluation, performance.
Pengkaji:
Muhamad Indrawan (G64120074)
Ulasan/Kajian:
Artikel ini menyajikan dua studi yang
menyelidiki efek visual, pendengaran, dan haptic modalitas umpan balik sensoris
yang disajikan oleh tombol virtual dalam lingkungan 3D pada kinerja tugas (waktu
dan kesalahan) dan user rating.
Gabungan visual, auditori, dan haptic umpan
balik yang dipimpin peserta untuk percaya bahwa mereka digerakkan
tombol. Hal ini menunjukkan bahwa dalam desain tombol virtual,
mempertimbangkan efek dari masing-masing modalitas umpan balik tidak cukup
secara independen untuk memprediksi kinerja, dan efek tak terduga yang mungkin muncul ketika modalitas
tanggapan digabungkan. Tombol virtual memiliki potensi untuk menciptakan
interaksi yang lebih ekspresif; umpan balik
tidak dibatasi oleh desain mekanik dan tombol dapat menyesuaikan dalam
menanggapi
lingkungan. Tombol virtual merupakan
komponen penting dari user interface yang mendukung di berbagai bidang. Meskipun
manipulasi langsung dan antarmuka gestural sesuai untuk beberapa bidang di
ruang kerja 3D, virtual tombol memiliki keunggulan dalam discoverability dan
affordance yang melengkapi interface alami. Interaksinya tidak hanya satu tujuan, tapi
bisa bermacam-macam tujuan, seperti unimodal (hanya satu sentuhan) dalam
perkembangannya bisa banyak modal (sentuhan) namun dengan teknologi yang lebih
canggih. Namun,
sebelum mulai merancang interaksi yang lebih ekspresif, kita harus terlebih
dahulu memahami
bagaimana tombol virtual berkomunikasi kepada pengguna. Ada tiga bidang
virtual yaitu keyboard, layar sentuh, dan umpan balik multi modal. Jika
dibandingkan kalo kita mengetik antara keyboard dengan layar sentuh itu berbeda,
yang dapat mengakibatkan beberapa kesalahan dalam mengetik pada layar sentuh.
Karena masalah itu, dijadikanlah efek timbal balik yaitu dengan audio dan
vibrate. Multimodal
memiliki kelebihan dan kekurangan. Kelebihannya adalah interaksi multimodal
dapat mengurangi kesalahan dan membantu pengguna pulih dari kesalahan, serta mengurangi beban kerja
fisiologis.
Lalu kekurangannya adalah dapat membingungkan pengguna karena umpan balik dari
target yang tumpang tindih. Kita kaji kembali kalau mobilitas yang diberikan ke terlalu
banyak (rangsangannya) hal tersebut dapat menimbulkan efek ketidakstabilan dan
yang paling parah dapat menimbulkan efek penundaan yang tidak teratur. Para peneliti juga
mengamati efek di mana salah satu modalitas mempengaruhi persepsi modalitas lain. Contohnya
yaitu persepsi visual mempengaruhi persepsi audio diucapkan. Ada empat
peristiwa yang membentuk tombol tekan
(feedback): sentuhan, aktuasi, deactuasi, dan rilis. Tombol yang kami gunakan
dalam penelitian ini memberikan umpan balik dalam pendengaran, sentuhan, gerakkan,
dan peristiwa serta menggunakan tombol nomor untuk menelepon. Transisi
antara sentuhan dan aktuasi penting karena memungkinkan pengguna untuk merasa
tombol tanpa memicu suatu peristiwa aktuasi atau membuat koreksi ia keliru
mulai menekan tombol yang salah. Ada tiga komponen penilaian yang dilakukan
kepada peserta dalam penelitian ini yaitu tugas waktu penyelesaian, jumlah kesalahan
yang dibuat saat menekan, dan rating subjektif umpan balik tombol dari peserta.
Waktu
penyelesaian tugas diukur dari waktu peserta pertama menyentuh tombol apapun
pada keypad sampai waktu ia merilis tombol terakhir pada keypad. Selama setiap penugasan, peneliti juga menghitung
berapa kali pengguna menyentuh dan merilis tombol. Untuk menghitung
ukuran kesalahan keseluruhan, peneliti juga menggunakan algoritma string
Wagner-Fisher match- untuk membandingkan nomor telepon yang
ditetapkan dengan angka yang dimasukkan oleh peserta. Peserta mencatat rating
Likert pada keypad virtual lain yang menggunakan kombinasi yang
sama dari modalitas umpan balik sebagai tugas. Peneliti juga
menggunakan kekuatan/posisi mentransfer fungsi untuk menghasilkan sensasi klik
untuk umpan balik haptic. Perlu dicatat bahwa peserta hanya melihat nomor
telepon benar-benar keluar setelah menyelesaikan tugas dan setelah mereka memberikan
peringkat subjektif umpan balik. Lalu, penelitian ini tidak menunjukkan
jumlah keluar sebagian yang sementara peserta dipanggil. Oleh karena itu,
hal ini memastikan peserta menerima umpan balik hanya langsung dari tombol
sendiri dan bukan dari sumber tambahan seperti jumlah sebagian yang ditampilkan pada
monitor. Namun, studi percontohan terkena dua masalah yang peneliti tangani
sebelum melakukan pembelajaran penuh. Masalah pertama adalah bahwa model yang
mewakili stylus PHANTOM di virtual lingkungan diberikan kemampuan untuk menekan
tombol dengan silinder, tapi memaksa umpan balik hanya dihitung pada ujung
silinder. Masalah kedua adalah jenis tombol umpan balik yang digunakan saat
merekam respon pada skala Likert. Peneliti memutuskan bahwa peserta harus
tetap satu tangan pada stylus PHANTOM untuk meminimalkan gangguan aliran selama
penelitian.
