Resume Jurnal THT 3 - Emergent Effects in Multimodal Feedback from Virtual Buttons

Emergent Effects in Multimodal Feedback from Virtual Buttons

ADAM FAETH, Iowa State University. CHRIS HARDING, Iowa State University.

http://dx.doi.org/10.1145/2535923.

The continued advancement in computer interfaces to support 3D tasks requires a better understanding of how users will interact with 3D user interfaces in a virtual workspace. This article presents two studies that investigated the effect of visual, auditory, and haptic sensory feedback modalities presented by a virtual button in a 3D environment on task performance (time on task and task errors) and user rating. Although we expected task performance to improve for conditions that combined two or three feedback modalities over a single modality, we instead found a significant emergent behavior that decreased performance in the trimodal condition. We found a significant increase in the number of presses when a user released the button before closing the virtual switch, suggesting that the combined visual, auditory, and haptic feedback led participants to prematurely believe they actuated a button. This suggests that in the design of virtual buttons, considering the effect of each feedback modality independently is not sufficient to predict performance, and unexpected effects may emerge when feedback modalities are combined. Categories and Subject Descriptors: H.5.2 [Information Interfaces and Presentation]: User Interfaces—Haptic I/O. General Terms: Design, Experimentation, Human Factors Additional KeyWords and Phrases: Virtual buttons, multimodal feedback, haptic force feedback, evaluation, performance.

Pengkaji: Muhamad Indrawan (G64120074)

Ulasan/Kajian:

Artikel ini menyajikan dua studi yang menyelidiki efek visual, pendengaran, dan haptic modalitas umpan balik sensoris yang disajikan oleh tombol virtual dalam lingkungan 3D pada kinerja tugas (waktu dan kesalahan) dan user rating.

Gabungan visual, auditori, dan haptic umpan balik yang dipimpin peserta untuk percaya bahwa mereka digerakkan tombol. Hal ini menunjukkan bahwa dalam desain tombol virtual, mempertimbangkan efek dari masing-masing modalitas umpan balik tidak cukup secara independen untuk memprediksi kinerja, dan efek tak terduga yang mungkin muncul ketika modalitas tanggapan digabungkan. Tombol virtual memiliki potensi untuk menciptakan interaksi yang lebih ekspresif; umpan balik tidak dibatasi oleh desain mekanik dan tombol dapat menyesuaikan dalam menanggapi

lingkungan. Tombol virtual merupakan komponen penting dari user interface yang mendukung di berbagai bidang. Meskipun manipulasi langsung dan antarmuka gestural sesuai untuk beberapa bidang di ruang kerja 3D, virtual tombol memiliki keunggulan dalam discoverability dan affordance yang melengkapi interface alami. Interaksinya tidak hanya satu tujuan, tapi bisa bermacam-macam tujuan, seperti unimodal (hanya satu sentuhan) dalam perkembangannya bisa banyak modal (sentuhan) namun dengan teknologi yang lebih canggih. Namun, sebelum mulai merancang interaksi yang lebih ekspresif, kita harus terlebih dahulu memahami bagaimana tombol virtual berkomunikasi kepada pengguna. Ada tiga bidang virtual yaitu keyboard, layar sentuh, dan umpan balik multi modal. Jika dibandingkan kalo kita mengetik antara keyboard dengan layar sentuh itu berbeda, yang dapat mengakibatkan beberapa kesalahan dalam mengetik pada layar sentuh. Karena masalah itu, dijadikanlah efek timbal balik yaitu dengan audio dan vibrate. Multimodal memiliki kelebihan dan kekurangan. Kelebihannya adalah interaksi multimodal dapat mengurangi kesalahan dan membantu pengguna pulih dari kesalahan, serta mengurangi beban kerja fisiologis. Lalu kekurangannya adalah dapat membingungkan pengguna karena umpan balik dari target yang tumpang tindih. Kita kaji kembali kalau mobilitas yang diberikan ke terlalu banyak (rangsangannya) hal tersebut dapat menimbulkan efek ketidakstabilan dan yang paling parah dapat menimbulkan efek penundaan yang tidak teratur. Para peneliti juga mengamati efek di mana salah satu modalitas mempengaruhi persepsi modalitas lain. Contohnya yaitu persepsi visual mempengaruhi persepsi audio diucapkan. Ada empat peristiwa  yang membentuk tombol tekan (feedback): sentuhan, aktuasi, deactuasi, dan rilis. Tombol yang kami gunakan dalam penelitian ini memberikan umpan balik dalam pendengaran, sentuhan, gerakkan, dan peristiwa serta menggunakan tombol nomor untuk menelepon. Transisi antara sentuhan dan aktuasi penting karena memungkinkan pengguna untuk merasa tombol tanpa memicu suatu peristiwa aktuasi atau membuat koreksi ia keliru mulai menekan tombol yang salah. Ada tiga komponen penilaian yang dilakukan kepada peserta dalam penelitian ini yaitu tugas waktu penyelesaian, jumlah kesalahan yang dibuat saat menekan, dan rating subjektif umpan balik tombol dari peserta. Waktu penyelesaian tugas diukur dari waktu peserta pertama menyentuh tombol apapun pada keypad sampai waktu ia merilis tombol terakhir pada keypad. Selama setiap penugasan, peneliti juga menghitung berapa kali pengguna menyentuh dan merilis tombol. Untuk menghitung ukuran kesalahan keseluruhan, peneliti juga menggunakan algoritma string Wagner-Fisher match- untuk membandingkan nomor telepon yang ditetapkan dengan angka yang dimasukkan oleh peserta. Peserta mencatat rating Likert pada keypad virtual lain yang menggunakan kombinasi yang sama dari modalitas umpan balik sebagai tugas. Peneliti juga menggunakan kekuatan/posisi mentransfer fungsi untuk menghasilkan sensasi klik untuk umpan balik haptic. Perlu dicatat bahwa peserta hanya melihat nomor telepon benar-benar keluar setelah menyelesaikan tugas dan setelah mereka memberikan peringkat subjektif umpan balik. Lalu, penelitian ini tidak menunjukkan jumlah keluar sebagian yang sementara peserta dipanggil. Oleh karena itu, hal ini memastikan peserta menerima umpan balik hanya langsung dari tombol sendiri dan bukan dari sumber tambahan seperti jumlah sebagian yang ditampilkan pada monitor. Namun, studi percontohan terkena dua masalah yang peneliti tangani sebelum melakukan pembelajaran penuh. Masalah pertama adalah bahwa model yang mewakili stylus PHANTOM di virtual lingkungan diberikan kemampuan untuk menekan tombol dengan silinder, tapi memaksa umpan balik hanya dihitung pada ujung silinder. Masalah kedua adalah jenis tombol umpan balik yang digunakan saat merekam respon pada skala Likert. Peneliti memutuskan bahwa peserta harus tetap satu tangan pada stylus PHANTOM untuk meminimalkan gangguan aliran selama penelitian.