Scaling Question Answering to the Web

Scaling Question Answering to the Web Cody C. T. Kwok University of Washington Seattle, WA, USA ctkwok@cs. washington.edu Oren Etzioni University of Washington Seattle, WA, USA etzioni@cs. washington.edu Daniel S. Weld University of Washington Seattle, WA, USA weld@cs.washington.edu ABSTRACT Ì Û ÐØ Ó Ò ÓÖÑ Ø ÓÒ ÓÒ Ø Û Ñ Ø Ò Ø¹ ØÖ Ø Ú Ö ÓÙÖ ÓÖ Ò ÕÙ Ò Û Ö ØÓ ÑÔÐ ØÙ Ð ÕÙ Ø ÓÒ Ù Û ÓÛ Ø Ö Ø Ñ Ö Ò Ò Ô ÓÖ Û Ø Ø ÓÒ Ø ÐÐ Ø ÑÓÙÒØ Ò Ò Ø ÛÓÖÐ Ø ØÓ Ý³ ÑÓ Ø Ú Ò Û Ö ÖÚ º º ÓÓ Ð Ò Â Ú µ Ñ Ø ÙÖÔÖ Ò ÐÝ Ø ¹ ÓÙ ØÓ ÐÓ Ø Ò Û Ö ØÓ Ù ÕÙ Ø ÓÒ º ÁÒ Ø Ô Ô Ö Û ÜØ Ò ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ø Ò ÕÙ Ö Ø ØÙ Ò Ø Ò ÓÖÑ Ø ÓÒ Ö ØÖ Ú Ð Ð Ø Ö ØÙÖ ØÓ Ø Û Ò ÜÔ Ö Ñ ÒØ ÐÐÝ Ú ÐÙ Ø Ø Ö Ô Ö ÓÖÑ Ò º Ö Ø Û ÒØÖÓ Ù ÅÙÐ Ö Û Û Ð Ú ØÓ Ø Ö Ø Ò Ö Ð¹ÔÙÖÔÓ ÙÐÐݹ ÙØÓÑ Ø ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ý Ø Ñ Ú Ð Ð ÓÒ Ø Û º Ë ÓÒ Û ¹ Ö ÅÙÐ Ö³ Ö Ø ØÙÖ Û Ö Ð ÓÒ ÑÙÐØ ÔÐ Ö ¹ Ò Ò ÕÙ Ö Ò ØÙÖ Ð¹Ð Ò Ù Ô Ö Ò Ò ÒÓÚ Ð ÚÓØ Ò ÔÖÓ ÙÖ ØÓ Ý Ð Ö Ð Ð Ò Û Ö ÓÙÔÐ Û Ø Ö Ðк Ò ÐÐÝ Û ÓÑÔ Ö ÅÙÐ Ö³ Ô Ö¹ ÓÖÑ Ò ØÓ Ø Ø Ó ÓÓ Ð Ò Â Ú ÓÒ ÕÙ Ø ÓÒ Ö ÛÒ ÖÓÑ Ø ÌÊ ¹ ÕÙ Ø ÓÒ ØÖ º Ï Ò Ø Ø ÅÙÐ Ö³ Ö ÐÐ ÑÓÖ Ø Ò ØÓÖ Ó Ø Ö Ö Ø Ò Ø Ø Ó Â Ú º ÁÒ Ø ÓÒ Û Ò Ø Ø ÓÓ Ð Ö ÕÙ Ö º Ø Ñ ÑÙ Ù Ö «ÓÖØ ØÓ Ú Ø Ñ Ð Ú Ð Ó Ö ÐÐ ÅÙÐ Öº 1. INTRODUCTION Ï Ð Û Ö Ò Ò Ò Ö ØÓÖ Ú Ñ ÑÔÓÖØ ÒØ ØÖ Ò Ö ÒØ Ý Ö Ø ÔÖÓ Ð Ñ Ó ¹ ÒØÐÝ ÐÓ Ø Ò Ò ÓÖÑ Ø ÓÒ ÓÒ Ø Û Ö ÖÓÑ ÓÐÚ º Ì Ô Ô Ö ÑÔ Ö ÐÐÝ ÒÚ Ø Ø Ø ÔÖÓ ¹ Ð Ñ Ó Ð Ò ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ø Ò ÕÙ ØÙ Ò Ø Ò ÓÖÑ Ø ÓÒ Ö ØÖ Ú Ð Ò Ò ÓÖÑ Ø ÓÒ ÜØÖ Ø ÓÒ Ð Ø Ö ØÙÖ ½ ½ ØÓ Ø Û º Ò Ø Ø Ò ÕÙ ÔÖ Ú ÓÙ ÐÝ ÜÔÐÓÖ Ò Ø ÓÒØ ÜØ Ó ÑÙ Ñ ÐÐ Ö Ò ÑÓÖ Ö ÙÐÐÝ ØÖÙØÙÖ ÓÖÔÓÖ ÜØ Ò ØÓ Ø Û Ï ÐÐ ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ý Ø Ñ Ý Ð Ò Ø Û Ò ÓÑÔ Ö ØÓ ÙØØ Ò ¹ ÓÑÑ Ö Ð Ö Ò¹ Ò Ù ÓÓ Ð ½ ÇÙÖ ÓÙ ÓÒ ØÙ Ð ÕÙ Ø ÓÒ Ù Û Ø Ø ÓÒ Ø ÐÐ Ø ÑÓÙÒØ Ò Ò Ø ÛÓÖÐ ÓÖ Û Ó Û Ø Ö Ø Ñ Ö Ò Ò Ô Ï Ð Ø Ô Ó ÕÙ Ø ÓÒ Ö ÔÖ ÒØ ÓÒÐÝ Ð Ñ Ø Ù Ø Ó Ø ÕÙ Ö ÔÓ ØÓ Û Ö Ò Ò Ø ÔÖ ÒØ Ø ÓÔÔÓÖØÙÒ ØÝ ØÓ Ù Ø ÒØ ÐÐÝ Ö Ù Ø ÑÓÙÒØ Ó Ù Ö «ÓÖØ Ö ÕÙ Ö ØÓ Ò Ø Ò Û Öº ÁÒ Ø Ó ÓÖ Ò Ø Ù Ö ØÓ Ø Ø ÖÓÙ Ð Ø Ö Ò Ò Ò ÔÔ Ø Ò Ö Ø ÖÓÙ ÑÙÐØ ÔÐ Û Ô ÔÓØ ÒØ ÐÐÝ ÓÒØ Ò Ò Ø Ò Û Ö ÓÙÖ Ó Ð ØÓ Ú ÐÓÔ Ý Ø Ñ Ø Ø ÓÒ ÐÝ Ò Û Ö Ã¹¾ ÓÖ Ð Ò Ë Ô Ö ÐÓÒ Û Ø Ø ÔÔÖÓÔÖ Ø Ù Ø Ø ÓÒµ Ò Ö ÔÓÒ ØÓ Ø ÓÚ ÕÙ Ø ÓÒ º Ø Ô ØÓÛ Ö Ø Ó Ð Ø Ô Ô Ö ÒØÖÓ¹ Ù Ø ÅÙÐ Ö Û ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ý Ø Ñº Ï Ð Ú Ø Ø ÅÙÐ Ö Ø Ö Ø Ò Ö Ð¹ÔÙÖÔÓ ÙÐÐݹ ÙØÓÑ Ø ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ý Ø Ñ Ú Ð Ð ÓÒ Ø Û º ¾ Ì ÓÑÑ Ö Ð Ö Ò Ò ÒÓÛÒ Â Ú Ö ÔÓÒ ØÓ Ò ØÙÖ Ð¹Ð Ò Ù ÕÙ Ø ÓÒ ÙØ Ø Ö ÐÐ Ú ÖÝ Ð Ñ Ø Ë Ø ÓÒ µ Ù Ø Ò Ø Ø Ø ÒÓØ ÙÐÐÝ ÙØÓÑ Ø º ÌÓ Ú Ø ÖÓ ÓÔ ÅÙÐ Ö ÙØÓÑ Ø ÐÐÝ Ù Ñ Ø ÑÙÐØ ÔÐ ÕÙ Ö ÓÒ Ø Ù Ö³ Ð ØÓ Ö Ò Ò ÓÓ Ð µ Ò ÜØÖ Ø Ø Ò Û Ö ÖÓÑ Ø Ò¹ Ò ³ ÓÙØÔÙغ Ì Ù ÅÙÐ Ö Ò Ò ÓÖÑ Ø ÓÒ Ö¹ Ò ÚÓÖ Ò Ø Ò Ö Ò ½ º ÅÙÐ Ö ÙØ Ð Þ Ú Ö Ð Ò ØÙÖ Ð¹Ð Ò Ù Ô Ö Ö Ò ÙÖ Ø Ò ÓÖ Ö ØÓ Ö ØÙÖÒ ¹ÕÙ Ð ØÝ Ò Û Ö º Ì Ö Ñ Ò Ö Ó Ø Ô Ô Ö ÓÖ Ò Þ ÓÐÐÓÛ º Ë Ø ÓÒ ¾ ÔÖÓÚ ÖÓÙÒ Ò ÓÖÑ Ø ÓÒ ÓÒ ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ý Ø Ñ Ò ÓÒ Ö Ø Ö ÕÙ Ö Ñ ÒØ ÓÖ Ð Ò Ø Ð Ó Ý Ø Ñ ØÓ Ø Û º Ë Ø ÓÒ ¹ Ö ÅÙÐ Ö Ò Ø Ö Ø ØÙÖ º Ë Ø ÓÒ Óѹ Ô Ö ÅÙÐ Ö³ Ô Ö ÓÖÑ Ò ÜÔ Ö Ñ ÒØ ÐÐÝ Û Ø Ø Ø Ó Â Ú Ò ÓÓ Ð Ò Ð Ó Ò ÐÝÞ Ø ÓÒ¹ ØÖ ÙØ ÓÒ Ó Ó ÅÙÐ Ö³ Ý ÓÑÔÓÒ ÒØ ØÓ Ø Ô Ö ÓÖÑ Ò º Ï ÓÒÐÙ Û Ø Ù ÓÒ Ó Ö Ð Ø Ò ÙØÙÖ ÛÓÖ º 2. BACKGROUND ÕÙ Ø ÓÒ Ò Û Ö Ò É µ Ý Ø Ñ ÔÖÓÚ Ö Ø Ò¹ Û Ö ØÓ Ù Ö ÕÙ Ø ÓÒ Ý ÓÒ ÙÐØ Ò Ø ÒÓÛÐ º Ë Ò Ø ÖÐÝ Ý Ó ÖØ Ð ÒØ ÐÐ Ò Ò Ø ¼³ Copyright is held by the author/owner. WWW10, May 1-5, 2001, Hong Kong. ACM 1-58113-348-0/01/0005. ½ ØØÔ»»ÛÛÛº ÓÓ Ð ºÓÑ ¾ Ë ØØÔ»»ÑÙÐ ÖºÜ ÓÖ ÔÖÓØÓØÝÔ ØØÔ»»ÛÛÛº ºÓÑ 150

Ö Ö Ö Ú Ò Ò Ø Û Ø Ò Û Ö Ò Ò ØÙÖ Ð Ð Ò Ù ÕÙ Ø ÓÒ º ÀÓÛ Ú Ö Ø ÆÙÐØÝ Ó Ò ØÙÖ Ð Ð Ò Ù ÔÖÓ Ò ÆÄȵ Ð Ñ Ø Ø ÓÔ Ó É ØÓ ÓÑ Ò¹ Ô ÜÔ ÖØ Ý Ø Ñ º ÁÒ Ö ÒØ Ý Ö Ø ÓÑ Ò Ø ÓÒ Ó Û ÖÓÛØ Ñ¹ ÔÖÓÚ Ñ ÒØ Ò Ò ÓÖÑ Ø ÓÒ Ø ÒÓÐÓ Ý Ò Ø ÜÔÐÓ Ú Ñ Ò ÓÖ ØØ Ö Ò ÓÖÑ Ø ÓÒ Ö Ò Ø Ø ÒØ Ö Ø Ò É Ý Ø Ñ º Ì Ú Ð Ð ØÝ Ó Ù Ó¹ ÙÑ ÒØ ÓÐÐ Ø ÓÒ º º Ø Û Ø Ð µ ÓÑ Ò Û Ø ÑÔÖÓÚ Ñ ÒØ Ò Ò ÓÖÑ Ø ÓÒ Ö ØÖ Ú Ð Áʵ Ò ÆÄÈ Ø Ò ÕÙ ØØÖ Ø Ø Ú ÐÓÔÑ ÒØ Ó Ô Ð Ð Ó É Ý Ø Ñ Ø Ø Ò Û Ö Ò ØÙÖ Ð Ð Ò Ù ÕÙ ¹ Ø ÓÒ Ý ÓÒ ÙÐØ Ò Ö ÔÓ ØÓÖÝ Ó ÓÙÑ ÒØ ½ º Ì ÀÓÐÝ Ö Ð ÓÖ Ø Ý Ø Ñ Ó ÓÙÖ Ò Û Ö Ò ÕÙ Ø ÓÒ ÓÚ Ö Ø Û º É Ý Ø Ñ ÙØ Ð Þ Ò Ø Ö ¹ ÓÙÖ Ø ÔÓØ ÒØ Ð ØÓ Ò Û Ö ÕÙ Ø ÓÒ Ó Û Ú Ö ØÝ Ó ØÓÔ Ò Û ÐÐ ÓÒ Ø ÒØÐÝ ÔØ ÙÔ¹ØÓ¹ Ø Û Ø Ø Û Ø Ð º Ì Ö ÓÖ Ø Ñ Ò ØÓ Ù Ð É Ý Ø Ñ Ø Ø Ò Ð ÙÔ ØÓ Ø Û º ÁÒ Ø ÓÐÐÓÛ Ò Ø ÓÒ Û ÐÓÓ Ø Ø Ò ØÓÑÝ Ó É Ý Ø Ñ Ò Û Ø ÐÐ Ò Ø Û ÔÓ ÓÖ Ø Ñº Ï Ø Ò Ò Û Ø Ö ÕÙ Ö Ó Û ¹ É Ý Ø Ñº 2.1 Components of a QA system Ò ÙØÓÑ Ø É Ý Ø Ñ ÓÒ ÓÙÑ ÒØ Óй Ð Ø ÓÒ ØÝÔ ÐÐÝ Ø Ö Ñ Ò ÓÑÔÓÒ ÒØ º Ì Ö Ø Ö ØÖ Ú Ð Ò Ò Ø Ø Ø ÓÒ ØÓÔ Ó Ø ÓÙÑ ÒØ ÓÐÐ Ø ÓÒ Ò Ò Ð Ö ØÖ Ú Ð Ö ÕÙ Ø º ÁÒ Ø ÓÒ¹ Ø ÜØ Ó Û Ø Ö Ò Ò Ø Ø Ò Ü Û Ô º Ì ÓÒ ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ Ñ Ò Ñ Ø Ø ØÖ Ò Ð Ø Ò ØÙÖ Ð¹Ð Ò Ù ÕÙ Ø ÓÒ ÒØÓ ÕÙ Ö ÓÖ Ø ÁÊ Ò Ò Ò ÓÖ Ö ØÓ Ö ØÖ Ú Ö Ð Ú ÒØ ÓÙÑ ÒØ ÖÓÑ Ø ÓÐÐ Ø ÓÒ º º ÓÙÑ ÒØ Ø Ø Ò ÔÓØ ÒØ ÐÐÝ Ò Û Ö Ø ÕÙ Ø ÓÒº Ì Ø Ö ÓÑÔÓÒ ÒØ Ò Û Ö Ü¹ ØÖ Ø ÓÒ Ò ÐÝÞ Ø ÓÙÑ ÒØ Ò ÜØÖ Ø Ò Û Ö ÖÓÑ Ø Ñº 2.2 Challenges of the Web ÐØ ÓÙ Ø Û ÙÐÐ Ó Ò ÓÖÑ Ø ÓÒ Ò Ò Ø Ø ÓÑ Ø Ñ Ö Ñ Ð Ô Ò Ò Ð ÖÓÑ Ý Ø º Ì ÓÐÐÓÛ Ò Ö Ô ÐÐ Ò Ó Ø Û ØÓ Ò ÙØÓÑ Ø É Ý Ø Ñ ÓÖÑ Ò Ø Ö Ø ÕÙ Ö º Ú Ò ÕÙ Ø ÓÒ ØÖ Ò Ð Ø Ò Ø ÒØÓ Ö Ò Ò ÕÙ ÖÝ ÒÓØ ØÖ Ú Ð Ø º Á Ø ÕÙ ÖÝ ØÓÓ Ò Ö Ð ØÓÓ Ñ ÒÝ ÓÙÑ ÒØ Ñ Ý Ö ØÖ Ú Ò Ø Ý Ø Ñ ÛÓÙÐ ÒÓØ Ú ÒÓÙ Ö ÓÙÖ ØÓ Ò Ø ÖÓÙ ÐÐ Ó Ø Ñº Á Ø ÕÙ ÖÝ ØÓÓ Ô ÒÓ Ô Ö Ö ØÖ Ú º ØØ Ò Ø Ö Ø Ø Ó Ô ÖÙ Ð Ò Ð Ò Û Ø Ø Û º ÆÓ º ËÓÑ Ø Ñ Ú Ò Û Ø Ø Ö Ø Ø Ó Ý¹ ÛÓÖ Ø Ý Ø Ñ Ñ Ý Ø ÐÐ Ö ØÖ Ú ÐÓØ Ó Ô Ø Ø Ø Ð ÓÙØ ÓÑ Ø Ò Ð º ÓÖ Ü ÑÔÐ Û Ù Ø ÕÙ ÖÝ Ö Ø Ñ Ö Ò Ò Ô ØÓ ÓÓ Ð Ò Ö Ú Ö ÙÐØ ÓÙØ Ø Ö Ø Ñ Ö¹ Ò ÛÓÑ Ò Ò Ô Ò Ø Ö Ø Ñ Ö Ò ØÓ ÚÓØ ÖÓÑ Ô º Ì É Ý Ø Ñ ØÓ ØÓÐ Ö¹ ÒØ Ó Ù ÒÓ ÓÖ Ø Û ÐÐ ÓÑ ÓÒ Ù Ò Ú ÒÓÖÖ Ø Ò Û Ö º ØÓ º Ý Ö Ø ÛÓÖ Ø Ò Ö Ó ÓÖ É Ý Ø Ñ Ò Ò Ð ÓÓ º Ú Ò ÆÄÈ Ø ¹ Ò ÕÙ Ò Ø ÙØÙÖ Ñ Ý ÐÐÓÛ Ù ØÓ Ò Ò Û Ö ¼± Ó Ø Ø Ñ ÙØ Ø ÒÓÛÐ ÒÓÖ¹ Ö Ø Ø Ò Ø Ò Û Ö Ø ÐÐ ÒÚ Ð º ËÓÑ Ø Ñ Ù ØÓ Ö ÙÑ Ò ÖÖÓÖ ÓÖ Ð ÙØ ÒÓØ Ð¹ Û Ý º ÓÖ Ü ÑÔÐ ÓÒ Ó Ø Ø Ö ØÙÖÒ Ý ÓÓ Ð Ø Ø ÂÓ Ò Ð ÒÒ Û Ø Ö Ø Ñ Ö ¹ Ò Ò Ô Û Ð º ÀÓÛ Ú Ö Ø Ø Ð Ð ÓÑÑÓÒ Ñ ÓÒ ÔØ ÓÒ Ò ØÖÓÒÓÑÝ º ËÙ ÒØ Ò Ò Ù ÐÓØ Ó ÓÖ É Ý Ø Ñ º Ê ÓÙÖ Ð Ñ Ø Ø ÓÒ º Ë Ö Ò Ò Ú Ò ÑÔÖÓÚ Ò Ø ÐÝ Ò Ö Ø Ö Ø Ò Ú Ö ÙØ Ø Ø ÐÐ Ú ÖÝ Ø Ü Ò ØÓ Ù Û ÓÞ Ò ÕÙ Ö Ò ÓÖ Ö ØÓ Ò Û Ö ÕÙ Ø ÓÒº É Ý Ø Ñ ØÓ Ñ ÒØ ÐÐ ÒØ ÓÒ ÓÒ Û ÕÙ Ö ØÓ ØÖÝ Ò Ø Ó Ð Ò ÐÝ Ù Ò ÓÑ Ò Ø ÓÒ Ó ÛÓÖ º ÇÒÐ Ò ÒØ Ö Ø Ú É Ý Ø Ñ Ð Ó Ú ØÓ ÓÒ Ö Ø Ø Ñ Ô ÒØ Ý Ø Ù Ö Ò Û Ø Ò ÓÖ Ò Ò Û Öº Î ÖÝ Û Ù Ö Ö Û ÐÐ Ò ØÓ Û Ø ÑÓÖ Ø Ò Û Ñ ÒÙØ º ÁÒ Ø Ò ÜØ Ø ÓÒ Û Ö ÙÐÐÝ ÑÔÐ Ñ ÒØ ÔÖÓØÓØÝÔ Û É Ý Ø Ñ ÅÙÐ Ö Û Ø Ø ØÓÖ ÒØÓ ÓÒ Ö Ø ÓÒº 3. THE MULDER WEB QA SYSTEM ÙÖ ½ ÓÛ Ø Ö Ø ØÙÖ Ó ÅÙÐ Öº Ì Ù Ö Ò Ý Ò Ø ÕÙ Ø ÓÒ Ò Ò ØÙÖ Ð Ð Ò Ù ÖÓÑ ÅÙÐ Ö³ Û ÒØ Ö º ÅÙÐ Ö Ø Ò Ô Ö Ø ÕÙ ¹ Ø ÓÒ Ù Ò Ò ØÙÖ Ð Ð Ò Ù Ô Ö Ö Ø ÓÒ º½µ Û ÓÒ ØÖÙØ ØÖ Ó Ø ÕÙ Ø ÓÒ³ Ô Ö Ð ØÖÙØÙÖ º Ì Ô Ö ØÖ Ú Ò ØÓ Ø Ð Ö Ø ÓÒ º¾µ Û Ø ÖÑ Ò Ø ØÝÔ Ó Ò Û Ö ØÓ ÜÔ Øº Æ ÜØ Ø ÕÙ ÖÝ ÓÖÑÙÐ ØÓÖ Ø ÓÒ º µ Ù Ø Ô Ö ØÖ ØÓ ØÖ Ò Ð Ø Ø ÕÙ Ø ÓÒ ÒØÓ Ö Ó Ö Ò Ò ÕÙ Ö º Ì ÕÙ Ö Ö Ù Ò Ô Ö ÐÐ Ð ØÓ Ø Ö Ò Ò Ø ÓÒ º µ Û Ø Û Ô ÓÖ ÕÙ Öݺ Ì Ò Û Ö ÜØÖ Ø ÓÒ ÑÓ ÙÐ Ø ÓÒ º µ ܹ ØÖ Ø Ö Ð Ú ÒØ Ò ÔÔ Ø ÐÐ ÙÑÑ Ö ÖÓÑ Ø Û Ô Ò Ò Ö Ø Ð Ø Ó ÔÓ Ð Ò Ø Ò Û Ö ÖÓÑ Ø Ò ÔÔ Ø º Ì Ò Ø Ö Ú Ò ØÓ Ø Ò Û Ö Ð ØÓÖ Ø ÓÒ º µ ÓÖ ÓÖ Ò Ò Ö Ò Ò Ø ÓÖØ Ð Ø Ó Ò Û Ö ÔÖ ÒØ Ò Ø ÓÒØ ÜØ Ó Ø Ö Ö Ô Ø Ú ÙÑÑ Ö µ ÔÐ Ý ØÓ Ø Ù Öº Ì ÓÐÐÓÛ Ò Ø ÓÒ Ö ÓÑÔÓÒ ÒØ Ò ¹ Ø Ðº 3.1 Question Parsing ÁÒ ÓÒØÖ Ø ØÓ ØÖ Ø ÓÒ Ð Ö Ò Ò Û ØÖ Ø ÕÙ Ö Ø Ó ÝÛÓÖ ÅÙÐ Ö Ô Ö Ø Ù Ö³ ÕÙ Ø ÓÒ ØÓ Ø ÖÑ Ò Ø ÝÒØ Ø ØÖÙØÙÖ º Û ÐÐ ÒÓÛ Ò Ø ØÖÙØÙÖ Ó Ø ÕÙ Ø ÓÒ ÐÐÓÛ ÅÙÐ Ö ØÓ ÓÖÑÙÐ Ø Ø ÕÙ Ø ÓÒ ÒØÓ Ú Ö Ð «Ö¹ ÒØ ÝÛÓÖ ÕÙ Ö Û Ö Ù Ñ ØØ ØÓ Ø Ö Ò Ò Ò Ô Ö ÐÐ Ð Ø Ù ÒÖ Ò Ö Ðк ÙÖØ ÖÑÓÖ ÅÙÐ Ö Ù Ø ÕÙ Ø ÓÒ³ ÝÒØ Ø ØÖÙØÙÖ ØÓ Ø¹ Ø Ö ÜØÖ Ø ÔÐ Ù Ð Ò Û Ö ÖÓÑ Ø Ô Ö ØÙÖÒ Ý Ø Ö Ò Ò º Æ ØÙÖ Ð Ð Ò Ù Ô Ö Ò Ñ ØÙÖ Ð Û Ø ¹ÐÓÒ ØÓÖÝ ÓÛ Ó ØÓ ÓÔØ Ø Ø Ü¹ Ø Ò Ô Ö Ò Ø ÒÓÐÓ Ý Ö Ø Ö Ø Ò ÖÓÐÐ ÓÙÖ ÓÛÒº ÌÓ¹ ݳ Ø Ô Ö Ö ÑÔÐÓÝ Ø Ø Ø Ð Ø Ò ÕÙ ½¾ º Ì Ô Ö Ö Ö ØÖ Ò ÓÒ Ø ÓÖÔÙ Ò Ø Ý 151

user Final Ballot Question Answer Selection (Voting) clusters Final answer PC- Kimmo + MEI Parser Clustering NLP Parser Legend rectangles - components implemented by us parse tree Scoring answers Question Classification Link + Parser Classification Rules candidate answers answer type Find phrases with Matching Type parse tree links Answer Extraction parse trees NLP NLP Parser NLP Parser NLP Parser Parser Query Formulation Original Question Query Formulation Rules PC- Kimmo WordNet (only rules applicable to the question will be triggered) Transformational Grammar Quote Noun Phrases Summary summaries Extraction + Scoring IDF score database web pages search engine queries Search Engine rounded rectangles - third party components ÙÖ ½ Ö Ø ØÙÖ Ó ÅÙÐ Ö Ù Ð ÖÒ ÔÖÓ Ð Ø Ó ÛÓÖ Ö Ð Ø ÓÒ Ô ØÓ Ù Ø Ö ÓÖ Ø Ø Ô Ö º Ì Å Ü ÑÙÑ ÒØÖÓÔݹ ÁÒ Ô Ö Å Áµ Ô Ö Ö ÓÒ Ó Ø Ø Ó Ø Ö Ò Ó Û ÒØ Ö Ø Ø ÒØÓ ÅÙÐ Öº Ì Ô Ö Ö Û ØÖ Ò ÓÒ Ø È ÒÒ Ï ÐÐ ËØÖ Ø ÂÓÙÖÒ Ð ØÖ ¹ Ò ¾½ Ø ÓÒ ¾ ¾½º ÇÙÖ ÓÚ Ö ÐÐ ÜÔ Ö Ò Û Ø Ø Ô Ö Ö Ò ÔÓ ¹ Ø Ú ÙØ Ò Ø ÐÐÝ Û ÓÚ Ö ØÛÓ ÔÖÓ Ð Ñ º Ö Ø Ù ØÓ Ø Ð Ñ Ø ØÖ Ò Ò Ø Ø Ô Ö Ö Ö ØÖ Ø ÚÓ ÙÐ Öݺ Ë ÓÒ Û Ò Ø Ô Ö Ö Ó ÒÓØ ÒÓÛ ÛÓÖ Ø ØØ ÑÔØ ØÓ Ñ Ù Ø Ù ÓÖ Ø ÛÓÖ ³ Ô ÖØ¹Ó ¹ Ô º Ì ÒÖ Ø Ö Ô Ò ÐÓÛ ÓÛÒ Ô Ö Ò º ÁÒ Ø ÓÒ Ø Ù Ò ÕÙ Ø º ÁÒ ÓÒ Ò Ø Ò Ø Ô Ö Ö Ø Ø ÛÓÖ ØÙÒ Ø Ò Ö Ò Ð ÒÙÑ Öº ÌÓ Ö Ñ Ý ÓØ Ó Ø ÔÖÓ Ð Ñ Û ÒØ Ö Ø Ð Ü Ð Ò ÐÝÞ Ö ÐРȹà ÑÑÓ ÒØÓ Ø Å Á Ô Ö Öº Ä Ü Ð Ò ÐÝ Ð¹ ÐÓÛ ÅÙÐ Ö ØÓ Ø ÔÖ Ú ÓÙ ÐÝ ÙÒ Ò ÛÓÖ º ÓÖ Ü¹ ÑÔÐ ÅÙÐ Ö Ó ÒÓØ ÒÓÛ Ø ÛÓÖ Ò ÙÖÓÐÓ Ð ÙØ Ý Ö Ò ÓÛÒ Ø ÛÓÖ ÒØÓ Ø ÖÓÓØ Ò ÙÖÓй Ó Ý Ò Ø ÙÆÜ ¹ Ð Ø ÒÓÛ Ø ÛÓÖ Ò ¹ Ø Ú º Ï Ò Ø Å Á Ô Ö Ö Ó ÒÓØ ÒÓÛ ÛÓÖ ÅÙÐ Ö Ù È¹Ã ÑÑÓ ØÓ Ö Ó Ò Þ Ò Ø Ø Ô Öع Ó ¹ Ô Ó Ø ÛÓÖ º Á ȹà ÑÑÓ Ð Ó Ó ÒÓØ ÒÓÛ Ø ÛÓÖ Ø Ö Û ÓÔØ Ø ÙÖ Ø Ó Ø Ò Ø ÛÓÖ ÔÖÓÔ ÖÒÓÙÒº Ï Ð Ô ÒÓØ ÓÒ ÖÒ ÓÖ ÓÖØ ÕÙ Ø ÓÒ ÐÓÒ Ö ÕÙ Ø ÓÒ Ò Ø Û ÓÒ ØÓ Ô Ö º Ï Ð Ó Ù Ø Ô Ö Ö ÜØ Ò Ú ÐÝ Ò Ø Ò Û Ö ÜØÖ Ø ÓÒ Ô ØÓ Ô Ö ÐÓÒ Ö ÒØ Ò Û Ö Ô Ú ÖÝ ÑÔÓÖØ ÒØ Ù º ÅÙÐ Ö³ ÓÑ Ò Ø ÓÒ Ó Å Á»È¹Ã ÑÑÓ Ò ÒÓÙÒ ÙÐØ Ò Ð ØÓ Ô Ö ÐÐ ÌÖ ¹ ÕÙ Ø ÓÒ ÓÖ¹ Ö ØÐݺ 3.2 Question Classifier ÉÙ Ø ÓÒ Ð Ø ÓÒ ÐÐÓÛ ÅÙÐ Ö ØÓ Ò ÖÖÓÛ Ø ÒÙÑ Ö Ó Ò Ø Ò Û Ö ÙÖ Ò Ø ÜØÖ Ø ÓÒ Ô º ÇÙÖ Ð Ö Ö Ó Ò Þ Ø Ö ØÝÔ Ó ÕÙ Ø ÓÒ ÒÓÑ Ò Ð ÒÙÑ Ö Ð Ò Ø ÑÔÓÖ Ð Û ÓÖÖ ÔÓÒ ØÓ ÒÓÙÒ Ô Ö ÒÙÑ Ö Ò Ø Ò Û Ö º Ì ÑÔÐ ¹ Ö Ö Ý Ñ Ð Ø ÓÒ Ò Ý Ø Ò Ó«Ö Ø ÔÓØ ÒØ Ð Ó Ú ÖÝ ÙÖ Ýº ÁØ Ð Ó ÚÓ Ø Æ¹ ÙÐØ ÔÖÓ Ó Ò Ò ÓÑÔÐ Ø ÕÙ Ø ÓÒ ÓÒØÓÐÓ Ý Û Ø Ñ ÒÙ ÐÐݹØÙÒ Ò Û Ö Ö Ó Ò Þ Ö º ÅÓ Ø Ò ØÙÖ Ð ÕÙ Ø ÓÒ ÓÒØ Ò Û ¹Ô Ö Û ÓÒ Ø Ó Ø ÒØ ÖÖÓ Ø Ú ÛÓÖ Ò Ø Ù ÕÙ ÒØ ÛÓÖ Ó Ø Û Ø Øº Ì Å Á Ô Ö Ö Ø Ò Ù ÓÙÖ Ñ Ò ØÝÔ Ó Û ¹Ô Ö Ò ÅÙÐ Ö Ñ Ù Ó Ø ØÝÔ Ò ÓÖÑ Ø ÓÒ ØÓ Ð Ý Ø ÕÙ Ø ÓÒº Ï ¹ Ø Ú Ô Ö Ù ÓÛ Ñ ÒÝ Ò ÓÛ Ø ÐÐ ÓÒØ Ò Ò Ø Ú Ò Ø ÓÒ ØÓ Ø ÕÙ Ø ÓÒ ÛÓÖ º Ì ÕÙ Ø ÓÒ ÒÕÙ Ö ÓÙØ Ø Ö Ó ÓÑ Ø Ò ÓÖ ÓÑ Ú ÒØ Ò ÅÙÐ Ö Ð Ø Ñ ÒÙÑ Ö¹ к Ï ¹ Ú Ö Ô Ö Ò Û Ø Ò Ð ÕÙ Ø ÓÒ ÛÓÖ Ù Û Ö ÓÖ Û Ò º Ï Ù Ø ÒØ Ö¹ ÖÓ Ø Ú ÛÓÖ ØÓ Ò Ø ÕÙ Ø ÓÒ ØÝÔ º º Û Ò Ø ÑÔÓÖ Ð Ò Û Ö ÒÓÑ Ò Ðº Ï ¹ÒÓÙÒ Ô Ö Ù Ù ÐÐÝ Ò Û Ø Û Ø Ò Ø ÕÙ Ø ÓÒ Ò ÐÓÓ ÓÖ ÒÝ ØÝÔ Ó Ò Û Öº ÓÖ Ü ÑÔÐ Û Ø Ø ÐÓÓ ÓÖ ÒÙÑ Ö Û Ø Ý Ö Ø Ò Û Ø Ö ÒÓÙÒº Ï Ù Ø Ó Ø Ó Ø Ú Ö Ò Ø ÕÙ Ø ÓÒ 152

ØÓ Ø ÖÑ Ò Ø ØÝÔ º ÌÓ Ò Ø Ó Ø Ó Ø Ú Ö ÅÙÐ Ö Ù Ø Ä Ò Ô Ö Ö ½ º Ì Ä Ò Ô Ö Ö «Ö ÒØ ÖÓÑ Ø Å Á Ô Ö Ö Ò Ø Ø Ø ÓÙØÔÙØ Ø ÒØ Ò Ô Ö Ò Ø ÓÖÑ Ó Ø Ö Ð Ø ÓÒ Ô ØÛ Ò ÛÓÖ ÐÐ Ð Ò µ Ò Ø Ó ØÖ ØÖÙØÙÖ º ÅÙй Ö Ù Ø Ú Ö ¹Ó Ø Ð Ò ØÓ Ò Ø Ó Ø Ò Ø ÕÙ Ø ÓÒº ÅÙÐ Ö Ø Ò ÓÒ ÙÐØ ÏÓÖ Æ Ø ¾¾ ØÓ Ø Ö¹ Ñ Ò Ø ØÝÔ Ó Ø Ó Øº ÏÓÖ Æ Ø Ñ ÒØ Ò Ø¹ ÛÓÖ ÓÒØ Ò Ò ÛÓÖ ÖÓÙÔ ÒØÓ Ø ÐÐ ÝÒ Ø º ËÝÒ Ø Ö Ð Ò ØÓ ÓØ Ö Ý «Ö ÒØ Ö Ð Ø ÓÒ Ù ÝÒÓÒÝÑ ÝÔ ÖÒÝÑ Ò Ñ ÖÓÒÝÑ ÌÓ Ð ¹ Ý Ø Ó Ø ÛÓÖ Û ØÖ Ú Ö Ø ÝÔ ÖÒÝÑ Ó Ø Ó Ø ÙÒØ Ð Û Ò Ø ÝÒ Ø Ó Ñ ÙÖ ÓÖ Ø Ñ º ÁÒ Ø ÓÖÑ Ö Û Ð Ý Ø ÕÙ Ø ÓÒ ÒÙÑ Ö ¹ Ð Ò Ò Ø Ð ØØ Ö Ø ÑÔÓÖ Ðº ËÓÑ Ø Ñ ÛÓÖ Ò Ú ÑÙÐØ ÔÐ Ò Ò Ò Ñ Ý Ð ØÓ «Ö ÒØ Ð Ø ÓÒ º º Ô Ø Ð Ò ØÝ ÓÖ ÙÑ Ó ÑÓÒ Ýº ÁÒ Ù Û ÙÑ Ø ÕÙ Ø ÓÒ ÒÓÑ Ò Ðº Ò ÐÐÝ Ø ÕÙ Ø ÓÒ Ó ÒÓØ ÓÒØ Ò Û ¹Ô Ö º º Æ Ñ ÐÑ Ø Ø ÛÓÒ Ø ÓÐ Ò Ö Û Ö µ Û Ð Ý Ø ÒÓÑ Ò Ðº 3.3 Query Formulation Ì ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ ÑÓ ÙÐ ÓÒÚ ÖØ Ø ÕÙ ¹ Ø ÓÒ ÒØÓ Ø Ó ÝÛÓÖ ÕÙ Ö Ø Ø Û ÐÐ ÒØ ØÓ Ø Ö Ò Ò ÓÖ Ô Ö ÐÐ Ð Ú ÐÙ Ø ÓÒº ÅÙй Ö ÓÓ Ò Ó Ù Ø Ò Ù ÓÛ Ø Ò Û Ö Ñ Ý ÔÔ Ö Ò Ø Ö Ø ÒØ Ò º º ÒØ Ò Ø Ø ÓÒØ Ò Ø Ò Û Öº Ï Ð Ú Ø ØÖ Ø Ý ÛÓÖ Ô ÐÐÝ Û ÐÐ ÓÖ ÕÙ Ø ÓÒ Ö Ð Ø ØÓ ÓÑÑÓÒ Ø Ù Ø Ø Ö Ö ÔÐ Ø ÖÓ Ø Û ÓÒ Ñ ÒÝ «Ö ÒØ Ø Û Ñ Ø ÐÝ ÔÖÓ Ð Ø Ø ÓÑ Û Ô Û ÐÐ ÓÒØ Ò ÓÙÖ ÓÖÑÙÐ Ø Ô Ö º ÌÓ ÐÐÙ ØÖ Ø ÓÒ Ò Ò Ø Ò Û Ö ØÓ ÓÙÖ Ñ Ö Ò¹ Ò¹ Ô ÕÙ Ø ÓÒ Ý Ù¹ Ò Ø Ô Ö ÕÙ ÖÝ Ì Ö Ø Ñ Ö Ò Ò Ô Û º Ï Ò Ú Ò Ø ÕÙ ÖÝ ÓÓ Ð Ö ØÙÖÒ Ô Ò ÑÓ Ø Ó Ø Ñ Ý Ì Ö Ø Ñ Ö Ò Ò Ô Û Ð Ò Ë Ô Ö Û Ø Ú Ö Ø ÓÒ Ó Ë Ô¹ Ö ³ Ò Ñ º ÓÒ Ò Ø Ò ÅÙÐ Ö³ ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ Ñ Ø Ó Ø Ó Ú ÖÝ Ò Ø Ô ØÝ Ó Ø ÕÙ Öݺ Ì ÑÓ Ø Ò Ö Ð ÕÙ ÖÝ ÓÒØ Ò ÓÒÐÝ Ø ÑÓ Ø ÑÔÓÖ¹ Ø ÒØ ÝÛÓÖ ÖÓÑ Ø Ù Ö³ ÕÙ Ø ÓÒ Û Ð Ø ÑÓ Ø Ô ÕÙ Ö Ö ÕÙÓØ Ô ÖØ Ð ÒØ Ò º ÄÓÒ Ö Ô Ö ÔÐ Ø ÓÒ Ð ÓÒ ØÖ ÒØ ÓÒ Ø Ø ÕÙ ÖÝ ÒÖ Ò ÔÖ ÓÒ ÙØ Ö Ù Ò Ø ÒÙÑ Ö Ó Ô Ö ØÙÖÒ º Á Ø ÓÒ ØÖ ÒØ ØÓÓ Ö Ø Ø Ò ÒÓ Ô Û ÐÐ Ö ØÙÖÒ Ø Ðк ÔÖ ÓÖ Ø ÆÙÐØ ØÓ ÒÓÛ Ø ÓÔØ Ñ Ð ÔÓ ÒØ ÓÒ Ø Ò Ö Ð ØÝ» Ô ØÝ ØÖ Ó«Ò ÓÙÖ ÓÒ ØÓ ØÖÝ ÑÙÐØ ÔÐ ÔÓ ÒØ Ò Ô Ö ÐÐ Ð ÐÓÒ Ô Ö ÕÙ ÖÝ Ð ØÓ Ö ØÙÖÒ ÅÙÐ Ö Ò ÐÐ ÓÒ Ø ÑÓÖ Ö Ð Ü ÕÙ Ö º ÅÙÐ Ö ÙÖÖ ÒØÐÝ ÑÔÐ ¹ Ñ ÒØ Ø ÓÐÐÓÛ Ò Ö ÓÖÑÙÐ Ø ÓÒ ØÖ Ø Ò ÓÖ Ö Ó Ò Ö Ð ØÓ Ô Î Ö ÓÒÚ Ö ÓÒº ÓÖ ÕÙ Ø ÓÒ Û Ø Ò Ùܹ ÐÐ ÖÝ Ó¹Ú Ö Ò Ñ Ò Ú Ö Ø Ø Ö Ø Ò¹ ÝÔ ÖÒÝÑ ÛÓÖ Û Ó Ñ Ò Ò ÒÓØ ÙÔ Ö¹ ÓÖ Ò Ø º º Ò Ñ Ð ÝÔ ÖÒÝÑ Ó Ó º Ñ ÖÓÒÝÑ ÓÒ ÔØ Ø Ø Ô ÖØ Ó ÒÓØ Ö ÓÒ ÔØ º º ÒÓ Ñ ÖÓÒÝÑ Ó ÓÓÖº Ì ØÙ Ð ÕÙ ÖÝ Ø Ö Ø Ñ Ö Ò Ò Ô Û ÓÐÐÓÛ Ò ÓÓ Ð ³ ØÓÔ ÛÓÖ ÝÒØ Üº Ø Ò Ð ÐÝØÓÓÒØ Ò Ø Ú Ö Ò Ø ÓÒ Ù Ø ÓÖÑ Ö Ø Ö Ø Ò Ô Ö Ø Ú Ö º ÓÖ Ü ÑÔÐ Ò Ï Ò Æ ÜÓÒ Ú Ø Ò Û ÜÔ Ø Ø Ø Ö Ø ÒØ Ò ØÓ Æ ÜÓÒ Ú Ø Ò Ö Ø Ö Ø Ò Æ ÜÓÒ Ú Ø Ò º ÌÓ ÓÖÑ Ø Ú Ö Ú Ø Û Ù È¹Ã ÑÑÓ³ ÛÓÖ ÝÒ¹ Ø ØÙÖ º ÁØ Ò Ö Ø ÛÓÖ Ý ÓÑ Ò Ò Ø Ò Ò Ø Ú Ó ÛÓÖ Û Ø «Ö ÒØ ÙÆÜ ÓÖ ÔÖ Ü º ÅÙÐ Ö ÓÖÑ ÕÙ ÖÝ Û Ø Ø ÙÜ Ð¹ Ð ÖÝ Ò Ø Ñ Ò Ú Ö Ö ÔÐ Ý Ø ÓÒ Ù Ø Ú Ö º ÉÙ ÖÝ ÜÔ Ò ÓÒº ÜØ Ò Ò Ø ÕÙ ÖÝ ÚÓ ¹ ÙÐ ÖÝ Ú ÓÖÑ Ó ÕÙ ÖÝ ÜÔ Ò ÓÒ ¾ ѹ ÔÖÓÚ ÅÙÐ Ö³ Ò Ó Ò Ò Ô Û Ø Ò Ò Û Öº ÓÖ Ü ÑÔÐ Û Ø Û ¹ Ø Ú ÕÙ ¹ Ø ÓÒ Ù ÀÓÛ Ø ÐÐ Åغ Ú Ö Ø Ø Ò¹ Û Ö Ñ Ý ÓÙÖ Ò ÒØ Ò Ù Ø ØÓ Ú Ö Ø º ÓÖ Ø ÕÙ Ø ÓÒ Û Ù ÏÓÖ ¹ Æ Ø ¾¾ ØÓ Ò Ø ØØÖ ÙØ ÒÓÙÒ Ó Ø ¹ Ø Ú º ÅÙÐ Ö ÓÑÔÓ Ò Û ÕÙ ÖÝ Ý Ö ÔÐ ¹ Ò Ø Ø Ú Û Ø Ø ØØÖ ÙØ ÒÓÙÒº Ì Ø ÓÙÒ Ö ÑÔÐÓÝ ØÓ Ò ÙÖ Ø Ø ÅÙÐ Ö Û ÐÐ ÒÓØ ÓÓ Ø Ö Ò Ò Û Ø ØÓÓ Ñ ÒÝ ÕÙ Ö º ÆÓÙÒ È Ö ÓÖÑ Ø ÓÒº Å ÒÝ ÒÓÙÒ Ô Ö Ù ÔÖÓÔ Ö Ò Ñ Ö ØÓÑ Ò ÓÙÐ ÒÓØ ÖÓ Ò ÓÛÒº ÅÙÐ Ö Ø ÑÓÖ Ö Ð¹ Ú ÒØ Û Ô Ø ÕÙÓØ Ø ÒØ Ø Ò Ø ÕÙ Öݺ ÓÖ Ü ÑÔÐ ÓÒ Û ÒØ ØÓ Ò Û Ô ÓÒ ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ö Ö Ø ÕÙ ÖÝ ÕÙ Ø ÓÒ Ò Û Ö Ò Ô Ö ÓÖÑ ØØ Ö Ø Ò Ø ÙÒÕÙÓØ ÕÙ Öݺ ÅÙÐ Ö ÑÔÐ Ñ ÒØ Ø Ý ÓÑÔÓ Ò ÕÙ ÖÝ Û Ø ÕÙÓØ ÒÓÒ¹ Ö ÙÖ Ú ÒÓÙÒ Ô Ö º º ÒÓÙÒ Ô Ö Ø Ø Ó ÒÓØ ÓÒØ Ò ÓØ Ö ÒÓÙÒ Ô Ö º ÌÖ Ò ÓÖÑ Ø ÓÒº ÌÖ Ò ÓÖÑ Ò Ø ÕÙ Ø ÓÒ ÒØÓ ÕÙ Ú Ð ÒØ ÖØ ÓÒ ÐÐÙ ØÖ Ø Ò Ø ¹ ÒÒ Ò Ó Ø Ø ÓÒµ ÔÓÛ Ö ÙÐ Ñ Ø Ó ÓÖ ÒÖ Ò Ø Ò Ó ØØ Ò Ø Ö Ø ÒØ Ò º ÌÖ Ò ÓÖÑ Ø ÓÒ Ð Ö ÑÑ Ö ½½ ¾ ÐÐÓÛ ÅÙÐ Ö ØÓ Ó Ø Ò ÔÖ Ò ÔÐ Ñ ÒÒ Öº Ì Ö ÑÑ Ö Ò ÓÒÚ Ö ÓÒ ÖÙÐ ÔÔÐ Ð ØÓ ÒØ Ò Ò Ø Ö «Ø ÓÒ Ø Ñ ÒØ Ó Ø ÒØ Ò º Ì ÓÐÐÓÛ Ò Ö ÓÑ ÑÔÐ ØÖ Ò ÓÖÑ Ø ÓÒ Û Ú ÑÔÐ Ñ ÒØ Ò ÅÙÐ Ö ½º Ë٠ع ÙÜ ÅÓÚ Ñ ÒØ º ÓÖ ÕÙ ¹ Ø ÓÒ Û Ø Ò Ð ÙÜ ÐÐ ÖÝ Ò ØÖ Ð¹ Ò Ô Ö Ù Ø Ñ Ö Ò¹ Ò¹ Ô ÕÙ Ø ÓÒ ÅÙÐ Ö Ò Ö ÑÓÚ Ø ÒØ ÖÖÓ ¹ Ø Ú Ò ÓÖÑ ØÛÓ ÕÙ Ö Û Ø Ø Ô Ö ÔÐ Ò ÖÓÒØ Ò Ø Ö Ø ÙÜ ÐÐ ÖÝ Ö Ô Ø Ú ÐÝ º º Û Ø Ö Ø Ñ Ö Ò Ò Ô Ò Ø Ö Ø Ñ Ö Ò Ò Ô Û º ¾º ËÙ Ø¹Î Ö ÅÓÚ Ñ ÒØ º Á Ø Ö Ò Ð Ú Ö Ò Ø ÕÙ Ø ÓÒ ÅÙÐ Ö ÓÖÑ ÕÙ ÖÝ Ý ØÖ ÔÔ Ò Ø ÒØ ÖÖÓ Ø Ú º º ÖÓÑ Û Ó ÓØ Â Ã ÅÙÐ Ö Ö Ø ÓØ Â Ã º ÁÖÖ ÙÐ Ö Ú Ö Ö Ò Ð Ô ÐÐÝ Ý È¹Ã ÑÑÓ ÙØ Ö ÓÒÐÝ Ð ØÐÝ ØÖ Ö Ø Ò Ø Ö ÙÐ Ö º 153

Ì ØÙ Ð ÖÙÐ Ö Ð ØÐÝ ÑÓÖ ÓÑÔÐ Ø Ò ÓÖ Ö ØÓ Ò Ð ÓÑÔÐ Ü ÒØ Ò ÙØ Ø Ò Ø Ñ º Ë Ò ÓÒÐÝ Ù Ø Ó Ø Ø Ò ÕÙ ÔÔÐ Ð ØÓ ÕÙ Ø ÓÒ ÓÖ Ù Ö ÕÙ Ø ÓÒ ÅÙÐ Ö³ ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ ÑÓ ÙÐ Ù ÔÔÖÓÜ Ñ Ø ÐÝ Ö Ò¹ Ò ÕÙ Ö ÓÒ Ú Ö º Ï Ø Ò Ø Ö ÓÒ Ð ÐÓ ÓÒ Ø Ö Ò Ò º Ë Ø ÓÒ º Ø Ð ÜÔ Ö¹ Ñ ÒØ Ø Ø ÓÛ Ø Ø Ö ÓÖÑÙÐ Ø ÓÒ Ò ÒØÐÝ Ñ¹ ÔÖÓÚ ÅÙÐ Ö³ Ô Ö ÓÖÑ Ò º 3.4 Search Engine Ë Ò ÅÙÐ Ö Ô Ò ÓÒ Ø Û Ø ÒÓÛÐ Ø Ó Ó Ö Ò Ò ÒØ ÐÐÝ Ø ÖÑ Ò ÓÙÖ ÓÔ Ó ÒÓÛÐ Ò Ø Ñ Ø Ó Ó Ö ØÖ Ú Ò Ø Ø ÒÓÛÐ º Ì Ó ÝÒÖ Ó Ø Ö Ò Ò Ð Ó «Ø ÑÓÖ Ø Ò Ù Ø Ø ÝÒØ Ü Ó Ø ÕÙ Ö º ÓÖ Ü ÑÔÐ Û Ø ÓÓÐ Ò Ö Ò Ò ÓÒ ÓÙÐ Ù ÕÙ ÖÝ Æ ÇÊ µ ÙØ ÓÖ Ö Ò Ò Û Ó ÒÓØ ÙÔÔÓÖØ ÙÒØ ÓÒ ÓÒ ÑÙ Ø ÓÑÔÓ Ø ÓÖ Ò Ð ÕÙ ÖÝ ÒØÓ ØÛÓ Ò Ò ÓÖ Ö ØÓ Ø Ø Ñ Ø Ó Ô º Ï ÓÒ Ö Û Ö Ò Ò Ò Ø ÙØ Ú ÒØÙ ÐÐÝ Ó ÓÓ Ð º ÓÓ Ð ØÛÓ ÓÚ ÖÛ Ðѹ Ò Ú ÒØ ÓÚ Ö ÓØ Ö Ø Ø Û Ø ÓÚ Ö¹ ÑÓÒ Ö Ò Ò Ó ÇØÓ Ö ¾¼¼¼ ÓÓ Ð Ò Ü ½º¾ ÐÐ ÓÒ Û Ô µ Ò Ø Ô Ö Ò ¹ Ò ÙÒØ ÓÒ ÙÒÖ Ú Ð º Ï Ö ÓÚ Ö Ñ Ò Ø Ø ÅÙÐ Ö Ð Ö Ö ÒÓÛÐ Ò ØÓ ÑÓÖ Ò ÓÖÑ Ø ÓÒº ÅÓÖ ÓÚ Ö Û Ø Ð Ö Ö ÓÐÐ Ø ÓÒ Û Ú Ö ÔÖÓ Ð ØÝ Ó Ò Ò Ø Ö Ø Ò¹ Ø Ò º ÓÓ Ð ³ Ö Ò Ò ÙÒØ ÓÒ ÐÔ ÅÙÐ Ö Ò ØÛÓ Û Ý º Ö Ø ÓÓ Ð ³ Ö Ò Ò ÙÒØ ÓÒ ÓÒ Ø È Ê Ò ½ Ò Ø À Ø Ð ÓÖ Ø Ñ ½ Û Ù Ö Ò ÓÑ Û Ð Ò Ð Ò Ò ÐÝ Ø Ò ÕÙ Ö Ô ¹ Ø Ú ÐÝ ØÓ Ø ÖÑ Ò Ø Û Ø Ö Ò ÓÖÑ Ø ÓÒ Ú ÐÙ º Ì ÔÖÓÚ ÅÙÐ Ö Û Ø Ð Ø ÓÒ Ó Ö ÕÙ Ð ØÝ Ô º Ë ÓÒ ÓÓ Ð ³ Ö Ò Ò ÙÒØ ÓÒ Ð Ó ÓÒ Ø ÔÖÓÜ Ñ ØÝÓ ÛÓÖ º º Ø ÓÙÑ ÒØ Ý¹ ÛÓÖ ÐÓ Ö ØÓ Ø Ö Ø Û ÐÐ Ö Ò Öº Ï Ð Ø ÒÓ «Ø ÓÒ ÕÙ Ö Û Ø ÐÓÒ Ô Ö Ø ÐÔ Ò ÒØÐÝ Ò Û Ò Û Ú ØÓÖ ÐÝÓÒ ÝÛÓÖ º 3.5 Answer Extraction Ì Ò Û Ö ÜØÖ Ø ÓÒ ÑÓ ÙÐ Ö ÔÓÒ Ð ÓÖ ¹ ÕÙ Ö Ò Ò Ø Ò Û Ö ÖÓÑ Ø Ö ØÖ Ú Û Ô º ÁÒ ÅÙÐ Ö Ò Û Ö ÜØÖ Ø ÓÒ ØÛÓ¹ Ø Ô ÔÖÓ º Ö Ø Û ÜØÖ Ø Ò ÔÔ Ø Ó Ø ÜØ Ø Ø Ö Ð ÐÝ ØÓ ÓÒ¹ Ø Ò Ø Ò Û Ö ÖÓÑ Ø Ô º Ì Ò ÔÔ Ø Ö ÐÐ ÙÑÑ Ö ÅÙÐ Ö Ö Ò Ø Ñ Ò Ð Ø Ø Æ Øº Æ ÜØ ÅÙÐ Ö Ô Ö Ø ÙÑÑ Ö Ù Ò Ø Å Á Ô Ö Ö Ò Ó Ø Ò Ô Ö Ó Ø ÜÔ Ø Ò Û Ö ØÝÔ º ÓÖ Ü ÑÔÐ Ø Ö ÅÙÐ Ö Ö ØÖ Ú Ô ÖÓÑ Ø Ñ Ö Ò¹ Ò¹ Ô ÕÙ Ö Ø ÙÑÑ ÖÝ Ü¹ ØÖ ØÓÖ Ó Ø Ò Ø Ò ÔÔ Ø Ì Ö Ø Ñ Ö Ò Ò Ô Û Ð Ò º Ë Ô Ö º À Ñ ½ Ñ ÒÙØ Ù ÓÖ¹ Ø Ð Ø Ò Ø Å ÖÙÖÝ Ô ÙÐ Ö ÓÑ ÓÒ Å Ý ½ ½º Ï Ò ÅÙÐ Ö Ô Ö Ø Ò ÔÔ Ø Ø Ó Ø Ò Ø ÓÐÐÓÛ Ò ÒÓÙÒ Ô Ö Û ÓÑ Ò Ø Ò¹ Û Ö Ì Ö Ø Ñ Ö Ò Ð Ò º Ë Ô Ö Ù ¹ ÓÖ Ø Ð Ø Ò Å ÖÙÖÝ Ô ÙÐ Ö ÓÑ º Ï ÑÔÐ Ñ ÒØ ÙÑÑ ÖÝ Ñ Ò Ñ Ò Ø Ó ÜØÖ Ø Ò Ò Û Ö Ö ØÐÝ ÖÓÑ Ø Û Ô Ù Ø Ð ØØ Ö Ú ÖÝ ÜÔ Ò Ú º Ì Å Á Ô Ö Ö Ø ¹ ØÛ Ò Ð ÓÒ ÓÖ ÓÖØ ÒØ Ò ØÓ Ø Ö ÓÖ ÑÓÖ ÓÖ ÐÓÒ Ö ÒØ Ò Ñ Ò Ø ÑÔÖ Ø Ð ØÓ Ô Ö Ú¹ ÖÝ ÒØ Ò ÓÒ Ú ÖÝ Û Ô Ö ØÖ Ú º ÅÓÖ ÓÚ Ö Ö ÓÒ Ø Ø Ö ÒÓØ ÐÓ ØÓ ÒÝ ÕÙ ÖÝ ÝÛÓÖ Ö ÙÒÐ ÐÝ ØÓ ÓÒØ Ò Ø Ò Û Öº ÅÙÐ Ö³ ÙÑÑ ÖÝ ÜØÖ ØÓÖ ÓÔ Ö Ø Ý ÐÓ Ø Ò Ø ÜØÙ Ð Ö ÓÒ ÓÒØ Ò Ò ÝÛÓÖ ÖÓÑ Ø Ö Ò¹ Ò ÕÙ Ö º ÁÒ ÓÖ Ö ØÓ ÓÙÒ Ù ÕÙ ÒØ Ô Ö Ö Ø Ñ Ò ÑÔÖÓÚ Æ ÒÝ Ø Ö ÓÒ Ö Ð Ñ Ø ØÓ Ø ÑÓ Ø ¼ ÛÓÖ Ò Ö Ð Ñ Ø Ý ÒØ Ò ÓÙÒ ¹ Ö Û Ò Ú Ö ÔÓ Ð º Ï ØÖ Ð Ñ Ø Ò ÙÑÑ Ö ØÓ Ò Ð ÒØ Ò ÙØ Ø ÙÖ Ø Ö Ù Ö ÐÐ Ò ÒØÐݺ Ì ÓÐÐÓÛ Ò Ò ÔÔ Ø ÐÐÙ ØÖ Ø Û Ý ÑÙй Ø ÔÐ ÒØ Ò Ö Ó Ø Ò Ù ÙÐ Å ÒÝ Ô ÓÔÐ Û Ó Û Ø Ö Ø Ñ Ö Ò Ò Ô º Ì Ò Û Ö Ð Ò Ë Ô Ö Û Ó Ù ÓÖ Ø Ð Ø Ñ ØÓÖÝ Ò ½ ½º Ø Ö ÅÙÐ Ö ÜØÖ Ø ÙÑÑ Ö ÖÓÑ Û Ô Ø ÓÖ Ò Ö Ò Ø Ñº Ì ÓÖ Ò ÙÒ¹ Ø ÓÒ ÔÖ Ö ÙÑÑ Ö Ø Ø ÓÒØ Ò ÑÓÖ ÑÔÓÖØ ÒØ ÝÛÓÖ Û Ö ÐÓ ØÓ ÓØ Öº ÌÓ Ø ÖÑ Ò Ø ÑÔÓÖØ Ò Ó ÝÛÓÖ Û Ù ÓÑÑÓÒ ÁÊ Ñ Ø¹ Ö ÒÓÛÒ ÒÚ Ö ÓÙÑ ÒØ Ö ÕÙ ÒÝ Á µ Û Ò Ý Æ Û Ö Æ Ø Þ Ó ÓÙÑ ÒØ Óй Ð Ø ÓÒ Ò Ø ÒÙÑ Ö Ó ÓÙÑ ÒØ ÓÒØ Ò Ò Ø ÛÓÖ º Ì Ø Ø ÙÒ ÑÔÓÖØ ÒØ ÛÓÖ Ù Ø Ò Ö Ò ÐÑÓ Ø ÐÐ ÓÙÑ ÒØ Û Ð Ñ¹ ÔÓÖØ ÒØ ÛÓÖ ÓÙÖ Ô Ö Ò Ðݺ ÌÓ Ó Ø Ò Á ÓÖ ÓÖ ÛÓÖ Û ÓÐÐ Ø ÓÙØ ½¼¼ ¼¼¼ ÓÙÑ ÒØ ÖÓÑ Ú Ö¹ ÓÙ ÓÒÐ Ò ÒÝÐÓÔ Ò ÓÑÔÙØ Ø Á ÓÖ Ó Ú ÖÝ ÛÓÖ Ò Ø ÓÐÐ Ø ÓÒº ÓÖ ÙÒ ÒÓÛÒ ÛÓÖ Û ÙÑ ½º ÌÓ Ñ ÙÖ ÓÛ ÐÓ ÝÛÓÖ Ö ØÓ ÓØ Ö ÅÙÐ Ö ÐÙÐ Ø Ø ÕÙ Ö ¹ÖÓÓØ¹Ñ Ò Ó Ø Ø Ò ØÛ Ò ÝÛÓÖ º ÓÖ Ü ÑÔÐ ÙÔÔÓ ½ Ò ½ Ö Ø Ø Ò ØÛ Ò Ø Ò ÝÛÓÖ Ò ÙÑÑ ÖÝ Ø Ò Ø Ø Ò Õ ¾ ½ ¾ Ò ½ µ Ò ½µ Á Ò ÝÛÓÖ Û Ø Û Ø Û Ø Ò Ø ÓÖ Ú Ò Ý È Ò Ë µ ½ Û µ ÅÙÐ Ö Ð Ø Ø Ø Æ ÙÑÑ Ö Ò Ô Ö Ø Ñ Ù Ò Ø Å Á Ô Ö Öº ÌÓ Ö Ù Ø ÓÚ Ö ÐÐ Ô Ö Ø Ñ ÅÙÐ Ö ÖÙÒ Ñ ÒÝ Ò Ø Ò Ó Ø Å Á Ô Ö Ö ÓÒ «Ö ÒØÑ Ò Ó Ø Ø Ô Ö Ò Ò ÓÒ Ò Ô Ö¹ ÐРк Ï Ð ÓÖ Ø ÕÙ Ð ØÝ Û Ø ÓÖ Ø Ô Ö Ö Ó Ø Ø ÅÙÐ Ö Ò ØÖ ÕÙ Ð ØÝ ÓÖ Ø Ñ º Ì Ô Ö Ö ÙÐØ Ö Ø Ò ÒÒ ÓÖ Ø ÜÔ Ø Ò Û Ö ØÝÔ ÒÓÙÒ Ô Ö ÒÙÑ Ö ÓÖ Ø µ Ò Ø Ò Ø Ò Û Ö Ö ÓÐÐ Ø º 3.6 Answer Selection Ì Ò Û Ö Ð Ø ÓÒ ÑÓ ÙÐ Ô Ø Ø Ò Û Ö ÑÓÒ Ø Ò Ø Û Ø ÚÓØ Ò ÔÖÓ ÙÖ º ÅÙÐ Ö Ö Ø Ö Ò Ø Ò Ø ÓÖ Ò ØÓ ÓÛ ÐÓ Ø Ý Ö ØÓ ÝÛÓÖ º ÁØ Ø Ò Ô Ö ÓÖÑ ÐÙ Ø Ö Ò ØÓ ÖÓÙÔ Ñ Ð Ö Ò Û Ö ØÓ Ø Ö Ò Ò Ð ÐÐÓØ Ø ÓÖ ÐÐ ÐÙ Ø Ö Ø ÓÒ Û Ø Ø Ø ÓÖ Û Ò º Ì Ò Ð 154

Ò Û Ö Ó Ò ÖÓÑ Ø ØÓÔ Ò Ø Ò Ø ÐÙ ¹ Ø Öº ÓÖ Ò Ø Ò ÙÔÔÓ Û Ú Ò Û Ö Ò Ø Ð Ò º Ë Ô Ö Ë Ô Ö Ò ÂÓ Ò Ð ÒÒ Û Ø ÓÖ ¾ ½ Ò ¾ Ö Ô Ø Ú Ðݺ Ì ÐÙ Ø Ö Ò Û ÐÐ Ö ÙÐØ Ò ØÛÓ ÖÓÙÔ ÓÒ Û Ø Ð Ò º Ë Ô Ö Ò Ë Ô Ö Ò Ø ÓØ Ö Û Ø ÂÓ Ò Ð ÒÒ º Ì ÓÖ¹ Ñ Ö ÓÖ Ò Ø Ð ØØ Ö ¾ Ø Ù ÅÙÐ Ö ÛÓÙÐ Ô Ø Ë Ô Ö ÐÙ Ø Ö Ø Û ÒÒ Ö Ò Ð Ø Ð Ò º Ë Ô Ö Ø Ò Ð Ò Û Öº ÅÙÐ Ö ÓÖ Ò Ø Ò Û Ö Ý Ø Ø Ò ÖÓÑ Ø ÝÛÓÖ Ò Ø Ò ÓÖ ÓÓ Û Ø Ý ÓÛ ÑÔÓÖØ ÒØ Ø Ó ÝÛÓÖ Ö º Ä Ø Ö ÔÖ ÒØ ÝÛÓÖ Ò Ò Û Ö ÛÓÖ Ò ÛÓÖ Ø Ø Ó ÒÓØ ÐÓÒ ØÓ Ø Ö Ø ÓÖݺ ÙÖØ ÖÑÓÖ Ð Ø Û Ø Û Ø Ó ÝÛÓÖ º ËÙÔÔÓ Û Ú ØÖ Ò Ó ÓÒ¹ ÙØ Ú ÝÛÓÖ ÓÒ Ø Ð Ø Ó Ø Ò Û Ö Ò ¹ Ø ÒÒ Ò Ø ½ Ô Ö Ø Ý Ñ ÙÒÖ Ð Ø ÛÓÖ º º ½ Ò½ Ñ ½ Ô ÅÙÐ Ö ÓÖ Ø Ò¹ Û Ö Ý Ã Ä Û½ ÛÒ Ñ Ø Ä Ò Ã Ä Ø Ò ÓÖ Ä Ø ºµ Ï ÓÑÔÙØ Ñ Ð Ö ÓÖ Ã Ê Û Ø Ø Ñ ÓÖÑÙÐ ÙØ Û Ø ÝÛÓÖ ÓÒ Ø Ö Ø Ó Ø Ò Û Öº Ì ÓÖ ÓÖ Ò¹ Ø Ñ Ü Ã Ä Ã Êµº ÓÖ ÖØ Ò ØÝÔ Ó ÕÙ Ö Û ÑÓ Ý Ø ÓÖ Û Ø ÑÙÐØ ÔÐ Ö º Ì Ò Û Ö ÓÖ Ø ÑÔÓÖ Ð Ò Û ¹ Ú Ö Û Ò Û Ö µ ÕÙ Ö Ö Ð ÐÝ ØÓ ÓÙÖ Ò ÔÖ ÔÓ Ø ÓÒ Ð Ô Ö Ó Û Ö Ø ÓÖ ÓÖ Ò Û Ö Ø Ø ÓÙÖ ÙÒ Ö ÔÖ ÔÓ Ø ÓÒ Ð Ô Ö º ËÓÑ ØÖ Ò ÓÖÑ Ø ÓÒ ÜÔ Ø Ø Ò Û Ö ÓÒ ÖØ Ò Ó Ø ÕÙ ÖÝ ÝÛÓÖ Ð Ø ÓÖ Ö Øµº ÓÖ Ü ÑÔÐ Ø Ö Ò Ò ÕÙ ÖÝ Û Ø Ö Ø Ñ Ö Ò Ò Ô ÜÔ Ø Ø Ò Û Ö ÓÒ Ø Ð Ø Ó Ø Ô Ö Ó ÅÙÐ Ö Ö Ø ÔÓØ ÒØ Ð Ò Û Ö ÓÒ Ø Ö Ø º Ø Ö Û Ú Ò ÓÖ ØÓ Ò Ø Ò¹ Û Ö Û ÐÙ Ø Ö Ø Ñ ÒØÓ ÖÓÙÔ º Ì ÔÖÓ ÙÖ ¹ Ø Ú Ö Ð ÓÖÖ Ø ÓÒ Ê Ù Ò ÒÓ º Ê Ò ÓÑ Ô Ö Ø Ø ÓÙÖ Ý Ò Ö Ð ÐÝ ØÓ Ð Ñ Ò Ø ÖÓÑ ÙÖØ Ö ÓÒ Ö Ø ÓÒ Ý ÐÙ Ø Ö Ò º ÐÐÓÛ Ò ÐØ ÖÒ Ø Ú Ò Û Ö º Å ÒÝ Ò Û Ö Ú ÐØ ÖÒ Ø Ú ÔØ Ð ÓÖÑ º ÓÖ Ü ÑÔÐ Ë Ô Ö Ð Ò º Ë Ô Ö Ð Ò Ë Ô Ö Ö ÐÐ Ú Ö Ø ÓÒ Ó Ø Ñ Ò Ñ º ÐÙ Ø Ö Ò ÓÐÐ Ø ÐÐ Ó Ø Ñ Ð Ö ÒØÖ ØÓ Ø Ö Ó Ø Ø Ø Ý Ú ÓÐÐ Ø Ú Ö Ò Ò ÔÓÛ Ö Ò Ø Ð Ø Ø Ò Ð Ò Û Öº Ø Ö Ø ÐÙ Ø Ö Ö Ö Ø Ø Ý Ö Ö Ò ÓÖ ¹ Ò ØÓ Ø ÙÑ Ó Ø ÓÖ Ó Ø Ö Ñ Ñ Ö Ò Û Ö º Ì Ñ Ñ Ö Ò Û Ö Û Ø Ø Ø Ò Ú Ù Ð ÓÖ Ó Ò Ø Ö ÔÖ ÒØ Ø Ú Ó ÐÙ Ø Öº Ì ÓÖØ Ð Ø Ó Ö Ò ÐÙ Ø Ö Ò Ø Ö Ö ÔÖ Ò¹ Ø Ø Ú Ö ÔÐ Ý Ø Ò Ð Ö ÙÐØ ØÓ Ø Ù Öº ÙÖ ¾ ÓÛ ÅÙÐ Ö³ Ö ÔÓÒ ØÓ Ø Ñ Ö Ò¹ Ò¹ Ô ÕÙ Ø ÓÒº 4. EVALUATION ÁÒ Ø Ø ÓÒ Û Ú ÐÙ Ø Ø Ô Ö ÓÖÑ Ò Ó ÅÙй Ö Ý ÓÑÔ Ö Ò Ø Û Ø ØÛÓ ÔÓÔÙÐ Ö Ò Ðݹ Ö Ö Û ÖÚ ÓÓ Ð Ø Û ³ ÔÖ Ñ Ö Ö Ò Ò µ Ò Â Ú Ø Û ³ ÔÖ Ñ Ö É Ý ¹ Ø Ñµº ÁÒ Ø ÓÒ Û Ú ÐÙ Ø ÓÛ «Ö ÒØ ÓÑÔÓ¹ Ò ÒØ ÓÒØÖ ÙØ ØÓ ÅÙÐ Ö³ Ô Ö ÓÖÑ Ò º ËÔ ¹ ÐÐÝ Û ØÙ Ý Ø «Ø Ú Ò Ó ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ Ò Û Ö ÜØÖ Ø ÓÒ Ò Ø ÚÓØ Ò Ð Ø ÓÒ Ñ Ò Ñº Â Ú ÐÐÓÛ Ù Ö ØÓ ÕÙ Ø ÓÒ Ò Ò ØÙÖ Ð Ð Ò Ù º ÁØ ÐÓÓ ÙÔ Ø Ù Ö³ ÕÙ Ø ÓÒ Ò Ø ÓÛÒ Ø Ò Ö ØÙÖÒ Ð Ø Ó Ñ Ø Ò ÕÙ Ø ÓÒ Û Ø ÒÓÛ ÓÛ ØÓ Ò Û Öº Ì Ù Ö Ð Ø Ø ÑÓ Ø Ô¹ ÔÖÓÔÖ Ø ÒØÖÝ Ò Ø Ð Ø Ò Ø Ò ØÓ Û Ô Û Ö Ø Ò Û Ö Û ÐÐ ÓÙÒ º ÁØ Ø Ó ÕÙ ¹ Ø ÓÒ ÔÔ Ö ØÓ ÓÒ ØÖÙØ Ñ ÒÙ ÐÐÝ Ø Ö ÓÖ Ø ÓÖÖ ÔÓÒ Ò Û Ô Ö Ð ÐÝ ÔÖÓÚ Ø Ö Ò¹ Û Öº Ï Ð Ó ÓÑÔ Ö ÅÙÐ Ö Û Ø ÓÓ Ð º ÓÓ Ð ÙÔÔÐ Ø Û Ô Ø Ø ÅÙÐ Ö Ù Ò ÓÙÖ ÙÖ¹ Ö ÒØ ÑÔÐ Ñ ÒØ Ø ÓÒ Ò ÔÖÓÚ Ù ÙÐ Ð Ò ÓÖ ÓÑÔ Ö ÓÒº Ï Ò Ý Ò Ò Ú Ö ÓÙ Ñ ØÖ Ó ÓÙÖ ÜÔ Ö ¹ Ñ ÒØ Ò Ø ÓÒ º½ Ø Ò Ò Ø ÓÒ º¾ Û Ö ÓÙÖ Ø Ø ÕÙ Ø ÓÒ Øº ÁÒ Ø ÓÒ º Û ÓÑÔ Ö Ø Ô Ö¹ ÓÖÑ Ò Ó ÅÙÐ Ö Û Ø Ø ØÛÓ Û ÖÚ ÓÒ Ø ÌÖ ¹ ÕÙ Ø ÓÒ Øº Ò ÐÐÝ Ò Ø ÓÒ º Û ÒÚ Ø ¹ Ø Ø Æ Ý Ó Ú Ö ÓÙ Ý Ø Ñ ÓÑÔÓÒ ÒØ º 4.1 Experimental Methodology Ì Ñ Ò Ó Ð Ó ÓÙÖ ÜÔ Ö Ñ ÒØ ØÓ ÕÙ ÒØ Ø Ø Ú ÐÝ ÅÙÐ Ö³ Ô Ö ÓÖÑ Ò Ö Ð Ø Ú ØÓ Ø Ð Ò ÔÖÓÚ Ý ÓÓ Ð Ò Â Ú º ÌÖ Ø ÓÒ Ð Ò ÓÖ¹ Ñ Ø ÓÒ Ö ØÖ Ú Ð Ý Ø Ñ Ù Ö ÐÐ Ò ÔÖ ÓÒ ØÓ Ñ ¹ ÙÖ Ý Ø Ñ Ô Ö ÓÖÑ Ò º ËÙÔÔÓ Û Ú ÓÙÑ ÒØ Ë Ô Ö Ø Ò Ø ÖÓÑ Ø ÓÒº Ì Û ÓÒ¹ Ø Ò ÐÓØ Ó Ñ Ò ÓÖÑ Ø ÓÒº ÅÙÐ Ö ÙÑ Ø ØÖÙØ Û ÐÐ ÔÖ Ú Ð Ò ÓÙÖ ÑÓÖ Ó Ø Ò Ò ÐÙ Ø Ö Ò Ñ Ø Ðº ÇÙÖ ÐÙ Ø Ö Ò Ñ Ò Ñ ÑÔÐ Ú Ö ÓÒ Ó ÙÆÜ ØÖ ÐÙ Ø Ö Ò ½ º ÅÙÐ Ö ÑÔÐÝ Ò Ò¹ Û Ö Ø Ø Ö Ø Ñ ÛÓÖ ÒØÓ Ø Ñ ÐÙ Ø Öº Ï Ð ÓÑÔÐ Ø ÑÔÐ Ñ ÒØ Ø ÓÒ Ó ÙÆÜ ØÖ ÐÙ Ø Ö¹ Ò Ø Ø Ò Ð Ô Ö Ñ Ý Ú ØØ Ö Ô Ö ÓÖÑ Ò Ø Ò ÓÙÖ ÑÔÐ Ð ÓÖ Ø Ñ ÓÙÖ ÜÔ Ö Ò ÓÛ ÛÓÖ ¹ ÐÙ Ø Ö Ò ÛÓÖ Ö ÓÒ ÐÝ Û Ðк ÙÖ ¾ ÅÙÐ Ö ÓÙØÔÙØ ÓÖ Ø ÕÙ Ø ÓÒ Ï Ó Û Ø Ö Ø Ñ Ö Ò Ò Ô 155

ÓÐÐ Ø ÓÒ Ø Ö Ù Ø Ê Ó Ø ÓÐÐ Ø ÓÒ Ø Ø Ö Ð Ú ÒØ ØÓ ÕÙ ÖÝ Éº Ì Ö ØÖ Ú Ð Ý Ø Ñ Ø Ù Ø Ó ÓÖ Éº Ê ÐÐ Ò Ò Ê Ê Ê ÔÖ ÓÒ º ÁÒ ÓØ Ö ÛÓÖ Ö ÐÐ Ñ ÙÖ ÓÛ Ø ÓÖÓÙ Ø Ý Ø Ñ Ò ÐÓ Ø Ò Êº ÈÖ ÓÒ ÓÒ Ø ÓØ Ö Ò Ñ ÙÖ ÓÛ Ñ ÒÝ Ö Ð Ú ÒØ Ö ØÖ Ú ÓÙÑ ÒØ Ö ÑÓÒ Ø Ö ØÖ Ú Ø Û Ò Ú Û Ñ ÙÖ Ó Ø «ÓÖØ Ø Ù Ö ØÓ Ü¹ Ô Ò ØÓ Ò Ø Ö Ð Ú ÒØ ÓÙÑ ÒØ º ÓÖ Ü ÑÔÐ ÔÖ ÓÒ Ø Ò ÐÐ ÓØ Ö Ø Ò Ò ÕÙ Ð Ø Ù Ö Ô Ò Ð Ø Ñ Ø Ò Ø ÖÓÙ Ø ÖÖ Ð Ú ÒØ Ó¹ ÙÑ ÒØ ØÓ Ò Ö Ð Ú ÒØ ÓÒ º ÁÒ ÕÙ Ø ÓÒ Ò Û Ö Ò Û Ò Ò Ö ÐÐ Ø Ô Ö¹ ÒØ Ó ÕÙ Ø ÓÒ Ò Û Ö ÓÖÖ ØÐÝ ÖÓÑ Ø Ø Ø Øº ÈÖ ÓÒ ÓÒ Ø ÓØ Ö Ò Ò ÔÔÖÓÔÖ Ø ØÓ Ñ ÙÖ Ò Ø ÓÒØ ÜØ Ù ÕÙ Ø ÓÒ Ò Û Ö Ø Ö ÓÖÖ ØÐÝ ÓÖ ÒÓÖÖ ØÐݺ ÆÓÒ Ø Ð Û ÛÓÙÐ Ø ÐÐ Ð ØÓ Ñ ÙÖ ÓÛ ÑÙ Ù Ö «ÓÖØ Ö ÕÙ Ö ØÓ Ò Ø Ò Û Ö ÒÓØ Ñ Ö ÐÝ Û Ø Ö Ø ÓÒ Ó Ø Ø Ñ Ò Ò Û Ö Ú Ð Ð º ÌÓ Ñ ÙÖ Ù Ö «ÓÖØ Ó Ø Ú ÐÝ ÖÓ Ø «Ö¹ ÒØ Ý Ø Ñ Û Ò Ñ ØÖ Ø Ø ÔØÙÖ ÓÖ ÔÔÖÓܹ Ñ Ø ÓÛ ÑÙ ÛÓÖ Ø Ø ÓÖ Ø Ù Ö ØÓ Ö Ò Ò Û Ö Û Ð Ö Ò Ø ÖÓÙ Ø Ö ÙÐØ ÔÖ ÒØ Ý Ý Ø Ñº Ï Ð Ø ØÖÙ Ó Ò Ø Ú ÐÓ ÓÖ Ù Ö ÆÙÐØ ØÓ ÔØÙÖ Ò ØÙÖ Ð Ò Ø ÓÖ Ñ ÙÖ Ò Ù Ö «ÓÖØ Ø Ñ Ø ÐÓÒ Ö Ø Ø Ø Ù Ö ØÓ Ö Ø Ò Û Ö Ø ÑÓÖ «ÓÖØ ÜÔ Ò ÓÒ Ø Ù Ö³ Ô Öغ ÀÓÛ Ú Ö Ö Ò Ø Ñ Ô Ò ÓÒ ÒÙÑ ÖÓÙ ØÓÖ Ù ÓÛ Ø Ô Ö ÓÒ Ö ÓÛ Û ÐÐ Ø Û Ô Ö Ð ÓÙØ ÓÛ ÜÔ Ö Ò Ø Ù Ö Û Ø Ø Ù Ø Øº ÁÒ Ø ÓÒ Ó Ø Ò Ò Ø ÓÖ Ö Ò Ø Ñ ÛÓÙÐ Ö ÕÙ Ö Ò ÜØ Ò Ú Ù Ö Ø٠ݺ Ì Ù Ò ÓÙÖ Ö Ø ÒÚ Ø Ø ÓÒ Ó Ø Ð ØÝ Ó Û É Ý Ø Ñ Û Ó ØÓ Ñ ÙÖ Ù Ö «ÓÖØ Ý Ø ÒÙÑ Ö Ó ÛÓÖ Ø Ù Ö ØÓ Ö ÖÓÑ Ø Ø ÖØ Ó Ý Ø Ñ³ Ö ÙÐØ Ô ÙÒØ Ð Ø Ý ÐÓ Ø Ø Ö Ø ÓÖÖ Ø Ò Û Öº Æ ØÙÖ ÐÐÝ ÓÙÖ Ñ ÙÖ Ó Ù Ö «ÓÖØ ÔÔÖÓÜ Ñ Ø º ÁØ Ó ÒÓØ Ø ÒØÓ ÓÙÒØ Ô Ð ÝÓÙØ Ù Ö ³ Ð ØÝ ØÓ Ô Ø ÜØ Ò Ø Ó Ö Ò Ø ÕÙ ÒØ ÐÐÝ «Ö Ò Ò ÛÓÖ Ð Ò Ø Øº ÀÓÛ Ú Ö Ø ØÛÓ ÑÔÓÖØ ÒØ ¹ Ú ÒØ º Ö Ø Ø Ñ ØÖ Ò ÓÑÔÙØ ÙØÓÑ Ø ¹ ÐÐÝ Û Ø ÓÙØ Ö ÕÙ Ö Ò Ò ÜÔ Ò Ú Ù Ö Ø٠ݺ Ë ÓÒ Ø ÔÖÓÚ ÓÑÑÓÒ Û Ý ØÓ Ñ ÙÖ Ù Ö «ÓÖØ ÖÓ ÑÙÐØ ÔÐ Ý Ø Ñ Û Ø Ú ÖÝ «Ö ÒØ Ù Ö ÒØ Ö º Ï ÒÓÛ Ò ÓÙÖ Ñ ØÖ ÓÖÑ ÐÐݺ Ì ÛÓÖ ¹ Ø Ò Ñ ØÖ ÓÙÒØ ÓÛ Ñ ÒÝ ÛÓÖ Ø Ø Ò Ð¹ Þ Ù Ö ØÓ Ö Ø Ö Ø ÓÖÖ Ø Ò Û Ö Ø ÖØ Ò ÖÓÑ Ø ØÓÔ Ó Ø Ý Ø Ñ³ Ö ÙÐØ Ô Ò Ö Ò ÕÙ Ò¹ Ø ÐÐÝ ØÓÛ Ö Ø ÓØØÓѺ ËÙÔÔÓ ½ ¾ Ò Ö Ø ÙÑÑ ÖÝ ÒØÖ Ò Ø Ö ÙÐØ Ô Ö ØÙÖÒ Ý Ø Ý Ø Ñ Ò Ø Û Ô Ð Ò ØÓ Ý º Ï ¹ Ò Ø ØÓ Ø ÒÙÑ Ö Ó ÛÓÖ Ò Ø Ø ÜØ Ø ÓÖ Ø Ò Û Öº Á Ø Ó ÒÓØ Ú Ø Ò Û Ö Ø Ò Ø ÓÒ Ö Ö Ò Ò Ø Ø Ö ØÙÖÒ ÓÒ ÙÒ Ö Ö ¹ ÙÐØ º ÁÒ ÓÒ Ø ÓÖÖ Ø Ò Û Ö Ø ØÓÔ¹Ö Ò Ö ÙÐØ Ò ÐÐ ÓØ Ö Ò Û Ö Ö ÒÓÖÖ Øº ÁÒ Ø ¹ ÓÒ Ø Ö Ø ØÝ Ò Û Ö Ö ÒÓÖÖ Ø Ò Ø Ð Ø ØÝ Ö ÓÖÖ Øº Ï Ð ÔÖ ÓÒ ÑÙ Ö Ò Ø ÓÒ Ù Ö «ÓÖØ Ñ Ò Ñ Þ Ò Ø Ö Ø º ÍÒÐ Ø Ó ÓÐÐ Ø Ò Ö Ð Ú ÒØ ÓÙÑ ÒØ Ø Ú ÐÙ Ó Ö Ô Ø Ò Ø ÓÖÖ Ø Ò Û Ö Ñ Ò Ñ Ðº Ø ØÓØ Ð ÒÙÑ Ö Ó ÛÓÖ Ò Øº Ò ÐÐÝ Ð Ø Ø Ò Ü Ó Ø ÒØÖÝ Û Ø Ø Ò Û Ö Ø Ù Ò Ö Ø Ö Ø Ò ÔÔ Ø Ò ÓÙÑ ÒØ ÓÒØ Ò Ò Ø Ò Û Ö Ö Ô Ø Ú Ðݺ ¼ Ø Ò Û Ö ÓÙÒ Ò Ò Û Ó ÒÓØ Ò ØÓ Ú Û ÐÖ Ý ÓÒØ Ò Ø Ò Û Öº Ï ÒÓÛ Ò Ï È µ Ø ÛÓÖ Ø Ò Ó Ø Ö Ø ÓÖÖ Ø Ò Û Ö ÓÒ Ö ÙÐØ Ô È ÓÐÐÓÛ Ï È µ ½ ÆÓØ Ø Ø ÓÙÖ ÛÓÖ Ø Ò Ñ ØÖ ÚÓÖ ÓÓ Ð Ò Â Ú Ý ÙÑ Ò Ø Ø Ø Ù Ö Ð ØÓ Ø Ö¹ Ñ Ò Û ÓÙÑ ÒØ ÓÒØ Ò Ø Ò Û Ö Ý Ö Ò Ò ÔÔ Ø ÜÐÙ Ú ÐÝ ÐÐÓÛ Ò Ö ØÓ Ô ½ ½º ÇÒ Ø ÓØ Ö Ò Ø Ó ÙÑ Ø Ø Ô ÓÔÐ Ö Ò Ô¹ Ô Ø Ò Ô ÕÙ ÒØ ÐÐÝ Û Ø ÓÙØ ÔÔ Ò ÓÖ ÑÔÐÓݹ Ò ÒÝ Ò Ó Ô Ö Ò Ø Ò ÕÙ º ÇÚ Ö ÐÐ Û Ð Ø Ø Ø Ö Ø ÓÙ ÔÔÖÓÜ Ñ Ø Ñ ØÖ ÓÖ Óѹ Ô Ö Ò Ù Ö «ÓÖØ ÖÓ Ø Ø Ö Ý Ø Ñ ÒÚ Ø Ø º ÁØ ÒØ Ö Ø Ò ØÓ ÒÓØ Ø Ø Ò Ú Ö Ô Ö ÓÒ Ö ¾ ¼ ÛÓÖ Ô Ö Ñ ÒÙØ ¾ Ø Ù Û Ò Ù ÛÓÖ ¹ Ø Ò ØÓ ÔÖÓÚ ÖÓÙ Ø Ñ Ø Ó Ø Ø Ñ Ø Ø ØÓ Ò Ø Ò Û Öº 4.2 Data Set ÓÖ ÓÙÖ Ø Ø Ø Û Ù Ø ÌÖ ¹ ÕÙ Ø ÓÒ ØÖ Û ÓÒ Ø Ó ¾¼¼ ÕÙ Ø ÓÒ Ó Ú ÖÝ Ò ØÝÔ ØÓÔ ÓÑÔÐ Ü ØÝ Ò ÆÙÐØݺ ËÓÑ Ü ÑÔÐ ÕÙ Ø ÓÒ Ö ÓÛÒ Ò Ì Ð ½º ÁÒ Ø ÓÖ Ò Ð ÕÙ Ø ÓÒ ØÖ Ý Ø Ñ ÔÖÓ¹ Ú Û Ø ÔÔÖÓÜ Ñ Ø ÐÝ ¼¼ ¼¼¼ ÓÙÑ ÒØ ÖÓÑ Ø ÌÖ ¹ ÓÙÑ ÒØ ÓÐÐ Ø ÓÒ Ø ÒÓÛÐ Ò Ö ÕÙ Ö ØÓ ÙÔÔÐÝ Ö Ò Ð Ø Ó Ò Ø Ò Û Ö ÓÖ ÕÙ Ø ÓÒº Ì ÓÖ Ú Ò ØÓ Ô ÖØ Ô ÒØ ÓÒ Û Ö Ò Û Ö ÓÙÖ Ò Ø Ð Ø Ó Ò Ø º Ì ÓÖ Ò ÔÖÓ ÙÖ ÓÒ Ý ØÖ Ò Ò Ú Ù Ð º ÐÐ Ø ÕÙ Ø ÓÒ Ö Ù Ö ÒØ ØÓ Ú Ò Ò Û Ö Ò Ø ÓÐÐ Ø ÓÒº Ï Ó ÌÖ ¹ ÓÙÖ Ø Ø Ø Ù Ø ÕÙ ¹ Ø ÓÒ Ö Ú ÖÝ Û Ðй Ð Ø Ò Ø ÐÐÓÛ ÓÙÖ ÛÓÖ ØÓ ÔÙØ ÒØÓ ÓÒØ ÜØ Û Ø ÓØ Ö Ý Ø Ñ Û Ô ÖØ ¹ Ô Ø Ò Ø ØÖ º ÀÓÛ Ú Ö ÓÙÖ ÜÔ Ö Ñ ÒØ «Ö ÖÓÑ Ø ÌÖ ¹ ÕÙ Ø ÓÒ ØÖ Ò ÓÙÖ Û Ý º Ö Ø ÅÙÐ Ö É Ý Ø Ñ ÓÒ Ø Û Ø Ö ÓÖ Û Ó ÒÓØ Ù Ø ÌÖ ¹ ÓÙÑ ÒØ ÓÐÐ Ø ÓÒ ÓÙÖ ÒÓÛÐ º Ë ÓÒ Ù Û Ó ÒÓØ Ù Ø ÓÖ Ò Ð ÓÙÑ ÒØ ÓÐÐ Ø ÓÒ Ø ÔÓ Ð Ø Ø ÓÑ ÕÙ Ø ÓÒ Û ÐÐ ÒÓØ Ú Ò Û Ö º ÓÖ Ü ÑÔÐ Û Ô ÒØ ÓÙØ ¼ Ñ ÒÙØ Û Ø ÓÓ Ð ÐÓÓ Ò ÓÖ Ø Ò Û Ö ØÓ ÀÓÛ ÑÙ Å ÖÙÖÝ Ô Ò ÓÒ Ú ÖØ Ò Ò ½ Ò ÓÙÐ ÒÓØ Ò Ò Ò Û Öº Ì Ö Ò Û Ó ÒÓØ Ú Ø Ö ÓÙÖ ØÓ ÓÖ ÐÐ Ó ÓÙÖ Ø Ø ÖÙÒ Ñ ÒÙ¹ ÐÐÝ Û ÓÒ ØÖÙØ Ð Ø Ó Ò Û Ö ÓÒ ÌÖ ¹ ³ Ö Ð Ú Ò Ù Ñ ÒØ Ð Ò ÓÙÖ Ñ ÒÙ Ð «ÓÖغ ÙÖ¹ Ø ÖÑÓÖ ÓÑ Ó ÌÖ ¹ ³ Ò Û Ö ØÓ Ð ØÐÝ ÑÓ ÓÖ ÙÔ Ø º ÓÖ Ü ÑÔÐ ÀÓÛ Ø ÐÐ Åغ Ú Ö Ø Ò Ò Û Ö Ø Ö Ò Ñ Ø Ö ÓÖ Ø ÓÒ Ð Ã ÒÒ Ý Û ÌÖ ¹ ³ Ò Û Ö ØÓ Ï Ó ØØÔ»»ØÖ ºÒ غ ÓÚ» Ø»ÕÖ Ð Ò» ÕÖ Ð ºØÖ ºÕ º Þ 156

ÉÙ Ø ÓÒ Ï Ó Ø ÈÖ ÒØ Ó Ò Ï Ø Ø Ò Ñ Ó Ø Ö Ö Ò ÙÖÓÐÓ Ð Û Ø ÝÑÔØÓÑ Ù ÒÚÓÐÙÒØ ÖÝ ÑÓÚ Ñ ÒØ Ø µ Û Ö Ò Ò ÒÓ Ö ÒØ ÚÓ Ð Þ Ø ÓÒ ÖÙÒØ ÓÙØ Øºµ ÀÓÛ Ö ÖÓ Ð ÚÐ ÖÓÑ ÅÓ ÓÛ Ï Ø ÓÙÒØÖÝ Ø Ø ÔÖÓ Ù Ö Ó ØÙÒ Ø Ò Ï Ò Ø ÂÙÖ È Ö Ó Ò Ò Û Ö Ê ÛÐ Ò ÌÓÙÖ ØØ ³ ËÝÒ ÖÓÑ ¾ ¼ Ñ Ð Ò ½ Ñ ÐÐ ÓÒ Ý Ö Ó Ì Ð ½ ËÓÑ ÑÔÐ ÕÙ Ø ÓÒ ÖÓÑ ÌÖ ¹ Û Ø Ò Û Ö ÔÖÓÚ Ý ÅÙÐ Öº Ø ÔÖ ÒØ Ó ËØ Ò ÓÖ ÍÒ Ú Ö ØÝ ÙØ Ø Ö Ö Ô Ö Ø Ø Ø Ñ Ó ÛÖ Ø Ò º ½¼ Ò ÐÐÝ Û Ö ÌÖ ¹ Ô ÖØ Ô ÒØ Ö ÐÐÓÛ ØÓ Ö ØÙÖÒ Ò ÔÔ Ø Ó Ü Ð Ò Ø Ø ÜØ Ø Ò Û Ö ÅÙÐ Ö Ö ØÙÖÒ Ø ÑÓ Ø ÔÖ Ò Û Ö Û Ò Ú Ö ÔÓ Ð º 4.3 Comparison with Other Systems ÁÒ ÓÙÖ Ö Ø ÜÔ Ö Ñ ÒØ Û ÓÑÔ Ö Ø Ù Ö «ÓÖØ Ö ÕÙ Ö ØÓ Ò Ø Ò Û Ö Ò ÌÖ ¹ Ý Ù Ò ÅÙй Ö ÓÓ Ð Ò Â Ú º Í Ö «ÓÖØ Ñ ÙÖ Ù Ò ÛÓÖ Ø Ò Ò Ò Ø ÓÒ º½º Ø ÛÓÖ Ø Ò Ð Ú Ð Û ÓÑÔÙØ Ø Ö ÐÐ ÓÖ Ý ¹ Ø Ñº Ì Ñ Ü ÑÙÑ Ù Ö «ÓÖØ ÓÙÒ Ø ¼¼¼ Û Ö ÔÖ ÒØ ÑÓÖ Ø Ò ½ Ñ ÒÙØ Ó Ö Ò Ý ÒÓÖÑ Ð Ô Ö ÓÒº ÌÓ ÓÑÔ Ö Ø Ý Ø Ñ ÕÙ ÒØ Ø Ø Ú ÐÝ Û ÓÑÔÙØ ØÓØ Ð «ÓÖØ Ø Ö ÐÐ Ö± Ý ÙÑÑ Ò ÙÔ Ø Ù Ö «ÓÖØ Ö ÕÙ Ö ÖÓÑ ¼± Ö ÐÐ ÙÔ ØÓ Ö±º ÙÖ ÓÛ Ø Ö ÙÐØ Ó Ø ÜÔ Ö Ñ Òغ Ì ÜÔ Ö Ñ ÒØ ÓÛ Ø Ø ÅÙÐ Ö ÓÙØÔ Ö ÓÖÑ ÓØ Â Ú Ò ÓÓ Ð º ÅÙÐ Ö ÓÒ Ø ÒØÐÝ Ö ¹ ÕÙ Ö Ð Ù Ö «ÓÖØ ØÓ Ö Ò Ò Û Ö Ø Ò Ø Ö Ý Ø Ñ Ø Ú ÖÝ Ð Ú Ð Ó Ö Ðк Â Ú Ø ÐÓÛ¹ Ø Ð Ú Ð Ó Ö ÐÐ Ø Ñ Ü ÑÙÑ ÖÓÙ ÐÝ ¾¼±º ÓÓ Ð ½¼ Ì ÙÔ Ø Ø Ó ÕÙ Ø ÓÒ Ò Ò Û Ö Ù Ò ÓÙÖ ÜÔ Ö Ñ ÒØ ÔÙ Ð ÐÝ Ú Ð Ð Ø ØØÔ»»ÐÓÒ ÒÙ º ºÛ Ò ØÓÒº Ù»ÑÙÐ Ö»ØÖ ØºÕ º Ö ÕÙ Ö º Ø Ñ ÑÓÖ ØÓØ Ð «ÓÖØ Ø Ò ÅÙÐ Ö Ø º ± Ö ÐÐ ÓÓ Ð ³ Ñ Ü ÑÙÑ Ö Ðеº ÅÙÐ Ö ÔÐ Ý Ò ÑÔÖ Ú Ð ØÝ ØÓ Ò Û Ö ÕÙ Ø ÓÒ «Ø Ú Ðݺ ÙÖ ÓÛ ± Ó Ø ÕÙ Ø ÓÒ Ú Ø ÓÖÖ Ø Ò Û Ö Ø Ö ØÓÔ¹Ö Ò Ö ÙÐØ ÓÑÔ Ö Û Ø ÓÒÐÝ ½± ÓÖ ÓÓ Ð ºµ ÅÙй Ö³ Ö ÐÐ Ö ØÓ ÓÙØ ¼± Ø ½¼¼¼ ÛÓÖ º Ø Ö Ø ÔÓ ÒØ ÅÙÐ Ö³ Ö ÐÐ Ô Ö ÙÒ Ø «ÓÖØ ÖÓÛ Ð Ò¹ ÖÐÝ Ø Ö Ø Ñ Ð Ö ØÓ ÓÓ Ð º Ì ÕÙ Ø ÓÒ Ò Ø Ö ÓÒ Ö Ö Ö ØÓ Ò Û Ö Ò ÓÑ Ó Ø ÓÖÑÙ¹ Ð Ø ÕÙ Ö ÖÓÑ ØÖ Ò ÓÖÑ Ø ÓÒ Ó ÒÓØ Ö ØÖ Ú ÒÝ ÓÙÑ ÒØ Ò ÅÙÐ Ö³ Ô Ö ÓÖÑ Ò Ñ Ð Ö ØÓ Ø Ø Ó ÓÓ Ð º ÅÙÐ Ö Ø ÐÐ Ò ÓÚ Ö ÓÓ Ð ÓÛ Ú Ö Ù ØÓ Ô Ö ÕÙ Ö Ò Ò Û Ö ÜØÖ Ø ÓÒº Ì Ð ØØ Ö ÐØ Ö ÓÙØ ÖÖ Ð Ú ÒØ Ø ÜØ Ó Ø Ø Ù Ö Ò Ò Ò Û Ö Û Ø ÅÙÐ Ö Û Ð Ö Ò Ö Ð Ø ÜØ Ø Ò Ø Ý ÛÓÙÐ Ù Ò ÓÓ Ð º Ò ÐÐÝ ÅÙÐ Ö³ ÙÖÚ ÜØ Ò ÝÓÒ Ø Ö Ô ØÓ ÓÙØ ½¼ ¼¼¼ ÛÓÖ Ò ¹ Ò Ø ±º ÓÒ ÓÙÖ Ð Ñ Ø Ø Ø Ò Û Ô ÙÐ Ø Ø Ø Ó Ø ¾ ± ÙÒ Ò Û Ö ÕÙ Ø ÓÒ ÓÙØ ½¼± Ò¹ ÒÓØ Ò Û Ö Û Ø Ô Ò Ü Ý ÓÓ Ð Ø Ø Ø Ñ Ó ÛÖ Ø Ò Ò Ø Ö Ñ Ò Ò ½ ± Ö ÕÙ Ö ÑÓÖ ÓÔ Ø Ø Ö ØÖ Ø º ÖÓÑ ÓÙÖ Ö ÙÐØ Û Ò Ð Ó Ø Ð Ñ Ø Ö ÐÐ Ó Â Ú º Ì Ù Ø Ø Ø Ö Ò Ò Û Ø ÓÓ Ö Ò Ò ÙÒØ ÓÒ Ò Û ÓÚ Ö ØØ Ö Ø Ò ÒÓÒ¹ ÙØÓÑ Ø É Ý Ø Ñ Ò Ò Û Ö Ò ÕÙ Ø ÓÒ º %of questions answered (recall) 70 60 50 40 30 20 10 Mulder Google AskJeevesJ 0 0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 user effort (word distance) ÙÖ Ê ÐÐ Ú º Ù Ö «ÓÖØ ÅÙÐ Ö Ú Ö Ù ÓÓ Ð Ú Ö Ù Â Ú º ÇÒ Ú Ö ÓÓ Ð Ö ÕÙ Ö º Ø Ñ Ø ØÓØ Ð «ÓÖØ Ó ÅÙÐ Ö ØÓ Ú Ø Ñ Ð Ú Ð Ó Ö Ðк Â Ú ³ Ô Ö¹ ÓÖÑ Ò Ù Ø ÒØ ÐÐÝ ÛÓÖ º 4.4 Contributions by Component ÇÙÖ ÓÒ ÜÔ Ö Ñ ÒØ ÒÚ Ø Ø Ø ÓÒØÖ ÙØ ÓÒ Ó ÓÑÔÓÒ ÒØ Ó ÅÙÐ Ö ØÓ Ø Ô Ö ÓÖÑ Ò º Ï ÓÑÔ Ö ÅÙÐ Ö ØÓ Ø Ö «Ö ÒØ Ú Ö ÒØ Ó Ø Ð Û Ø Ò Ð Ñ Ò ÓÑÔÓÒ ÒØ ÅÙÐ Ö Û Ø ÓÙØ ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ Å¹É µº Ï Ø Û Ý Ø ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ ÑÓ ÙÐ Ò Ù ÓÒÐÝ Ø ÕÙ Ø ÓÒ ØÓ Ø Ö Ò Ò º ÅÙÐ Ö Û Ø ÓÙØ Ò Û Ö ÜØÖ Ø ÓÒ Å¹ µ Ï Ø ÓÙØ Ò Û Ö ÜØÖ Ø ÓÒ Û ÐÓ Ø Ò Û Ö Ò Ø Ý Ø Ñ Ù Ò Ø Ñ ÔÔÖÓ Û Ù ÓÖ ÓÓ Ð Ò Ø ÔÖ Ú ÓÙ ÜÔ Ö Ñ Òغ ÌÓ Ð Ò Ö Þ Ø Ö ÙÐØ Ö ØÖ Ú ÖÓÑ ÑÙÐØ ÔÐ ÕÙ Ö Û ÓÖ¹ Ö ÕÙ Ö Ò ÓÖ Ö Ó Ò Ö Ð ØÝ Ø ÖØ Ò ÖÓÑ Ø ÑÓ Ø Ô ÕÙ Öݺ Ì Ò Ö ÙÐØ ÖÓÑ ÕÙ ÖÝ Ö Ð Ø Ò Ö Ø ¹ Ö Ø Ñ ÒÒ Öº ÌÓ ÐÐÙ ¹ ØÖ Ø ÙÔÔÓ Ö Ø Ø Ö ÙÐØ ÖÓÑ Ø Ø ÕÙ ÖÝ Ò Û Ú Ò ÕÙ Ö º Ì ÓÖ Ö ÛÓÙÐ Ö½ ½ Ö¾ ½ Ö Ò ½ Ö½ ¾ Ö Ò ¾ Ò Ó ÓÒº Ö Ò ÛÓÙÐ Ø Ø Ö ÙÐØ ÖÓÑ Ø ÓÖ Ò Ð ÙÒ¹ ÓÖÑÙÐ Ø ÕÙ ÖÝ Ò Ø Ø ÑÓ Ø Ò Ö Ðº 157

70 60 %of questions answered (recall) 50 40 30 20 Mulder 10 M - X M - V M - QF Google 0 0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 user effort (word distance) ÙÖ Ê ÐÐ Ú º Ù Ö «ÓÖØ ÅÙÐ Ö Ú Ö Ù «Ö ÒØ ÓÒ ÙÖ Ø ÓÒ Ó Ø Ð ¹ Û Ø ÓÙØ ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ Å¹É µ Û Ø ÓÙØ Ò Û Ö ÜØÖ Ø ÓÒ Å¹ µ Ò Û Ø ÓÙØ ÚÓØ Ò Å¹Îµº ÓÓ Ð Ø Ð Ò º ËÝ Ø Ñ ÅÙÐ Ö Å¹Î Å¹É Å¹ ÓÓ Ð ØÓØ Ð «ÓÖØ ØÓØ Ð «ÓÖØ ÅÙÐ Ö ½º¼ ¾º º¼ º º Ì Ð ¾ È Ö ÓÖÑ Ò Ó ÅÙÐ Ö Ú Ö ÒØ Ò ÓÓ Ð ÑÙÐØ ÔÐ Ó ØÓØ Ð «ÓÖØ Ö ÕÙ Ö Ý ÅÙÐ Ö Ø º ± Ö Ðк ÐÐ Ø Ö ÅÙÐ Ö Ú Ö ¹ ÒØ Ô Ö ÓÖÑ ÛÓÖ Ø Ò ÅÙÐ Ö ÙØ ØØ Ö Ø Ò ÓÓ Ð º Ì ÜÔ Ö Ñ ÒØ Ù Ø Ø Ø Ò Û Ö ÜØÖ Ø ÓÒ Å¹ µ Ø ÑÓ Ø ÑÔÓÖØ ÒØ Óй ÐÓÛ Ý ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ Å¹É µ Ò Ò ÐÐÝ ÚÓØ Ò Å¹Îµº ÅÙÐ Ö Û Ø ÓÙØ ÚÓØ Ò Å¹Îµ ÁÒ Ø Ý Ø Ñ Û Ö ÔÐ ÚÓØ Ò Ý ÑÔÐ Ñ Ø Ò Ò Ø Ò Û Ö Ø Ñ ÓÖ Ú Ò ØÓ Ø ÙÑÑ Ö ÖÓÑ Û Ø ÝÛ Ö ÜØÖ Ø ÖÓѺ ÁÒ Ø ÓÒ Û ÒÐÙ ÓÓ Ð Ð Ò ÓÖ Óѹ Ô Ö ÓÒº Ò Ø Ö Ø ÜÔ Ö Ñ ÒØ Û ÓÑÔ Ö Ø Ý ¹ Ø Ñ ³ Ô Ö ÓÖÑ Ò ÓÒ Ö ÐÐ Ò Ù Ö «ÓÖغ ÙÖ ÐÐÙ ØÖ Ø Ø Ö ÙÐØ º ÙÖ ÓÛ Ø Ø Ø ÐÐ Ö ÐÐ Ð Ú Ð Ý Ø Ñ Û Ø Ñ Ò ÓÑÔÓÒ ÒØ Ô Ö ÓÖÑ ÛÓÖ Ø Ò ÅÙÐ Ö ÙØ ØØ Ö Ø Ò ÓÓ Ð º ÑÓÒ Ø Ñ Å¹Î ÔÔ Ö ØÓ Ô Ö¹ ÓÖÑ ØØ Ö Ø Ò Å¹É Ò Å¹ ØÖ Ð ÓØ º Ì Ð ¾ ÓÛ ØÓØ Ð Ù Ö «ÓÖØ ÓÖ Ý Ø Ñ ÑÙÐØ ÔÐ Ó ÅÙÐ Ö³ Ø º ± Ö ÐÐ ÓÓ Ð ³ Ñ Ü ÑÙѺ Ì ÒÙÑ Ö Ù Ø Ø Ø Ò Û Ö ÜØÖ Ø ÓÒ Ø ÑÓ Ø ÑÔÓÖØ ÒØ ÓÐÐÓÛ Ý ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ Ò ÚÓØ Ò Ð Øº Ò Û Ö ÜØÖ Ø ÓÒ ÔÐ Ý Ñ ÓÖ ÖÓÐ Ò Ø ÐÐ Ò Ø ÜØ Û Ú Ù Ö ÐÓØ Ó Ø Ñ º ÉÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ ÐÔ ÒØÛÓ Û Ý Ö Ø Ý ÓÖÑ Ò ÕÙ Ö Û Ø ÐØ ÖÒ ¹ Ø Ú ÛÓÖ Ø Ø ÑÔÖÓÚ Ø Ò Ó Ò Ò Ò Û Ö ÓÒ Ý ØØ Ò ØÓ Ø Ö Ð Ú ÒØ Ô ÓÓÒ Öº Ì ÔÓ Ø Ú «Ø Ó ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ Ò Ð Ó Ò Û Ø Ø ÑÔÖÓÚ Ñ ÒØ ÒŹ ÓÚ Ö ÓÓ Ð Û ÜÔ Ø Ø «Ø ØÓ ÑÙ ÑÓÖ ÔÖÓÒÓÙÒ Û Ø ÓØ Ö Ð ÑÔÖ Ú Ö Ò Ò Ù ÐØ Î Ø ½½ Ò ÁÒ ¹ ØÓÑ º ½¾ Ò ÐÐÝ ÚÓØ Ò Ø Ð Ø Ð Ñ ÒØ Ø Ø Ò Ò Ò Û Ö ÜØÖ Ø ÓÒº Ï Ø ÓÙØ ÚÓØ Ò Å¹Î ÓÒÐÝ Ö ½ ± Ö ÐÐ Ø «ÓÖØ ¼ Û Ø ÚÓØ Ò Ø ÒÙÑ Ö ÓÙ¹ Ð º ÁØ ÓÛ Ú Ö Ð «Ø Ú Ø Ö ½ ¼¼ ÛÓÖ ¹ Ù Ø ÓÑ ÆÙÐØ ØÓ Ò ÒÝ ÓÖÖ Ø Ò Û Ö Ø Ø Ø ÔÓ Òغ 5. RELATED WORK ÐØ ÓÙ ÕÙ Ø ÓÒ Ò Û Ö Ò Ý Ø Ñ Ú ÐÓÒ ¹ ØÓÖÝ Ò ÖØ Ð ÁÒØ ÐÐ Ò ÔÖ Ú ÓÙ Ý Ø Ñ Ú Ù ÔÖÓ ÓÖ Ðݹ Ø ÒÓÛÐ º º Ù Ø¹Ö Ð Ø ÓÒ¹Ó Ø ØÙÔÐ ½ Ø Ð Ø Ó Ö ¹ ÕÙ ÒØÐÝ ÕÙ Ø ÓÒ Ø Ó Ò Û Ô Ô Ö ÖØ ¹ Ð ½ Ò Ò ÒÝÐÓÔ ¾¼ µ Ø Ö ÓÙÒ ¹ Ø ÓÒº Ö Û ÒÓÛ ÅÙÐ Ö Ø Ö Ø ÙØÓÑ Ø ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ý Ø Ñ Ø Ø Ù Ø ÙÐÐ Û Ø ÒÓÛÐ º Â Ú ½ ÓÑÑ Ö Ð ÖÚ Ø Ø ÔÖÓÚ Ò ØÙÖ Ð Ð Ò Ù ÕÙ Ø ÓÒ ÒØ Ö ØÓ Ø Û ÙØ Ø Ö Ð ÓÒ ÙÒ Ö Ó ÙÑ Ò ØÓÖ ØÓ Ñ Ô ØÛ Ò ÕÙ Ø ÓÒ Ø ÑÔÐ Ø Ò ÙØ ÓÖ Ø Ø Ú Ø º ½½ ØØÔ»»ÛÛÛº ÐØ Ú Ø ºÓÑ ½¾ ØØÔ»»ÛÛÛº Ò ØÓÑ ºÓѺ ÁÒ ØÓÑ ÔÓÛ Ö Û Ø Ù ØØÔ»»ÛÛÛº ÓØ ÓغÓÑ Ò ØØÔ»»ÛÛÛº Ò ÔºÓѺ ½ ØØÔ»»ÛÛÛº ºÓÑ 158

Ì Ï ÐÓÔ ÔÖÓ Ø ½ ÔÔ Ö ØÓ ØØ Ò Ø Ñ ÔÖÓ Ð Ñ ÅÙÐ Ö ÙØ Û Ö ÙÒ Ð ØÓ Ò ÒÝ ÔÙ Ð Ø ÓÒ ÓÖ Ø Ý Ø Ñ Ò ÖÓÑ Ø Ò Ó ÙÒØ ÓÒ Ò Û ÒØ Ö Ø ÔÔ Ö ØÓ Ø ÐÐ Ò Ø Ú Ú ÐÓÔÑ Òغ ËÌ ÊÌ ½ ÓÒ Ó Ø Ö Ø É Ý Ø Ñ Û Ø Û ÒØ Ö Ú Ò Ò Ú Ð Ð Ò ½ º ÓÙ ÓÒ ÕÙ Ø ÓÒ ÓÙØ Ó Ö Ô Ý Ò Ø ÅÁÌ ÁÒ ÓÄ ËÌ ÊÌ Ù ÔÖ ÓÑÔ Ð ÒÓÛÐ Ò Ø ÓÖÑ Ó Ù Ø¹Ö Ð Ø ÓÒ¹Ó Ø ØÙÔÐ Ò Ö ØÖ Ú Ø ØÙ¹ ÔÐ Ø ÖÙÒØ Ñ ØÓ Ò Û Ö ÕÙ Ø ÓÒ º ÇÙÖ ÜÔ Ö Ò Û Ø Ø Ý Ø Ñ Ù Ø Ø Ø Ø ÒÓÛÐ Ö Ø Ö Ð Ñ Ø º º Ø Ð ÓÒ ÑÔÐ ÕÙ Ö Ù Ï Ø Ø Ø Ö Ø ÑÓÙÒØ Ò Ò Ø ÛÓÖÐ Ì Ñ Ò Ð ÅÍÊ ¾¼ Ù Ò ÒÝÐÓÔ ÒÓÛÐ Ò ÓÖ Ö ØÓ Ò Û Ö ØÖ Ú ¹ØÝÔ ÕÙ ¹ Ø ÓÒ º ÅÍÊ ÓÑ Ò ÓÓÐ Ò Ö Ò Ò Û Ø ÐÐÓÛ Ô Ö Ö ØÓ Ö ØÖ Ú Ö Ð Ú ÒØ Ø ÓÒ Ó Ø Ò¹ ÝÐÓÔ Ò ØÓ ÜØÖ Ø ÔÓØ ÒØ Ð Ò Û Ö º Ì Ò Ð Ò Û Ö Ø ÖÑ Ò Ý ÒÚ Ø Ø Ò Ø Ô Ö Ð Ö Ð ¹ Ø ÓÒ Ô ØÛ Ò ÛÓÖ Ø Ø ÔÔ Ö Ò Ø ÕÙ Ø ÓÒº ÓÖ Ò ØÓ Ø ÙØ ÓÖ ÅÍÊ ³ Û Ô Ö ÓÖÑ Ò Ø Ñ ÖÓÑ Ø Ø Ø Ø Ø Ú ØÓÖ Ô ÑÓ Ð Ó Ö ¹ ØÖ Ú Ð Ò ÙÆ ÒØ ÓÖ É Ø Ð Ø Û Ò ÔÔÐ ØÓ Ð Ö ÓÖÔÙ Ð Ò ÒÝÐÓÔ º Ê ÒØÐÝ Í Ò Ø É Ð ÓÐÐ Ø ÓÒ Ó Ö ÕÙ ÒØÐÝ ÕÙ Ø ÓÒ Ò Ò Û Ö ÓÒ ØÖÙØ Ý ÙÑ Ò ÜÔ ÖØ µ Ú ÓÑ ÔÓÔÙÐ Ö Ó Ó ÒÓÛÐ Ù Ø Ý Ö Ñ ÐÐ ÓÚ Ö Û Ú Ö ØÝ Ó ØÓÔ Ò Ú ÓÒØ ÒعØÓ¹ÒÓ Ö Ø Óº ÙØÓ¹ É ¼ Û Ò ÖÐÝ Ý Ø Ñ Ð Ñ Ø ØÓ Û É Ð º É Ò Ö ÑÓÖ ÓÑÔÖ Ò Ú Ý Ø Ñ Û Ù Ú ØÓÖ¹ Ô ÁÊ Ò Ò ØÓ Ö ØÖ Ú Ð Ø Ó Ö Ð Ú ÒØ É Ð ÖÓÑ Ø ÕÙ Ø ÓÒº Ø Ö Ø Ù Ö Ð Ø É Ð ÖÓÑ Ø Ð Ø Ø Ý Ø Ñ ÔÖÓ ØÓ Ù ÕÙ Ø ÓÒ ÝÛÓÖ ØÓ Ò ÕÙ Ø ÓÒ¹ Ò Û Ö Ô Ö Ò Ø É Ð Ø Ø Ø Ñ Ø Ø Ù Ö³ ÕÙ Ø ÓÒº ÉÙ Ø ÓÒ Ñ Ø Ò ÑÔÖÓÚ Ý Ù Ò ÏÓÖ Æ Ø ¾¾ ÝÔ ÖÒÝÑ ØÓ ÜÔ Ò Ø ÔÓ Ð ÝÛÓÖ º ÒÓØ Ö Ý Ø Ñ ¾ Ù ÔÖ ÓÖ ØÝ ÝÛÓÖ Ñ Ø Ò ØÓ ÑÔÖÓÚ Ö ØÖ Ú Ð Ô Ö ÓÖÑ Ò º à ÝÛÓÖ Ö Ú ÒØÓ ¹ Ö ÒØ Ð Ô Ò Ò ÓÒ Ø Ö ÑÔÓÖØ Ò Ò Ö ÓÖ «Ö ÒØÐݺ Î Ö ÓÙ ÑÓÖÔ ÓÐÓ Ð Ò Ð Ü Ð ØÖ Ò ÓÖÑ Ø ÓÒ Ö Ð Ó ÔÔÐ ØÓ ÛÓÖ ØÓ ÑÔÖÓÚ Ñ Ø Ò º ÅÙÐ Ö Ù Ñ Ð Ö Ý ÔÔÐÝ Ò Á ÓÖ ØÓ Ø Ñ Ø Ø ÑÔÓÖØ Ò Ó ÛÓÖ º Ì Ö Ö Ð Ó Ñ ÒÝ Ò Û É Ý Ø Ñ Ô ÛÒ Ò ÖÓÑ Ø ÌÖ ¹ É ÓÑÔ Ø Ø ÓÒ ¾ Ø ½ Á ÐÐ ËÝÑÔÓ ÙÑ ÓÒ ÉÙ Ø ÓÒ Ò Û Ö Ò ½¼ Ò Ø Å ¹ ÍÒ Ö Ø Ò Ò ÓÒ Ö Ò ½ º Ë Ò Ø ÌÖ ¹ ÓÑÔ Ø Ø ÓÒ ÔÖÓÚ Ö Ð Ø Ú ÐÝ ÓÒØÖÓÐÐ ÓÖÔÙ ÓÖ Ò ÓÖÑ Ø ÓÒ ÜØÖ Ø ÓÒ Ø Ó Ø Ú Ò Ø Ò ÕÙ Ù Ý Ø Ý Ø Ñ Ö ÓÑ Û Ø «Ö ÒØ ÖÓÑ Ø Ó Ó ÅÙÐ Öº ÁÒ ÑÓ Ø ÌÖ ¹ Ý Ø Ñ Ù ÑÔÐ ÝÛÓÖ ¹ Ö ØÖ Ú Ð Ñ Ò Ñ Ò Ø ÓÙ Ò ÓÒ Ø Ò ÕÙ ØÓ ÑÔÖÓÚ Ø ÙÖ Ý Ó Ò Û Ö ÜØÖ ¹ Ø ÓÒº Ï Ð «Ø Ú ÒÌÖ ¹ Ù Ñ Ò Ñ Ó ÒÓØ Ð Û ÐÐ ØÓ Ø Û º ÙÖØ ÖÑÓÖ Ø Ý Ø Ñ Ú ÒÓØ Ö Ø ÔÖÓ Ð Ñ Ó ÒÓ ÓÖ ÒÓÖÖ Ø Ò ÓÖÑ Ø ÓÒ Û ÔÐ Ù Ø Û º ÐÓØ Ó ÓÑÑÓÒ Ø Ò ÕÙ Ö Ö ÑÓÒ Ø ÌÖ ¹ Ý Ø Ñ ÑÓ Ø ½ ØØÔ»»ÛÛÛº º Ù»Ò ØÙÖ Ð¹Ð Ò Ù»ÔÖÓ Ø» Û ÐÓÔ» ÒÓØ ÐÝ ÕÙ Ø ÓÒ Ð Ø ÓÒ Ñ Ò Ñ Ò Ò Ñ ¹ ÒØ ØÝ Ø Ò º ÉÙ Ø ÓÒ Ð Ø ÓÒ Ñ Ø Ó Ò ÐÝÞ ÕÙ Ø ÓÒ Ò ÓÖ Ö ØÓ Ø ÖÑ Ò Û Ø ØÝÔ Ó Ò ÓÖÑ Ø ÓÒ Ò Ö ¹ ÕÙ Ø Ó Ø Ø Ø Ý Ø Ñ Ñ Ý ØØ Ö Ö Ó Ò Þ Ò Ò¹ Û Öº Å ÒÝ Ý Ø Ñ Ò Ö Ö Ý Ó Ò Û Ö ØÝÔ Ò Ù Ø Ö Ø Û ÛÓÖ Ó Ø ÕÙ Ø ÓÒ ØÓ Ø ÖÑ Ò Û Ø ØÝÔ Ó Ò Û Ö Ø ÜÔ Ø Ù ¾ ¾ µº ÀÓÛ¹ Ú Ö Ù Ð Ò ÓÑÔÐ Ø ÕÙ Ø ÓÒ Ø ÜÓÒÓÑÝ Ö ÕÙ Ö Ü Ú Ñ ÒÙ Ð «ÓÖØ Ò Û ÐÐ ÒÓØ ÓÚ Ö ÐÐ ÔÓ Ð º ÓÖ Ò Ø Ò Û Ø ÕÙ Ø ÓÒ Ò Ó Ø Û Ø Ñ ÒÝ ÒÓÙÒ Ù Ø Ù Û Ø Ø Û Ø ÙÖ¹ Ö ÒÝ Ò Û Ø Ñ Ñ Ö º Ì Ù Ø Ò Ð Ó ÓÙÖ Ò Ñ ÒÝ ÔÓ Ø ÓÒ Ò Ø ÕÙ Ø ÓÒº ÁÒ ÓÒØÖ Ø ÅÙÐ Ö Ù ÑÔÐ ÕÙ Ø ÓÒ Û ¹Ô Ö Ñ Ø Ò Ñ Ò Ñ Û Ø ÓÑ Ò Ð Ü Ð Ò Ñ ÒØ ÔÖÓ Ò ØÓ Ð ¹ Ý Ø Ù Ø Ó Ø ÕÙ Ø ÓÒ Û Ø ÙÖ Ýº Æ Ñ ¹ ÒØ ØÝ Æ µ Ø Ò Ó Ø Ô Ö ÓÖ ÛÓÖ Û Ø Ø Ñ ÒØ º ÓÖ Ü ÑÔÐ Ö Ó¹ Ø Û Ø ÓÙÒØÖÝ ÂÓ Ò Û Ø Ô Ö ÓÒ Ò ½º¾ Ò Û Ø Ð Ò Ø º ÅÓ Ø Ó Ø Æ Ø Ö Ö ØÖ Ò ÓÒ Ø ÓÖÔÙ Ù Ò Ø Ø Ø Ð Ð Ò Ù ÔÖÓ Ò Ø Ò ÕÙ Ò Ö ÔÓÖØ Ö Ð Ø Ú ÐÝ Ù¹ Ö Ý º É Ý Ø Ñ Ù Ø Æ Ø Ö ØÓ Ø Ô Ö Ò Ø ÕÙ Ø ÓÒ Û ÐÐ Ø Ö ØÖ Ú ÓÙÑ ÒØ º Ì ÒÙÑ Ö Ó Ò Ø Ò Û Ö Ò Ö ØÐÝ Ö Ù Ø Ý Ø Ñ ÓÒÐÝ Ð Ø Ò Û Ö Ø Ø Ú Ø Ö ÕÙ Ö Ø ØÝÔ º Å ÒÝ Ý Ø Ñ Ö ÔÓÖØ ÚÓÖ Ð Ö ÙÐØ Û Ø Æ Ø Ò º º ¾ º Ï Ð Ú Æ Ø Ö ÛÓÙÐ Ù ÙÐ Ø ÓÒ ØÓ ÅÙÐ Ö ÙØÛ Ð Ó Ð Ú É Ý Ø Ñ ÓÙÐ ÒÓØ Ö ÐÝ ØÓÓ Ú ÐÝ ÓÒ Æ Ø Ò Ø ÒÙÑ Ö Ó Ò Û Ø ÖÑ Ò Ò ÖÓÛ Ö Ô ÐÝ ÓÒ Ø Û º Ê Ð Ø ÓÒ Ô ØÛ Ò ÛÓÖ Ò ÔÓÛ Ö ÙÐ Ñ ¹ Ò Ñ ØÓ Ö ÓÚ Ö Ò Û Ö º Ñ ÒØ ÓÒ ÔÖ Ú ÓÙ ÐÝ Ø ËÌ ÊÌ Ý Ø Ñ Ù Ù Ø¹Ö Ð Ø ÓÒ¹Ó Ø Ö Ð ¹ Ø ÓÒ Ô º Ä Ê Ö ³ É Ý Ø Ñ ¾ Ô Ö ÐÐ Ò¹ Ø Ò ÖÓÑ Ö ØÖ Ú ÓÙÑ ÒØ Ò ÓÖÑ Ñ ÒØ Ö Ð Ø ÓÒ ØÖ ÔÐ Û ÓÒ Ø Ó ÓÙÖ ÒØ ØÝ ¹ Ñ ÒØ Ö Ð Ø ÓÒ Ø Ø Ö Ø Ö Þ Ø ÒØ Øݳ ÖÓÐ Ò Ø ÒØ Ò Ò ÓÚ ÖÒ Ò ÛÓÖ ØÓ Û Ø ÒØ ØÝ Ø Ò Ò Ø Ñ ÒØ Ö Ð Ø ÓÒº ÒÓØ Ö Ý Ø Ñ ¹ Ö Ý À Ö Ù ½ Ú Ö Ô Ø Ð Ö ÙÐØ ÓÖ ÌÖ ¹ Ý Ö ÓÒ Ò Û Ø Ð Ò ØÛ Ò ÛÓÖ Û Ö Ó Ø Ò ÖÓÑ Ø Ô Ò Òݹ Ø Ø Ø ¹ Ð Ô Ö Ö ½¾ º À Ö Ù³ Ý Ø Ñ Ö Ø Ô Ö Ø ÕÙ ¹ Ø ÓÒ Ò Ø Ö ØÖ Ú ÓÙÑ ÒØ ÒØÓ ÛÓÖ Ð Ò º ÁØ Ø Ò ØÖ Ò ÓÖÑ Ø Ð Ò ÒØÓ ÐÓ Ð ÓÖÑ º Ì Ò Û Ö Ð Ø Ù Ò Ò Ò Ö Ò ÔÖÓ ÙÖ ÙÔ¹ ÔÐ Ñ ÒØ Ý Ò ÜØ ÖÒ Ð ÒÓÛÐ º Ï Ð Ú Ñ Ò Ñ Ó Ø ØÝÔ ÛÓÙÐ Ú ÖÝ Ù ÙÐ Ò Ö Ù¹ Ò Ø ÒÙÑ Ö Ó Ò Û Ö Ò Ø Ò ÅÙÐ Öº 6. FUTURE WORK Ð ÖÐÝ Û Ò Ù Ø ÒØ ÐÐÝ ÑÓÖ ÜÔ Ö Ñ ÒØ Ð Ú ÐÙ Ø ÓÒ ØÓ Ú Ð Ø ÅÙÐ Ö³ ØÖÓÒ Ô Ö ÓÖÑ Ò Ò ÓÙÖ Ò Ø Ð ÜÔ Ö Ñ ÒØ º Ï ÔÐ Ò ØÓ ÓÑÔ Ö ÅÙÐ Ö Ò Ø Ø ÓÒ Ð Ö ÖÚ Ò Ò Ø ØÖ ¹ Ø ÓÒ Ð ÒÝÐÓÔ º ÁÒ Ø ÓÒ Û ÔÐ ÒØÓ Ú ÐÙ Ø ÅÙÐ Ö Ù Ò Ø ÓÒ Ð ÕÙ Ø ÓÒ Ø Ò Ø ÓÒ Ð Ô Ö ÓÖÑ Ò Ñ ØÖ º Ï ÔÐ Ò ØÓ ÓÒ ÙØ ÓÒØÖÓÐÐ Ù Ö ØÙ ØÓ Ù Ø ÙØ Ð ØÝ Ó ÅÙÐ Ö ØÓ Û Ù Ö º Ò ÐÐÝ Û Ú ÓÒ Û Ø ÔÖ Ú ÓÙ Ö Ö 159

ÔÖÓØÓØÝÔ Û ÔÐ Ò ØÓ Ø Ö Ø ÓÒ Ø Ô Ö ÓÖÑ Ò Ó Ø ÔÐÓÝ Ú Ö ÓÒ Ó ÅÙÐ Ö Ò ÔÖ Ø º Å ÒÝ ÐÐ Ò Ö Ñ Ò Ó ÅÙÐ Öº ÇÙÖ ÙÖ¹ Ö ÒØ ÑÔÐ Ñ ÒØ Ø ÓÒ ÙØ Ð Þ Ð ØØÐ Ó Ø Ñ ÒØ Ò ÝÒØ Ø Ò ÓÖÑ Ø ÓÒ Ú Ð Ð ÙÖ Ò Ò Û Ö ÜØÖ ¹ Ø ÓÒº Ï Ð Ú ÓÙÖ Ö ÐÐ Û ÐÐ ÑÙ Ö Ø ØÓÖ Ö Ø Ò ÒØÓ ÓÒ Ö Ø ÓÒº Ì Ö Ö Ñ ÒÝ Ð Ñ ÒØ Ø Ø Ò Ø ÖÑ Ò Ø ØÖÙØ Ó Ò Ò Û Öº ÓÖ Ü ÑÔÐ Ø Ð Ø¹ÑÓ Ò¹ ÓÖÑ Ø ÓÒ ÖÓÑ Û Ô Ò Ø ÐÐ Ù ÓÛ Ö ÒØ Ø Ô Ò Ø Ò Û Ö º Ì ÙØ ÓÖ ØÝ Ó Ô Ð Ó ÑÔÓÖØ ÒØ Ò ÙØ ÓÖ Ø Ø Ú Ø Ö Ð ÐÝ ØÓ Ú ØØ Ö ÓÒØ ÒØ Ò ÑÓÖ ÙÖ Ø Ò Û Ö º ÁÒ ÙØÙÖ Ú Ö ÓÒ Ó ÅÙÐ Ö Û Ñ Ý ÒÓÖÔÓÖ Ø Ø Ð Ñ ÒØ ÒØÓ ÓÙÖ Ò Û Ö Ð Ø ÓÒ Ñ Ò Ñº Ï Ö Ð Ó ÑÔÐ Ñ ÒØ Ò ÓÙÖ ÓÛÒ Ö Ò Ò Ò ÔÐ Ò ØÓ ÒØ Ö Ø ÅÙÐ Ö Û Ø Ø Ò Üº Ï ÜÔ Ø Ø Ø Ò Ú ÐÙ Ø ÓÒ Ó Ø Ø Ø ØÖÙØÙÖ Ò ÒØ ¹ Ö Ø Ð ÓÖ Ø Ñ Û ÐÐ ÔÖÓÚ Ñ ÒÝ ÐÐ Ò º Ì Ö Ö Ñ ÒÝ Ú ÒØ ØÓ ÐÓ Ð Ö Ò Ò Ø ÑÓ Ø Ó Ú ÓÙ Ò Ö Ù Ò ØÛÓÖ Ð Ø Ò ÓÖ ÕÙ ÖÝ Ò Ò Ö ØÖ Ú Ò Û Ô º Ï Ñ Ý Ð Ó ÑÔÖÓÚ Ø Æ¹ ÒÝ Ò ÙÖ Ý ÓÖ É Û Ø Ò ÐÝ Ó Ð Ö Ó¹ ÙÑ ÒØ ÓÐÐ Ø ÓÒº ÇÒ Ú ÒØ Ó ÓÑ ¹ ÖÓÛÒ Ö Ò Ò ÓÙÖ Ñ ÐÐ Ö ÓÚ Ö Ò Û ÓÒÓØ Ú Ø Ö ÓÙÖ Ó ÓÑÑ Ö Ð Ö Ò Ò º ÀÓÛ¹ Ú Ö Û Ø ÓÙ Û Ö ÛÐ Ò Ø Ò ÕÙ Û Ñ Ý Ð ØÓ Ó Ø Ò Ú ÖÝ ÕÙ Ð ØÝ É ÒÓÛÐ Û Ø ÓÙÖ Ð Ñ Ø Ö ÓÙÖ º 7. CONCLUSION ÁÒ Ø Ô Ô Ö Û Ø ÓÙØ ØÓ ÒÚ Ø Ø Û Ø Ö Ø ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ø Ò ÕÙ ØÙ Ò Ð Ð Ò ÓÖ¹ Ñ Ø ÓÒ Ö ØÖ Ú Ð Ò Ð ØÓØ Û º Ï Ð ¹ Ø ÓÒ Ð ÛÓÖ Ò ÖÝ ØÓ ÓÔØ Ñ Þ Ø Ý Ø Ñ Ó Ø Ø Ø Ò ÙÔÔÓÖØ ÛÓÖ ÐÓ Û Ø Ø Ö ÔÓÒ ÓÙÖ Ò Ø Ð ÜÔ Ö Ñ ÒØ Ö ÔÓÖØ Ò Ë Ø ÓÒ µ Ö ÒÓÙÖ¹ Ò º ÇÙÖ ÒØÖ Ð ÓÒØÖ ÙØ ÓÒ Ö Ø ÓÐÐÓÛ Ò Ï Ð ØØÔ»»ÑÙÐ ÖºÜ Ø Ö Ø Ò Ö Ð¹ ÔÙÖÔÓ ÙÐÐݹ ÙØÓÑ Ø ÕÙ Ø ÓÒ¹ Ò Û Ö Ò Ý ¹ Ø Ñ Ú Ð Ð ÓÒ Ø Û º ÅÙÐ Ö ÓÒ ÒÓÚ Ð Ö Ø ØÙÖ Ø Ø Óѹ Ò Ò ÓÖÑ Ø ÓÒ Ö ØÖ Ú Ð Û Ø Ø Ó Ó Ø ¹ Ø Ø Ð Ò ØÙÖ Ð Ð Ò Ù ÔÖÓ Ò Ð Ü Ð Ò Ðݹ ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ Ò Û Ö ÜØÖ Ø ÓÒ Ò ÚÓع Ò º Ï Ô Ö ÓÖÑ Ò Ð Ø ÓÒ ÜÔ Ö Ñ ÒØ Û ÓÛ Ø Ø Ñ ÓÖ ÓÑÔÓÒ ÒØ Ó ÅÙÐ Ö ÕÙ ÖÝ ÓÖÑÙÐ Ø ÓÒ Ò Û Ö ÜØÖ Ø ÓÒ Ò ÚÓع Ò µ ÓÒØÖ ÙØ ØÓ Ø Ý Ø Ñ³ ÓÚ Ö ÐÐ «Ø Ú ¹ Ò º Ï ÓÒ ÙØ ÑÔ Ö Ð ÜÔ Ö Ñ ÒØ Û ÓÛ Ø Ø ÅÙÐ Ö Ö Ù Ù Ö «ÓÖØ Ý ØÓÖ Ó º Û Ò ÓÑÔ Ö Û Ø ÓÓ Ð º Ï Ð Ó ÑÓÒ ØÖ Ø Ø Ö ¹ ÓÐ Ú ÒØ Ò Ö ¹ ÐÐ Û Ò ÓÑÔ Ö Ò ÓÙÖ ÙÐÐݹ ÙØÓÑ Ø ÅÙÐ Ö Ý Ø Ñ Û Ø Ø Ñ ÒÙ ÐÐݹÓÒ ØÖÙØ Â Ú º ÇÙÖ ÛÓÖ Ø Ô ØÓÛ Ö Ø ÙÐØ Ñ Ø Ó Ð Ó Ù Ò Ø Û ÓÑÔÖ Ò Ú Ð ¹ÙÔ Ø Ò ÒÓÛÐ Ö ÔÓ ØÓÖÝ Ø Ø Ò ÙØÓÑ Ø ÐÐÝ Ñ Ò ØÓ Ò Û Ö Û Ö Ò Ó ÕÙ Ø ÓÒ Û Ø ÑÙ Ð «ÓÖØ Ø Ò Ö ÕÙ Ö ÖÓÑ Ù Ö ÒØ Ö Ø Ò Û Ø ØÓ Ý³ Ö Ò Ò º 8. ACKNOWLEDGEMENTS Ï Ø Ò Ú ÃÓ Ò Ë Ñ Ê Ú Ø ÓÖ Ø Ö ÓÒ¹ ØÖ ÙØ ÓÒ ØÓ Ø ÔÖÓ Øº Ï Ð Ó Ø Ò Ö ËÒ Ö Ì Ä Ù Ò ÙÖÓ Ã Û Ø ÓÖ Ø Ö ÐÔ ÙÐ Óѹ Ñ ÒØ º Ì Ö Ö Û ÙÒ Ò Ô ÖØ Ý ÇÆ Ó Æ Ú Ð Ê Ö Ö ÒØ ¹½¹¼½ ÇÆ Ó Æ Ú Ð Ê ¹ Ö Ö ÒØ Æ¼¼¼½ ¹ ¹½¹¼½ Ò Ý Æ Ø ÓÒ Ð Ë ¹ Ò ÓÙÒ Ø ÓÒ Ö ÒØ Ä¹ º 9. REFERENCES ½ ÈÖÓ Ò Ó Ø Ë Ú ÒØ Å ÍÒ Ö Ø Ò Ò ÓÒ Ö Ò ÅÍ ¹ µº ÅÓÖ Ò Ã Ù Ñ ÒÒ ½ º ¾ Ö Ò Ñ Ò Ò Ö Ò À Òݺ Ò ÁÒØÖÓ ÙØ ÓÒ ØÓ Ø ÈÖ Ò ÔÐ Ó ÌÖ Ò ÓÖÑ Ø ÓÒ Ð ËÝÒØ Üº ÅÁÌ ÈÖ Ñ Ö Å Ù ØØ ½ º Ú Ò Äº ÒØÛÓÖØ º È ¹ÃÁÅÅÇ ØÛÓ¹Ð Ú Ð ÔÖÓ ÓÖ ÓÖ ÑÓÖÔ ÓÐÓ Ð Ò ÐÝ º ÐÐ Ì ËÙÑÑ Ö ÁÒ Ø ØÙØ Ó Ä Ò Ù Ø ½ ¼º º Р˺ Å ÐÐ Ö Êº Ë Û ÖØÞ Ò Êº Ï Ðº ÆÝÑ Ð À ¹Ô Ö ÓÖÑ Ò Ä ÖÒ Ò Æ Ñ Ò Öº ÁÒ ÈÖÓ Ò Ó Ø Ø ÓÒ Ö Ò ÓÒ ÔÔÐ Æ ØÙÖ Ð Ä Ò Ù ÈÖÓ Ò Ô ½ ß¾¼½ ½ º º Ù Ð Ý º Ë ÐØÓÒ Âº ÐÐ Ò Ò º Ë Ò Ðº ÙØÓÑ Ø ÕÙ ÖÝ ÜÔ Ò ÓÒ Ù Ò ËÅ ÊÌ ÌÊ º ÁÒ ÆÁËÌ ËÔ Ð ÈÙ Ð Ø ÓÒ ¼¼¹¾¾ Ì Ì Ö Ì ÜØ Ê ØÖ Ú Ð ÓÒ Ö Ò ÌÊ ¹ µ Ô ß ¼º Ô ÖØÑ ÒØ Ó ÓÑÑ Ö Æ Ø ÓÒ Ð ÁÒ Ø ØÙØ Ó ËØ Ò Ö Ò Ì ÒÓÐÓ Ý ½ º ÊÓ Ò ÙÖ ÃÖ Ø Ò À ÑÑÓÒ ÎÐ Ñ Ö ÃÙÐÝÙ Ò ËØ Ú Ò ÄÝØ Ò Ò ÆÓÖ Ó ÌÓÑÙÖÓ Ò ËÓØØ Ë Ó Ò Ö º ÉÙ Ø ÓÒ Ò Û Ö Ò ÖÓÑ Ö ÕÙ ÒØÐݹ ÉÙ Ø ÓÒ Ð ÜÔ Ö Ò Û Ø Ø É Ò Ö ËÝ Ø Ñº Ì Ò Ð Ê ÔÓÖØ Ìʹ ¹¼ ÍÒ Ú Ö ØÝ Ó Ó Ô ÖØÑ ÒØ Ó ÓÑÔÙØ Ö Ë Ò ½ º ˺ Ö ÖØ Åº Ú Ò Ö Ö Ò º ÓѺ ÓÙ Ö ÛÐ Ò Ò Û ÔÔÖÓ ØÓ ØÓÔ ¹ Ô Ï Ö ÓÙÖ ÓÚ Öݺ ÁÒ ÈÖÓ Ò Ó Ø ÁÒØ ÖÒ Ø ÓÒ Ð ÏÓÖÐ Ï Ï ÓÒ Ö Ò ÏÏÏ µ ½ º º ÖÒ º ËØ Ø Ø Ð Ø Ò ÕÙ ÓÖ Ò ØÙÖ Ð Ð Ò Ù Ô Ö Ò º Á Å Þ Ò ½ µ Ï ÒØ Ö ½ º º ÖÒ º Å Ü ÑÙѹ ÒØÖÓÔݹÁÒ Ô Ö È Ö Öº Ì Ò Ð Ê ÔÓÖØ Ë¹ ¹½¾ ÖÓÛÒ ÍÒ Ú Ö ØÝ ÓÑÔÙØ Ö Ë Ò Ô ÖØÑ ÒØ Ù Ù Ø ½ º ½¼ Î Ò Ý Ù Ö Ò Ó¹ Ö Ê Ö º ÉÙ Ø ÓÒ Ò Û Ö Ò ËÝ Ø Ñ È Ô Ö ÖÓÑ Ø ½ ÐÐ ËÝÑÔÓ ÙѺ Ì Ò Ð Ê ÔÓÖØ Ë¹ ¹¼ Á ÆÓÚ Ñ Ö ½ º ½½ ÆÓ Ñ ÓÑ Ýº Ô Ø Ó Ì ÓÖÝ Ó ËÝÒØ Üº ÅÁÌÈÖ Ñ Ö Å º ½ º ½¾ Å Ð ÂÓ Ò ÓÐÐ Ò º Æ Û ËØ Ø Ø Ð È Ö Ö ÓÒ Ö Ñ Ä Ü Ð Ô Ò Ò º ÁÒ 160

ÈÖÓ Ò Ó Ø Ø ÒÒÙ Ð Å Ø Ò Ó Ø Ä Ë ÒØ ÖÙÞ ½ º ½ Ǻ ØÞ ÓÒ º ÅÓÚ Ò ÙÔ Ø Ò ÓÖÑ Ø ÓÒ ÓÓ Ò Ó Ø ÓØ Ò ÓÖÑ Ø ÓÒ ÖÒ ÚÓÖ º ÁÒ ÈÖÓ Ò Ó Ø Ì ÖØ ÒØ Æ Ø ÓÒ Ð ÓÒ Ö Ò ÓÒ ÖØ Ð ÁÒØ ÐÐ Ò ½ º Ê Ú Ú Ö ÓÒ Ö ÔÖ ÒØ Ò Á Å Þ Ò Ô Ð Ù ËÙÑÑ Ö ³ º ½ ÒÒ Ö Ò Ö ÂÓ Ò Ä «ÖØÝ Ò Ò Ð ËÐ ØÓÖº ÊÓ Ù Ø È Ö Ò Ð ÓÖ Ø Ñ ÓÖ Ä Ò Ö ÑÑ Ö º ÁÒ ÈÖÓ Ò Ó Ø ÓÙÖØ ÁÒØ ÖÒ Ø ÓÒ Ð ÏÓÖ ÓÔ ÓÒ È Ö Ò Ì ÒÓÐÓ ÈÖ Ù Ë ÔØ Ñ Ö ½ º ½ Ë Ò À Ö Ù Å Ö Ù È Ò ËØ Ú Ò Å ÓÖ ÒÓº ÜÔ Ö Ñ ÒØ Û Ø ÇÔ Ò¹ ÓÑ Ò Ì ÜØÙ Ð ÉÙ Ø ÓÒ Ò Û Ö Ò º ÁÒ ÈÖÓ Ò Ó ÇÄÁÆ ¹¾¼¼¼ Ë Ö ÖÙ Ò ÖÑ ÒÝ Ù Ù Ø ¾¼¼¼º ½ Ú À Û Ò ÐÐ Ò ÎÓÓÖ È Ø Ö Ð Ý Ò Æ Ö Û Ðк ÇÚ ÖÚ Û Ó ÌÊ ¹ ÉÙ Ø ÓÒ Ò Û Ö Ò ÌÖ º ÁÒ º ź ÎÓÓÖ Ò º ú À ÖÑ Ò ØÓÖ ÈÖÓ Ò Ó Ø Ø Ì ÜØ Ê ØÖ Ú Ð ÓÒ Ö Ò ¹ ÌÊ ¹ ÆÓÚ Ñ Ö ½ º ½ ÅÓÒ Êº À ÒÞ Ò Ö ÐÐ Ò À Ý ÓÒ Å Ð Å ØÞ ÒÑ Ö Ò Å Ö Æ ÓÖ º Å ÙÖ Ò Ò Ü ÕÙ Ð ØÝ Ù Ò Ö Ò ÓÑ Û Ð ÓÒ Ø Ï º ½ ½½ß½ µ ½¾ ½ß½ ¼ Å Ý ½ º ½ º à ØÞº ÖÓÑ Ë ÒØ Ò ÈÖÓ Ò ØÓ ÁÒ ÓÖÑ Ø ÓÒ ÓÒ Ø ÏÓÖÐ Ï Ï º ÁÒ Æ ØÙÖ Ð Ä Ò Ù ÈÖÓ Ò ÓÖ Ø ÏÓÖÐ Ï Ï È Ô Ö ÖÓÑ Ø ½ Á ËÔÖ Ò ËÝÑÔÓ ÙÑ Ô ß ½ º ½ º ÃÐ Ò Ö º ÙØ ÓÖ Ø Ø Ú ÓÙÖ Ò ÝÔ ÖÐ Ò ÒÚ ÖÓÒÑ Òغ ÁÒ ÈÖÓº Ø Å¹ËÁ Å ËÝÑÔÓ ÙÑ ÓÒ Ö Ø Ð ÓÖ Ø Ñ ½ º ¾¼ ÂÙÐ Ò ÃÙÔ º ÅÍÊ ÊÓ Ù Ø Ä Ò Ù Ø ÔÔÖÓ ÓÖ ÉÙ Ø ÓÒ Ò Û Ö Ò Í Ò Ò ÇÒ¹Ä Ò ÒÝÐÓÔ º ÁÒ ÊÓ ÖØ ÃÓÖ Åº Ê ÑÙ Ò Ò È Ø Ö Ï ÐÐ ØØ ØÓÖ ÈÖÓ Ò Ó Ø ½ Ø ÒÒÙ Ð ÁÒØ ÖÒ Ø ÓÒ Ð Å¹ËÁ ÁÊ ÓÒ Ö Ò ÓÒÊ Ö Ò Ú ÐÓÔÑ ÒØ Ò ÁÒ ÓÖÑ Ø ÓÒ Ê ØÖ Ú Ðº È ØØ ÙÖ È ÍË ÂÙÒ ¾ ¹ ÂÙÐÝ ½ Ô ½ ½ß½ ¼º Å ½ º ¾½ ź Ⱥ Å ÖÙ º Ë ÒØÓÖ Ò Ò Åº º Å Ö Ò Û Þº Ù Ð Ò Ä Ö ÒÒÓØ Ø ÓÖÔÙ Ó Ò Ð Ì È ÒÒ ÌÖ Ò º ÓÑÔÙØ Ø ÓÒ Ð Ä Ò Ù Ø ½ ½ ß ¼ ½ º ¾¾ º Å ÐÐ Öº ÏÓÖ Æ Ø Ò ÓÒ¹Ð Ò Ð Ü Ð Ø º ÁÒØ ÖÒ Ø ÓÒ Ð ÂÓÙÖÒ Ð Ó Ä Ü Ó Ö Ô Ý µ ¾ ß ½¾ ½ ½º ¾ Ö ÓÑ Ö Êº Ê Ú ÂÓ Ò ÈÖ Ö Ò Î Ð Ö Ë ÑÒº Ì Í Ó ÈÖ Ø Ú ÒÒÓØ Ø ÓÒ ÓÖ ÉÙ Ø ÓÒ Ò Û Ö Ò Ò ÌÊ º ÁÒ ÈÖÓ Ò Ó Ø Ø Ì ÜØ Ê ØÖ Ú Ð ÓÒ Ö Ò ÌÊ ¹ µº Æ Ø ÓÒ Ð ÁÒ Ø ØÙØ Ó ËØ Ò Ö Ò Ì ÒÓÐÓ Ý Ø Ö ÙÖ Å Ô ß ½½ ½ º ¾ ú º Ä Ø ÓÛ Ä Ê Ö µº ÉÙ Ø ÓÒ¹ Ò Û Ö Ò Í Ò Ë Ñ ÒØ Ê Ð Ø ÓÒ ÌÖ ÔÐ º ÁÒ ÈÖÓ Ò Ó Ø Ø Ì ÜØ Ê ØÖ Ú Ð ÓÒ Ö Ò ÌÊ ¹ µº Æ Ø ÓÒ Ð ÁÒ Ø ØÙØ Ó ËØ Ò Ö Ò Ì ÒÓÐÓ Ý Ø Ö ÙÖ Å Ô ß ½ º ¾ º ËÒ Ö º ÙØÓÑ Ø É Ò Û Ö Ò ÓÒØ ÒÙ ÜÔ Ö Ò Û Ø Ë ÐÐÓÛ Ä Ò Ù ÍÒ Ö Ø Ò Ò º ÁÒ ÉÙ Ø ÓÒ Ò Û Ö Ò ËÝ Ø Ñ º È Ô Ö ÖÓÑ Ø ½ Á ÐÐ ËÝÑÔÓ ÙѺ Ì Ò Ð Ê ÔÓÖØ Ë¹ ¹¼¾ ½ º ¾ ÊÓ Ò ËÖ Ö Ò Ï Ä ÝÑ ÓÒÝ ÁÒºµº ÁÒ ÓÖÑ Ø ÓÒ ÜØÖ Ø ÓÒ ËÙÔÔÓÖØ ÉÙ Ø ÓÒ Ò Û Ö Ò º ÁÒ ÈÖÓ Ò Ó Ø Ø Ì ÜØ Ê ØÖ Ú Ð ÓÒ Ö Ò ÌÊ ¹ µº Æ Ø ÓÒ Ð ÁÒ Ø ØÙØ Ó ËØ Ò Ö Ò Ì ÒÓÐÓ Ý Ø Ö ÙÖ Å Ô ½ ß½ ½ º ¾ ˺ º Ì ÝÐÓÖ Àº Ö Ò ÒÔÓ Ð Ò Âº ĺ È ØØ º Ö Ð Ú Ð ÒÓÖÑ ÓÖ Ø ÓÑÔÓÒ ÒØ Ó Ø ÙÒ Ñ ÒØ Ð Ö Ò Ðк Ä ÁÒ ÓÖÑ Ø ÓÒ Ò Ê Ö ÙÐÐ Ø Ò ÆÓº º ÀÙÒØ Ò ØÓÒ Æº º ½ ¼º ¾ º ÎÓÓÖ Ò º Ì º Ì ÌÊ ¹ ÉÙ Ø ÓÒ Ò Û Ö Ò ÌÖ Ú ÐÙ Ø ÓÒ Ô ß ¾º Ô ÖØÑ ÒØ Ó ÓÑÑ Ö Æ Ø ÓÒ Ð ÁÒ Ø ØÙØ Ó ËØ Ò Ö Ò Ì ÒÓÐÓ Ý ½ º ¾ ÐÐ Ò ÎÓÓÖ º ÉÙ ÖÝ ÜÔ Ò ÓÒ Ù Ò Ð Ü Ð¹ Ñ ÒØ Ö Ð Ø ÓÒ º ÁÒ ÈÖÓ Ò Ó Å ËÁ ÁÊ Ù Ð Ò ÁÖ Ð Ò ½ º ¼ ËØ Ú Ò º Ï Ø º ÙØÓ¹ É Ò ÜÔ Ö Ñ ÒØ Ò Ý Ö Ô Ð Ú Ö Ò º ÓÑÔÙØ Ö Æ ØÛÓÖ Ò ÁË Æ ËÝ Ø Ñ ¾ ½ß¾µ ½ ß½ Ñ Ö ½ º ½ Ǻ Ñ Ö Ò Çº ØÞ ÓÒ º ÝÒ Ñ ÐÙ Ø Ö Ò ÁÒØ Ö ØÓ Ï Ë Ö Ê ÙÐØ º ÁÒ ÈÖÓ Ò Ó Ø Ø ÁÒغ ÏÏÏ ÓÒ Ö Ò ½ º 161