การประเม นโครงการ Program Evaluation

Transcription

1 การประเม นโครงการ Program Evaluation ดร.พ ก ล เอกวรางก ร อาจารย ประจ าสาขาว ชาการว จ ยและประเม นทางการศ กษา คณะศ กษาศาสตร มหาว ทยาล ยเกษตรศาสตร

2 ท าไมต องประเม นโครงการ? ความต องการใช ผลการประเม น การแข งข นในการร บท นสน บสน น ต องการให เก ดองค ความร ใหม ด านการประเม น เพ อแสดงความร บผ ดชอบและเป ดโอกาสให สามารถ ตรวจสอบการด าเน นงานของโครงการได

3 ความหมายของโครงการ งานท จ ดท าข น ประกอบด วยกล มก จกรรมต างๆ เพ อให การ ด าเน นงานบรรล ว ตถ ประสงค ท วางไว โดยม บ คคลร บผ ดชอบใน การปฏ บ ต งานและม ร ปแบบการด าเน นงานท จ ดเตร ยมไว อย าง เป นระบบ และคาดหว งท จะได ผลตอบแทนท ค มค า ม จ ดเร มต น และจ ดส นส ดในการด าเน นงาน

4 ล กษณะโครงการทางการศ กษาและโครงการทางส งคมท ด สนองตอบต อความต องการของส งคม รายละเอ ยดการด าเน นโครงการช ดเจน เข าใจง าย และสามารถด าเน นการ ตามโครงการได ก าหนดโครงการจากข อม ลท เป นจร ง ม การว เคราะห อย างรอบคอบ สามารถตอบสนองความต องการขององค กร ตามนโยบาย เพ อ เสร มสร างความเข มแข งหร อแก ป ญหาได

5 ล กษณะโครงการทางการศ กษาและโครงการทางส งคมท ด (ต อ) ม รายละเอ ยด ว ตถ ประสงค เป าหมายท ช ดเจน ม รายละเอ ยดของโครงการ ส วนต างๆ ท เข ยนไว สอดคล องและ ต อเน องก นอย างม เหต ผล สามารถน าไปปฏ บ ต ได สอดคล องก บแผนหล ก ได ร บการสน บสน นท งด านทร พยากรและการบร หารอย างแท จร ง ม ระยะเวลาด าเน นการท ก าหนดอย างสมเหต สมผล อ างอ ง: ภาว ณ ศร ส ขว ฒนาน นท

6 ศ พท ท เก ยวข องก บการประเม น ต วบ งช (Indicator) หมายถ ง เป นต วช ว ดความส าเร จ ของส งท ถ กประเม น เกณฑ (Criterion) หมายถ ง ค ณล กษณะหร อระด บท ถ อว า เป นความส าเร จ ประส ทธ ผล (Effectiveness) หมายถ ง การบรรล ตาม ว ตถ ประสงค หร อเป าหมาย

7 ประส ทธ ภาพ (Efficiency) หมายถ ง การบรรล ตามว ตถ ประสงค หร อเป าหมาย โดยใช ทร พยากรท ม อย อย างค มค า และใช จ ายน อยท ส ด การต ดตามผล (Follow up) หมายถ ง การตรวจสอบผลท เก ดข นจาก โครงการในกรณ ท โครงการด าเน นการเสร จส นแล ว ผ ม ส วนได (Stakeholder) หมายถ ง ผ ท ได ร บหร อม ผลด และ/หร อผลเส ยต อ โครงการ ประกอบด วย ผ ได ร บผลประโยชน ผ ปฎ บ ต ผ สน บสน นทางการเง น และผ ต ดส นใจ

8 ผลผล ต (Output) หมายถ ง ผลท เก ดข นท นท จากการด าเน นงาน เช น ความร ของบ ณฑ ตพยาบาล ผลกระทบ (Impact) หมายถ ง ผลท เก ดต อเน องมาจากผลผล ต เช น ความสามารถในการท างานของบ ณฑ ต รายได จากการท างาน ผลล พธ (Outcome) หมายถ ง เป นจ ดหมายปลายทางท ต องการ ให เก ดข น เช น ผ ร บบร การม ส ขภาพร างกายท แข งแรง

9 ความหมาย ของการประเม น (Evaluation) เป าหมายหล ก ของการประเม น กระบวนการรวบรวมข อม ล เพ อต ดส นค ณค าของส งท ม งประเม น การพ ฒนา พ ฒนาการของศาสตร การว ด การว จ ย การประเม น

10 ความหมายของการประเม นโครงการ การประเม น (Evaluation) ค ณค าภายใน (Merit) ค ณค าภายนอก (Worth) โครงการ (Program) การรวบรวมข อม ลเพ อต ดส น ค ณค าของการด าเน นโครงการและ ผลส าเร จของโครงการ

11 พ ฒนาการด านศาสตร การประเม น ย คแห งการว ดผล (The First Generation: Measurement) ย คแห งการบรรยาย/ว ตถ ประสงค (The Second Generation: Description) ย คแห งการต ดส นค ณค าและค ณประโยชน (The Third Generation: Judgement) ย คแห งการสร างองค ความร (The Fourth Generation: Construction)

12 บทบาทของน กประเม น น กว ดผล ผ บรรยาย น าเสนอสารสนเทศ ผ ต ดส นค ณค าและ ค ณประโยชน พ เล ยง ท ปร กษา ผ คอยอ านวย ความสะดวก

13 ท ศทางของการประเม น ม การยอมร บการประเม นท ใช ท งการประเม นภายในและภายนอกมากข น การประเม นท าได ท งในองค กรท ม งผลก าไรก บองค กรท ไม ได ม งผลก าไร ม การเก บรวบรวมข อม ลท งเช งปร มาณและค ณภาพ ม การเก บรวบรวมข อม ลด วยว ธ การท หลากหลาย ม การพ ฒนาศ กยภาพในการประเม นให ก บผ ท เก ยวข องก บโครงการ ม การก าหนดจรรยาบรรณและมาตรฐานของการประเม น ม การน าเทคโนโลย ข นส งมาใช ในการประเม น เน นการด าเน นงานท เป นระบบ ม ข นตอน สามารถตรวจสอบได เปล ยนการตรวจสอบมาเป นการหาค ณค าหร อความด งามของโครงการ

14 มโนท ศน ท คลาดเคล อนเก ยวก บการประเม น การประเม นเป นการตรวจสอบและประจานข อบกพร อง การประเม นเป นก จกรรมท ท าหล งจากโครงการส นส ดแล ว การประเม นโดยน กประเม นภายใน (Internal Evaluator)ท า ให ผลการประเม นขาดความน าเช อถ อ

15 ความแตกต างระหว างการว จ ยก บการประเม นโครงการ ประเด น การว จ ย การประเม นโครงการ เป าหมาย สร างองค ความร หร อทดสอบทฤษฎ หาสารสนเทศเพ อการต ดส นใจ ว ธ การท ใช เน นการควบค มต วแปรแทรกซ อน การควบค มต วแปรแทรกซ อนท าได ยาก การก าหนดป ญหา น กว จ ยเป นผ ก าหนดป ญหาตามความ อยากร เกณฑ การต ดส นค ณภาพ ความตรงภายในและความตรง ภายนอกของงานว จ ย ผ ว าจ างหร อเจ าของเป น ผ ก าหนด ค าถามหร อก าหนดร วมก นท ง 2 ฝ าย ความเช อถ อได และการใช ประโยชน

16 ความเหม อนก นของการว จ ยก บการประเม นโครงการ ประเด น การว จ ย & การประเม นโครงการ ว ธ การท ใช ใช ระเบ ยบว ธ การว จ ยทางส งคมศาสตร เป าหมาย ม งศ กษาความส มพ นธ เช งเหต และผล จรรยาบรรณ ม จรรยาบรรณของน กว จ ยและน กประเม น เป นต วควบค มค ณภาพงาน

17 Ralph W.Tyler สร างจ ดม งหมายหร อว ตถ ประสงค กว างๆ เป นต วบ งช ความส าเร จของโครงการ จ าแนกเป าหมายหร อว ตถ ประสงค ออกเป นกล มๆ ค อ พ ทธ พ ส ย จ ตพ ส ย ท กษะพ ส ย เข ยนว ตถ ประสงค ให อย ในร ปพฤต กรรมหร อน ยามท คลอบคล มก จกรรมการศ กษา ท งหมด เล อกสถานการณ ท จะว ดและส งเกตส งท ม งว ด พ ฒนาเคร องม อว ด รวบรวมข อม ล เปล ยบเท ยบผลก บว ตถ ประสงค ท ก าหนดไว

18 Daniel L. Stufflebeam

19 CIPP MODEL C = (Context Evaluation) การประเม นบร บทหร อสภาวะแวดล อม เป นการประเม นก อนเร มท าโครงการ เพ อก าหนดหล กการ ว ตถ ประสงค Daniel ความต องการจ าเป น L. Stufflebeam และการก าหนดเป าหมายของ โครงการ I = (Input Evaluation) การประเม นป จจ ยน าเข า เป นการประเม นความเหมาะสม ความพอเพ ยงของทร พยากร เช น Man, Money, Material และ Management รวมถ งความเหมาะสมของ แผนการด าเน นงานโครงการ

20 P = (Process Evaluation) การประเม นกระบวนการ เป นการประเม นเพ อหาข อบกพร อง ข อม ลส าหร บการปร บปร งแก ไข และพ ฒนาโครงการ รวมท งการบ นท กเหต การณ ต างๆ ท เก ดข นในขณะ ด าเน นงานโครงการเพ อใช เป นข อม ลส าหร บการต ดส นใจ P = (Product Evaluation) การประเม นผลล พธ เป นการประเม นเพ อเปร ยบเท ยบผลท เก ดข นก บว ตถ ประสงค หร อ เป าหมายของโครงการ ตลอดจนการพ จารณาย บ เล ก ขยาย หร อ ปร บเปล ยนโครงการ

21 Michael Scriven

22 บทบาทของการประเม น แบ งออกเป น 2 ล กษณะ 1. การประเม นระหว างด าเน นโครงการหร อการประเม นเพ อการปร บปร ง โครงการ (Formative Evaluation) เป นการประเม นเพ อระบ ข อด ข อจ าก ดท เก ดข นในขณะท โครงการ ก าล งด าเน นการอย แล วน าผลการประเม นไปใช ในการพ ฒนาและ ปร บปร งโครงการ

23 2. การประเม นหล งจากโครงการเสร จส นแล วหร อการประเม นสร ปรวม (Summative Evaluation) เป นการประเม นเม อโครงการส นส ดลง เพ อต ดส นค ณค า และ ความส าเร จของโครงการ และการน าจ ดเด นหร อความส าเร จของ โครงการไปเป นแนวทาง หร อประย กต ใช ในการด าเน นงานโครงการ ท ม ล กษณะใกล เค ยงก น

24 แนวค ดของการประเม น แบ งออกเป น 2 ล กษณะ 1. การประเม นท ย ดว ตถ ประสงค เป นหล ก (Goal-Based Evaluation) เป นการประเม นท เน นการตรวจสอบระหว างผลท เก ดข นก บว ตถ ประสงค ของโครงการ 2. การประเม นท ไม ย ดว ตถ ประสงค เป นหล ก (Goal-Free Evaluation) เป นการประเม นท เน นการตรวจสอบว าผลท เก ดข นในการด าเน นงาน โครงการเป นไปตามว ตถ ประสงค ท วางไว หร อไม รวมท งผลล พธ และ ผลกระทบอ นๆ ท ส งผลต อค ณค าของโครงการด วย โดยน กประเม นต อง ออกแบบการประเม นท ย ดหย น

25 Marvin Alkin

26 CSE Model (Center for the Study of Evaluation University of California at Los Angeles) 1. การประเม นระบบ (System assessment) เป นการประเม นก อนเร มโครงการเพ อก าหนดว ตถ ประสงค และเป าหมาย ของโครงการ 2. การประเม นการวางแผนโครงการ (Program planning) เป นการประเม นเพ อหาว ธ การท เหมาะสมในการด าเน นงานโครงการเพ อให บรรล ว ตถ ประสงค ของโครงการ

27 3. การประเม นการปฏ บ ต ตามโครงการ (Program Implementation) เป นการประเม นเพ อพ จารณาว าข นตอนในการท างานเป นไปตามแผนท วางไว หร อไม อย างไร 4. การประเม นเพ อการปร บปร ง (Program Improvement) เป นการประเม นเพ อค นหาร ปแบบ แนวทาง หร อข อเสนอท จะท าให โครงการเก ด ประส ทธ ภาพมากท ส ด 5. การประเม นเพ อยอมร บโครงการ ( Program Confirmation) เป นการประเม นเพ อตรวจสอบผลท ได ก บว ตถ ประสงค ท ก าหนดไว เพ อน าไปใช ก บโครงการต อไป หร อเพ อย บ เล ก ขยาย หร อปร บเปล ยนโครงการ

28 Robert E. Stake

29 Responsive Model 1 พ ดค ยก บผ เก ยวข อง 12 จ ดท ารายงานเป นทางการ 11 จ ดท ารายงานตามกล ม ผ เก ยวข อง 10 ตรวจสอบผลประเม น 9 วางแผนจ ดท ารายงานประเม น 8 ส งเกตการณ รวบรวมข อม ล 2 ก าหนดขอบเขตโครงการ 3 ศ กษาภาพรวมโครงการ 4 ก าหนดว ตถ ประสงค การประเม น 5 สร างกรอบความค ดการประเม น 6 ก าหนดความต องการและแหล งข อม ล 7 เล อกว ธ การเคร องม อเก บข อม ล

30 ช วงเวลาในการประเม นโครงการ ก อนด าเน นโครงการ การประเม นความต องการจ าเป น ความเหมาะสมของโครงการ ความเป นไปได ของโครงการ ระหว างการด าเน นโครงการ การด าเน นงานบรรล ตามแผนหร อไม ป ญหาและอ ปสรรค หล งการด าเน นโครงการ ประเม นปฏ ก ร ยา เช น ความร ส กต อโครงการในด านต างๆ ประเม น การเร ยนร ประเม นพฤต กรรม และการประเม นผลล พธ ท เก ดข น

31 ข นตอนในการประเม นโครงการ ว เคราะห โครงการ เข ยนโครงการประเม น เก บรวบรวมข อม ล ว เคราะห ข อม ล ท ารายงานผลการประเม น

32 หล กการและเหต ผล - ความเป นมาของโครงการ - ความส าค ญของการประเม น - สารสนเทศท ได สนองให ก บใคร ค าถามการประเม น - ค าถามหล ก - ค าถามย อย ว ตถ ประสงค การประเม น - ว ตถ ประสงค ท วไป - ว ตถ ประสงค เฉพาะ การเข ยนโครงการประเม น

33 ประโยชน ท คาดว าจะได ร บ ผลตามว ตถ ประสงค ขอบเขตของการประเม น - จ ดเน นหร อสาระท ม งประเม น - ช วงเวลาท ใช ในการประเม น - ประชากร/กล มต วอย าง น ยามศ พท ต องเข ยนน ยามในเช งปฏ บ ต การว าจะว ดได อย างไร และครอบคล มขอบเขตหร อสาระท ม งประเม น

34 ว ธ การประเม น - ร ปแบบหร อแนวทางการประเม น - เคร องม อท ใช ในการประเม น - การเก บรวมรวมข อม ล - การว เคราะห ข อม ล - เกณฑ การประเม น - งบประมาณ - กรอบแนวค ดในการประเม น

35 กรอบแนวค ดในการประเม น ค าถาม การ ประเม น ว ตถ ประสงค การ ประเม น ต วบ งช แหล ง ข อม ล เคร องม อ/ ว ธ การ การ ว เคราะห ข อม ล เกณฑ การ ประเม น

36 ว ธ การท ใช ในการประเม น การส งเกตแบบม ส วนร วม และไม ม ส วนร วม การสอบถาม การส มภาษณ การสนทนากล ม การทดสอบ การส ารวจ

37 เคร องม อท ใช ในการประเม น แบบสอบ แบบประเม น แบบส งเกต แบบสอบถาม แบบส มภาษณ แบบบ นท กพฤต กรรม แบบว ดเจตคต แบบส ารวจ

38 บทบาทของน กประเม น การรายงานผลการประเม น 1. เป นผ ประเม น รายงานการประเม นควรรายงานตามความต องการของเจ าของท น/ เจ าของโครงการ ผ ว าจ าง ประกอบด วย การบรรยายเก ยวก บโครงการ ผลส มฤทธ ตามเป าหมายของโครงการ ผลท ไม ได คาดหมายไว และอาจเปร ยบเท ยบผลท ได ก บ โครงการอ น 2. เป นผ ให ความช วยเหล อและให ค าปร กษา ควรม การรายงานระหว างท โครงการ ด าเน นอย รายงานการประเม นในอาจน าเสนอสาระท เก ยวข องผลการด าเน นงาน ในระยะแรก ป ญหาและแนวทางการแก ป ญหา การเปล ยนแปลงต างๆ ท เก ดข นใน โครงการ และเม องานส นส ดลง ควรแสดงข อค นพบท ได

39 ประเภทของรายงานการประเม น 1. รายงานผลการประเม นสร ป (Summative Report) การรายงานจะครอบคล มสารสนเทศท ได ท งหมด และแสดงให เห นความถ กต อง ของการได มาซ งผลการประเม น เช น ร ปแบบการประเม นท ใช ม ความเหมาะสม ก บส งท ต องการประเม น เคร องม อท ใช ในการเก บรวบรวมข อม ลม ความตรงและ ความเท ยงส ง การเข ยนรายงานอาจม ร ปภาพ แผนภ ม หร อตารางได ตามความ เหมาะสม และควรม บทสร ปส าหร บผ บร หาร 2. รายงานผลการประเม นความก าวหน า (Formative Report) เป นรายงานระหว างท ก าล งด าเน นโครงการให ก บผ วางแผนและบ คลากรของ โครงการ ร ปแบบอาจไม เป นทางการ อาจรายงานด วยปากเปล าได หากน ก ประเม นเป นผ ปฏ บ ต งานในโครงการ ส วนใหญ ใช การเก บรวบรวมข อม ลจาก การประช ม ส งเกต

40 การเข ยนรายงานผลการประเม นความก าวหน า 1. เข ยนเหต การณ ส าค ญท เก ดข นระหว างด าเน นโครงการ 2. เป นการต ความโดยอาศ ยข อม ลในอด ตและป จจ บ นเปร ยบเท ยบก บเป าหมายของ โครงการ 3. อาจใช เทคน คการว จ ย เช น การว จ ยเช งทดลองมาช วยในการรายงานผลการ ด าเน นงาน เพ อน าไปส การปร บปร งและพ ฒนาแผนการด าเน นงาน

41 ห วข อรายงานการประเม น ตอนท 1 บทสร ป ส าหร บผ บร หาร (ไม ควรเก น 3 หน า) ประกอบด วย เน อหาด งน - ประเม นอะไร - ท าไมต องประเม น - ผลการประเม นและข อเสนอแนะ ตอนท 2 เน อหาสาระในการประเม น - รายงานบทท 1-3 และกรอบแนวค ดในการประเม น ตอนท 3 ผลการประเม น ตอนท 4 อภ ปรายผลและความค มท นของโครงการ ตอนท 5 บทสร ปและข อเสนอแนะ - ข อสร ป - ข อเสนอแนะจากโครงการ - ข อเสนอแนะอ นเป นผลจากผลกระทบหร อผลท ตามมาจากการประเม นโครงการ

42 ข อแนะน าในการเข ยนรายงานผลการประเม น น าเสนอสารสนเทศอย างตรงไปตรงมา เสนอสาระสนเทศท ตรงก บความต องการของผ ใช ใช แผนภ ม กราฟ หร อภาพประกอบเพ อให น าสนใจและเข าใจง าย ภาษาท ใช ต องตรงและเป นทางบวก รายงานท สร ปให ผ บร หารต องช ด และสามารถน าไปใช ประกอบการต ดส นใจได

43 ความหมาย การประเม นงานประเม น (Meta-Evaluation) เป นการต ดส นค ณภาพของผลการประเม น ระยะเวลา ระหว างด าเน นการ ก บ หล งการด าเน นงานเสร จส นแล ว ค ณภาพของการประเม น ประกอบด วย 1) การก าหนดค าถามของการประเม น 2) ว ธ การประเม น 3) ผลการประเม น

44 มาตรฐานของการประเม น The Program Evaluation Standards (The Joint Committee) ความเป นประโยชน Utility Standards ความเป นไปได Feasibility Standards Program Evaluation Standards ความถ กต องแม นย า Accuracy Standards ความเหมาะสม Propriety Standards

45 มาตรฐานการใช ประโยชน (Utility Standards) U1 การระบ ผ ม ส วนได ส วนเส ย (Stakeholder Identification) U2 ความเช อถ อของน กประเม น (Evaluator Credibility) U3 การรวบรวมสารสนเทศได อย างครอบคล ม (Information Scope and Selection) U4 การแปลความหมายและการต ดส นค ณค า ( Values Identification) U5 รายงานการประเม นม ความช ดเจน (Report Clarity) U6 รายงานการประเม นเสร จท นเวลาส าหร บน าไปใช ประโยชน (Report Timeliness and Dissemination) U7 การประเม นม ผลกระทบ (Evaluation Impact)

46 มาตรฐานด านความเป นไปได (Feasibility Standards) F1 ว ธ การประเม นเป นไปได ในทางปฏ บ ต (Practical Procedures) F2 เป นท ยอมร บได ทางการเม อง (Political Viability) F3 ให ผลค มค าก บท นท ลงไป (Cost Effectiveness)

47 มาตรฐานด านความเหมาะสม (Propriety Standards) P1 การประเม นม งให เก ดการให บร การ (Service Orientation) P2 ม ข อตกลงหร อจ ดท าส ญญาอย างเป นทางการ (Formal Agreements) P3 ปกป องส ทธ ของผ ถ กประเม น (Rights of Human Subjects) P4 ปฏ ส มพ นธ ก บบ คคล (Human Interactions) P5 ม ความย ต ธรรมและสมบ รณ (Complete and Fair Assessment) P6 เป ดผลข อค นพบ (Disclosure of Findings) P7 ผลประโยชน ท ซ บซ อน (Conflict of Interest) P8 ม ความร บผ ดชอบต อค าใช จ าย (Fiscal Responsibility)

48 มาตรฐานด านความถ กต องแม นย า (Accuracy Standards) A1 จ ดท าเป นเอกสารช ดเจน (Program Documentation) A2 การว เคราะห บร บทของโครงการ (Context Analysis) A3 การบรรยายว ตถ ประสงค และว ธ การ (Described Purposes and Procedures) A4 ระบ แหล งสารสนเทศ (Defensible Information Sources) A5 สารสนเทศม ความตรง (Valid Information) A6 สารสนเทศม ความเท ยง (Reliable Information) A7 สารสนเทศจ ดเก บเป นระบบ (Systematic Information) A8 การว เคราะห สารสนเทศเช งปร มาณ (Analysis of Quantitative Information) A9 การว เคราะห สารสนเทศเช งค ณภาพ (Analysis of Qualitative Information) A10 การสร ปอย างม เหต ผล (Justified Conclusions) A11 รายงานม ความช ดเจนเป นปรน ย (Impartial Reporting) A12 การประเม นอภ มาน (Metaevaluation)