การประเม นโครงการ: หล กการ และการปฏ บ ต

L O G O EDUCA 2012 การประเม นโครงการ: หล กการ และการปฏ บ ต ศาสตราจารย ก ตต ค ณ ดร.สมหว ง พ ธ ยาน ว ฒน ประธานกรรมการบร หาร สถาบ นทดสอบทางการศ กษาแห งชาต (องค การมหาชน)

2 ห วข อในการบรรยาย 1 การประเม นโครงการค ออะไร 2 มาตรฐานการประเม นโครงการ 3 4 ข นตอนการประเม นโครงการ กระบวนการประเม นผลโครงการ

3 การประเม นโครงการค ออะไร โครงการ หมายความถ ง กล มของก จกรรมท ม งบรรล ว ตถ ประสงค เด ยวก น การประเม นค า หร อการประเม นผล หมายความถ ง การต ดส น ค ณค าของส งใดส งหน ง ในทางการจ ดการน ยามว าเป น กระบวนการท ก อให เก ดสารสนเทศเพ อการต ดส นใจ

4 การประเม นโครงการค ออะไร ความหมายของการประเม นในท ศนะของเวล ซ (Welch, 1968) การประเม นค า ค าน ยม สารสนเทศ ผ บร หาร ทางเล อก ข อจาก ด

5 มาตรฐานการประเม นโครงการ ด านการใช ประโยชน (utility standards) มาตรฐาน การประเม น Stufflebeam (1989) ด านความเป นไปได (feasibility standards) ด านความเหมาะสม (propriety standards) ด านความถ กต อง (accuracy standards) การประเม นท พ งประสงค ต อง ถ กต อง เป นธรรม สร างสรรค และพ ฒนา

6 ข นตอนการประเม นโครงการ ข นท 1 ทาไมต องม การประเม นโครงการ ข นท 2 ประเม นอะไร ข นท 3 ประเม นโครงการเพ ออะไร ข นท 4 จะประเม นโครงการได อย างไร ข นท 5 ต องการข อม ลอะไรบ าง และจะได ข อม ลเหล าน นมาด วยว ธ ใด ข นท 6 จะสร ปข อม ลให ม ความหมายได อย างไร ข นท 7 จะทาอย างไรจ งจะให ผ บร หารและผ ท เก ยวข องได ทราบผลการ ประเม นท นท วงท

ข นท 1 ทาไมต องม การประเม นโครงการ บทบาทและหน าท ของการประเม น ประเม นผลความก าวหน า เพ อปร บปร ง และพ ฒนา ประเม นผลสร ปรวม เพ อแสดงประส ทธ ผล หร อต ดส น ประเม นผลเช งจ ตว ทยาและส งคม เพ อจ งใจในการเร ยนร หร อการทางาน ประเม นผลเช งบร หาร เพ อการเปล ยนแปลงการ บร หาร หร อเพ อเล อนช นเล อนตาแหน ง ประเม นผลเพ อให เป นไปตามข อส ญญา ท ต องร บผ ดชอบ 7

ข นท 2 ประเม นอะไร P Question Program Description 5W1H 5C s GPOAI 8

ข นท 3 ประเม นโครงการเพ ออะไร การกาหนดผลล พธ ท คาดหว ง ว ธ ว ทยา Evaluation Audiences: Identifying primary/secondary Decision Making and Evaluation Concerns: Analyzing Information needed for decision making: Synthesizing ผลท ได ร บ: 9 Evaluation Objectives (+KPI และเกณฑ ประเม นจากโครงการท ม งประเม น)

ข นท 4 จะประเม นโครงการได อย างไร ร ปแบบการประเม นโครงการ ร ปแบบ หมายถ ง การจ าลองความจร งของ ปรากฏการณ เพ อท าให เข า ใ จ ค ว า ม ส ม พ น ธ ท ส ล บ ซ บ ซ อ น ข อ ง ปรากฏการณ น นๆ ได ง าย ข น (Stoner and Wankel: 1986 ; Willer: 1967) ร ปแบบของการกาก บ ต ดตาม โครงการ ร ปแบบของการประเม นผลโครงการ การทดลอง ไม ใช การทดลอง การประเม นการบรรล ว ตถ ประสงค 10 การประเม นเพ อการจ ดการ อ น ๆ

11 ข นท 4 จะประเม นโครงการได อย างไร ร ปแบบการประเม นแบบทดลอง ประเภทกล มต วอย างแบบส ม ทดสอบก อน ทดสอบหล ง กล มทดลอง a b กล มควบค ม c d b-a > d-c แสดงว าต วแปรทดลองม ผลทาให การทดลองประสบผลสาเร จ b-a = d-c แสดงว าต วแปรทดลองไม ม ผล

ร ปแบบการประเม นการบรรล ว ตถ ประสงค : Summative (Tyler : 1932) การประเม น หมายถ ง กระบวนการท ก อให เก ดสารสนเทศแสดงการบรรล ว ตถ ประสงค ของโครงการ ว ตถ ประสงค ของ โครงการ 1.. 2.. 3.. ข นท 4 จะประเม นโครงการได อย างไร ต วบ งช และ เกณฑ ประเม น 12 ว ธ รวบรวม ข อม ล การว เคราะห ข อม ล การ เปร ยบเท ยบ เกณฑ การประเม น หมายถ ง ส งท เราใช ต ดส นค ณภาพของผลผล ต ผลล พธ หร อส วนประกอบ (performance) เกณฑ ประเม น ประกอบด วย เกณฑ ส มบ รณ (absolute criteria) เกณฑ ส มพ ทธ (relative criteria) เกณฑ ความงอกงาม (growth criteria

13 ข นท 4 จะประเม นโครงการได อย างไร ตาราง dummy ว ตถ ประสง ค ของการ ประเม น 1... ต วแปรและ ต วบ งช แหล งข อม ล และกล ม ต วอย าง ว ธ รวบรวม ข อม ล ว ธ ว เคราะห ข อม ล เกณฑ การ ประเม น 2... etc

ข นท 4 จะประเม นโครงการได อย างไร ร ปแบบการประเม นเพ อการจ ดการ : C I P P Model (Stufflebeam : 1971) การประเม น หมายถ ง กระบวนการรวบรวมและสก ดข อม ลให เป นสารสนเทศเพ อการต ดส นใจ เล อกทางเล อกท ด ท ส ด ประเภทของการประเม น ประเภทของการต ดส นใจ การประเม นบร บท/สภาวะแวดล อม (Context evaluation) การประเม นป จจ ย หร อ ทร พยากร (Input evaluation) การประเม นกระบวนการ (Process evaluation) การประเม นผลผล ต/ผลล พธ (Product evaluation) ว ตถ ประสงค ของโครงการ กระบวนการ ว ธ การ หร อ กลว ธ ดาเน นโครงการ จ ดแข ง จ ดอ อน ของการดาเน นโครงการ เพ อปร บปร ง และเร งร ดโครงการ ปร บขยาย ย ต ล มเล ก ยกฐานะโครงการ เป นงานประจา

15 ข นท 4 จะประเม นโครงการได อย างไร CIPP Model (1971) Context Input Process Product CIPPiest Model (2010) Context Input Process Product Impact Effectiveness Sustainability Transportability

16 Formative: What needs to be done? Summative: Were important needs addressed? Formative: Is it succeeding? Summative: Did the effort succeed? องค ประกอบหล ก CIPP iest Model Values xt Formative: How should it be done? Summative: Was a defensible design employed? Formative: Is it being done? Summative: Was the design well executed?

17 ข นตอนการประเม นโครงการ ข นท 5 ต องการข อม ลอะไรบ าง และจะได ข อม ลเหล า น นมาด วยว ธ ใด ข นท 6 จะสร ปข อม ล ให ม ความหมาย ได อย างไร ข นท 7 จะทาอย างไร จ งจะให ผ บร หาร และผ ท เก ยวข อง ได ทราบผลการ ประเม นท นท วงท

18 กระบวนการประเม นผลโครงการ 1 การวางแผนและกาหนดว ธ ประเม นผลโครงการ 4 การรายงานการใช ประโยชน และเผยแพร ผลประเม น กระบวนการ ประเม นผลโครงการ 12 การดาเน นการ ประเม นผลโครงการ 3 การลงข อสร ป และเสนอแนะ

19 กระบวนการประเม นผลโครงการ 1.1 รวบรวมข อม ล ข าวสาร 1.2 ปร กษาหาร อก บ ผ เก ยวข องก บโครงการ 1.3 กาหนดว ตถ ประสงค ของการประเม น 1. การวางแผนและกาหนดว ธ ประเม นผลโครงการ 1.6 เสนอขออน ม ต 1.5 จ ดทาข อเสนอ โครงการประเม น 1.4 กาหนดประเด น ขอบเขตและว ธ การ

20 กระบวนการประเม นผลโครงการ 2.1 กาหนดต วบ งช เคร องม อและเทคน คเก บ รวบรวมข อม ล 2.2 รวบรวมข อม ลเช ง ปร มาณและเช งค ณภาพ 2. การดาเน นการ ประเม นผลโครงการ 2.5 เสนอขอร บฟ งความ ค ดเห น 2.4 จ ดทา (ร าง) รายงาน การประเม นผล 2.3 ว เคราะห ข อม ล

21 กระบวนการประเม นผลโครงการ 3.1 ปร กษาหาร อผ ท เก ยวข องก บโครงการ 3.2 จ ดทาข อสร ปและ เสนอแนะ 3. การลงข อสร ปและ เสนอแนะ 3.3 จ ดทารายงานฉบ บ สมบ รณ

จ ดส งรายงานตามกาหนด ในส ญญา กระบวนการประเม นผลโครงการ การรายงานปากเปล า 4.1 4.2 การรายงานการใช ประโยชน และเผยแพร ผลประเม น การเผยแพร โดยเจ าของ โครงการหร อโดยผ อ นท ได ร บ อน ญาต 4.4 22 4. การใช ประโยชน ของเจ าของ โครงการ 4.3

23 ต วอย างท 1 ร ปแบบการประเม นการฝ กอบรม ต วอย างร ปแบบการประเม นการฝ กอบรมของ Kirkpatrick 4 ระด บ ระด บ 1 Reaction ระด บ 2 Learning ความพ งพอใจต อผลการอบรม การเร ยนร ระด บ 3 Behavior Content Title ระด บ 4 Results พฤต กรรมการทางานในเร องท อบรมด ข น ผลต อองค กร ร กและผ กพ นองค กรมากข น

24 ต วอย างท 2 ร ปแบบการประเม นพฤต กรรม ทฤษฎ การกระทาพฤต กรรมตามแผน (Theory of Planned Behaviour) Ajzen, I. (2002) เจตคต ต อพฤต กรรม ปท สฐานส งคม เจตนาในการกระทา พฤต กรรม พฤต กรรม การร บร การควบค ม Content Title พฤต กรรม การควบค มพฤต กรรมได จร ง