นักวิจัยระบบการลงทุน (Quant Researcher) at SiamQuant

เกิดเก้า พีรติยุทธ์ (แตม)

วิศวกรที่หันมาเดินทางในสายการเงินแบบเต็มตัวมากว่า 10 ปี ด้วย Passion อันแรงกล้าและความคลั่งไคล้ในการลงทุน โดยมีเป้าหมายสูงสุดคือการเผยแพร่และปลูกฝังแนวคิดการลงทุนเชิงวิทยาศาสตร์ให้นักลงทุนไทยได้ลงทุนกันด้วยหลักเหตุและผล ไม่ใช่ไสยศาสตร์ครับ !!

Latest posts by Koedkao Peeratiyuth (see all)

ทำไมระบบการลงทุนส่วนใหญ่นั้นมักดูดีแต่ในกระดาษ แต่กลับขาดทุนจากตลาดเมื่อนำมาใช้ลงทุนจริง? ในวันนี้เราจะมาคุยกันถึงเรื่องของกระบวนการ Walk Forward Analysis ซึ่งจะช่วยตรวจสอบและปกป้องตัวเราจากความเสียหาย ซึ่งอาจเกิดขึ้นจากระบบการลงทุนที่ถูกปรุงแต่งจนเกินพอดีกันครับ

หลุมพรางของการทำ In-Sample Backtesting

เคยสงสัยกันไหมครับว่า ทำไมระบบการลงทุนส่วนใหญ่นั้นมักดูดีแต่ในกระดาษ แต่กลับขาดทุนจากตลาดเมื่อนำมาใช้ลงทุนจริงๆอย่างมหาศาล?

สาเหตุก็เพราะผลการ Backtest ส่วนใหญ่เป็นเพียงภาพลวงตาซึ่งจากความบังเอิญทางสถิติ ที่เกิดขึ้นจากการพยายามเลือกสรรตัวแปรและชุด Parameter ที่ดีที่สุดจากฐานข้อมูลในอดีตของผู้วิจัยระบบการลงทุน (In-Sample Backtesting Result) โดยที่ไม่เคยได้ทำการทดสอบความเสถียรยั่งยืนของระบบเป็นอย่างดีกันนั่นเอง!!

ดังนั้นแล้ว ในบทความชิ้นนี้เราจึงอยากพูดถึงเรื่องของการทดสอบและวิเคราะห์ถึงความเสถียรยั่งยืนของระบบการลงทุนด้วยเทคนิคแบบ Walk Forward Analysis กันสักเล็กน้อย ซึ่งหลังจากอ่านบทความนี้จบแล้ว เราก็หวังว่านักลงทุนหลายๆท่านจะเกิดความเข้าใจ และสามารถนำเอาองค์ความรู้ต่างๆไปใช้ในการวิเคราะห์ระบบการลงทุนต่างๆกันได้อย่างมีประสิทธิภาพมากยิ่งขึ้น โดยไม่ตกเป็นเหยื่อของการ Overfiting, Data Mining หรือแม้แต่คำโฆษณาระบบการลงทุนต่างๆด้วยผลการ Backtest ที่ลวงโลก จนทำให้หลายๆคนต้องหมดศรัทธาในการลงทุนอย่างเป็นระบบกันไปเสียก่อน

ว่าแล้วเราก็มาเริ่มกันเลยดีกว่าครับ!

ความเสถียรของระบบการลงทุน The Million Dollar Question!

รู้หรือไม่ว่าสำหรับนักวิจัยออกแบบระบบการลงทุนที่เข้มงวดนั้น สิ่งที่สำคัญกว่าผลกำไรหรือความเสี่ยงที่เกิดขึ้นจากผลการ Backtest ก็คือเรื่องของความเสถียรยั่งยืนของระบบในระยะยาว (Robustness) ซึ่งจะช่วยให้ระบบสามารถอยู่รอดและทนทานต่อการเปลี่ยนแปลงของสภาพตลาดต่างๆในอนาคตได้ต่างหาก!

นั่นก็เพราะอันที่จริงแล้วต่อให้ระบบจะทำกำไรได้น้อยลงมาหน่อย แต่หากมันมีความเสถียรและทนทานเพียงพอ ในที่สุดแล้วมันก็จะค่อยๆช่วยสร้างความมั่งคั่งให้กับพวกเราได้อย่างยั่งยืนในระยะยาวนั่นเอง

แล้วความเสถียรยั่งยืนของระบบการลงทุนคืออะไรกันแน่ล่ะ?

คำตอบโดยสรุปก็คือ ความเสถียรยั่งยืนของระบบการลงทุนนั้น คือการที่มันจะยังคงมีประสิทธิภาพในการสร้างผลตอบแทนในอนาคต (Out-of-Sample Data) ได้ในระดับที่ใกล้เคียงกับผลตอบแทนในการวิจัยด้วยข้อมูลในอดีต (In-Sample Data) แม้ว่าคุณลักษณะของข้อมูลในอนาคตนั้นอาจมีการเปลี่ยนรูปแบบไปบ้างด้วยผลของปัจจัยสุ่มบางอย่างก็ตาม

โดยสิ่งที่มักจะเกิดขึ้นจากการนำระบบการลงทุนที่ขาดความเสถียรยั่งยืนไปใช้ในการลงทุนจริงๆนั้น มักจะทำให้เกิดปัญหาดังภาพที่ 1 ซึ่งจะเห็นได้ว่าระบบการลงทุนได้ให้ผลตอบแทนที่ดีในช่วงชุดข้อมูลที่ถูกนำมาวิจัย (In-Sample Period) แต่กลับพังทลายลงหรือหมดประสิทธิภาพไปเมื่อนำมาใช้ในการลงทุนจริงๆกับชุดข้อมูลที่ระบบไม่เคยเจอในอนาคตนั่นเอง (Out-of-Sample Period)

ภาพที่ 1 : ตัวอย่างประสิทธิภาพในการสร้างผลตอบแทนที่ลดลงจากช่วงข้อมูล In-Sample และ Out-of-Sample

โดยงานวิจัยชิ้นหนึ่งที่น่าตกใจเอามากๆนั้น คือการค้นพบของทาง Quantopian.com (ซึ่งเป็นผู้ให้บริการ Platform ในการวิจัยระบบการลงทุนในตลาดหุ้น) ซึ่งได้ทำการวิจัยโดยนำเอาผลการ Backtest ในอดีตของระบบการลงทุนต่างๆกว่า 888 กลยุทธ์ ที่ผู้ใช้หรือ User ได้ทำการเขียน Code ไว้ มาเปรียบเทียบกับผลลัพธ์หลังจากที่ User ไม่ได้มีการเปลี่ยนแปลงเงื่อนไขระบบการลงทุนเลยอย่างน้อย 6 เดือน ซึ่งในภาพที่ 2 แสดงให้เห็นถึงความสัมพันธ์ของค่า Sharpe Ratio (ผลตอบแทนส่วนเกินต่อความเสี่ยงของระบบการลงทุน) ระหว่างผลการ Backtest ในอดีตในแกน X (In-Sample) และผลลัพธ์หลังการทดสอบ ในแกน Y (Out-of-Sample) ออกมาดังนี้

ภาพที่ 2 : ภาพแสดงค่า Sharpe Ratio ของ Out-of-Sample vs. In-Sample จาก 888 กลยุทธ์ใน website Quantopian

โดยจะสังเกตได้ว่าจาก Scatter Chart นั้นแทบจะไม่แสดงให้เห็นถึงความสัมพันธ์ระหว่าง ค่า Sharpe Ratio ของผลลัพท์แบบ In-Sample และ Out-of-Sample เลย! โดยที่

ค่า R-Squared ของเส้น Best Fit ซึ่งเป็นตัวช่วยบ่งชี้ว่าผลลัพท์ในช่วง Out-of-Sample นั้น มีผลมาจากผลลัพธ์ในช่วง In-Sample หรือไม่นั้น มีค่าอยู่ที่เพียง 0.02 ซึ่งหมายความว่าแทบจะไม่มีความสัมพันธ์ระหว่างสองตัวแปรนี้เลย!!
นอกจากนี้แล้ว จะเห็นได้ชัดว่าค่า Sharpe Ratio ส่วนมากนั้นจะกระจุกตัวอยู่ใกล้ค่า (1,0) ซึ่งแสดงว่าผล Backtest ที่ค่า Sharpe Ratio ดูสวยหรูนั้นไม่ได้แปลว่าผลลัพธ์จริงๆนั้นจะดีตามไปด้วยแต่กลับแย่ลงมากขึ้นด้วยซ้ำ!!!

ซึ่งปัญหาหลักๆที่ก่อให้เกิดผลลัทธ์เหล่านี้ขึ้นนั้น สามารถอธิบายโดยสรุปได้ตามเหตุผลดังนี้

Data Mining Bias : ซึ่งเกิดจากการค้นหาและทดสอบในชุดข้อมูลเดิมๆเป็นร้อยเป็นพันครั้ง จนพบตัวแปรหรือเงื่อนไขบางอย่างซึ่งให้ผลตอบแทนที่ดีด้วยความบังเอิญทางสถิติ ทั้งที่จริงๆแล้วพวกมันกลับไม่ได้มีความสามารถในการพยากรณ์ผลตอบแทนในอนาคตแต่อย่างใด
Overfitting : ซึ่งเกิดจากการพยายาม Optimize ปรับค่า Parameter เพื่อให้เกิดผลตอบแทนที่ดีที่สุด ทั้งที่จริงๆแล้วตัวแปรหรือเงื่อนไขที่ถูกนำมาใช้เหล่านั้นอาจมีค่าบางค่าซึ่งรวมกันแล้วให้ผลลัพธ์ที่ดีเฉพาะในชุดข้อมูลที่ถูกปรับแต่ง แต่กลับไม่สามารถให้ผลลัพธ์ที่ดีในชุดข้อมูลอื่นๆได้
Too Complex Algorithm : ซึ่งส่งผลกระทบให้เกิดความสัมพันธ์บางอย่างที่ซับซ้อนและละเอียดอ่อนจนเกินไป จนทำให้เมื่อเจอกับชุดข้อมูลใหม่ๆนั้น ความสัมพันธ์ของพวกมันอาจกลับตาลปัดอย่างที่เราไม่สามารถคาดการณ์ได้เลย (ยิ่งถ้าเป็น Black Box Algorithm ยิ่งอันตราย)
Changing Investor Behavior : ซึ่งก่อให้เกิดการเปลี่ยนแปลงทางพฤติกรรมของนักลงทุนไปตามยุคสมัย จนส่งผลกระทบต่อรูปแบบสัญญาณบางอย่างให้ค่อยๆเปลี่ยนแปลงคุณลักษณะไปทีละน้อย อาทิเช่น ความก้าวหน้าทางเทคโนโลยีในการเสพข้อมูล และการซื้อขายต่างๆ
Changing Market Structure : ซึ่งส่งผลให้เกิดการเปลี่ยนแปลงเชิงโครงสร้างของตลาด จนมีผลต่อพฤติกรรมของนักลงทุนอย่างสิ้นเชิง อาทิเช่น กฎระเบียบข้อบังคับต่างๆของทาง ก.ล.ต. เป็นต้น

ดังนั้น จะเห็นได้ว่าโจทย์ที่ยากที่สุดของการวิจัยออกแบบระบบการลงทุนกลับไม่ใช่การสร้างระบบที่ให้ผลตอบแทนสวยหรูเพียงแค่ในชุดข้อมูลในอดีตที่เรารู้จักหรือ In-Sample Data เท่านั้น แค่มันคือการสร้างระบบการลงทุนที่มีผลตอบแทนที่ดีที่สุดและยังมีความเสถียรยั่งยืนในการลงทุนจริงๆกับชุดข้อมูลในอนาคตที่เรายังไม่เคยพบเจอกันอีกด้วย

และนี่ก็คือเหตุผลที่ว่าทำไมเรื่องความความเสถียรยั่งยืนของระบบการลงทุน จึงเป็นคำถามพันล้านสำหรับนักวิจัยทุกๆคนนั่นเองครับ

หมายเหตุ : Quantopian.com เป็น Web Platform เครื่องมือการวิจัยพร้อมฐานข้อมูลด้วยภาษา Python ที่ให้ผู้ใช้ทดลองวิจัยและสร้างระบบลงทุนโดยจะมีโอกาสถูกคัดเลือกไปใช้ในการบริหารเงินจริงและได้รับส่วนแบ่งกำไรจากกลยุทธ์ของตัวเองด้วย (Profit Sharing)

การทดสอบความเสถียรยั่งยืนด้วยเทคนิค Walk Forward Analysis

จากปัญหาต่างๆที่ได้กล่าวไปนั้น นักวิจัยออกแบบระบบการลงทุนจึงได้เริ่มต้นพยายามหาทางแก้ไขข้อผิดพลาดที่อาจเกิดขึ้นได้จากการวิจัย รวมถึงตรวจสอบความเสถียรยั่งยืนของระบบ (ยกเว้นเรื่องของ Market Micro Structure ที่มักส่งผลอย่างรวดเร็ว, รุนแรง และยากจะคาดการณ์ได้) ด้วยการยืมเทคนิคในการตรวจสอบความเสถียรของแบบจำลองมาจากวิชาสถิติที่เรียกกันว่า “การตรวจสอบไขว้หรือ Cross-Validation Technique” ซึ่งสามารถอธิบายได้ย่างง่ายๆว่า มันคือการแบ่งชุดข้อมูลสำหรับการวิจัยและทดสอบแยกออกจากกัน เพื่อนำมาทดสอบประสิทธิภาพของโมเดลในภายหลังกันนั่นเอง

ภาพที่ 3 : ภาพตัวอย่างการแบ่งข้อมูลที่ไม่ได้คำนึงถึง Autocorrelation ของ K-Fold Cross-Validation โดยค่า K = 4 หรือแบ่งข้อมูลการวิจัยเป็น 4 กลุ่มนั่นเอง

โดยที่หลักการของกระบวนการทดสอบความเสถียรหรือ Cross-Validation นั้น คือการแบ่งชุดข้อมูลในการวิจัยออกเป็น 2 ส่วน ส่วนแรกคือข้อมูลที่เรียกว่า “In-Sample” หรือ “Training data” ที่นักวิจัยมักจะนำมาใช้ในกระบวนการออกแบบและทดสอบระบบการลงทุน ส่วนที่สองคือข้อมูล “Out-of-Sample” หรือ “Test data” ที่จะถูกแยกออกมาเพื่อนำมาใช้ทดสอบความเสถียรของกลยุทธ์ที่ถูกออกแบบมาจากข้อมูล In-Sample โดยระบบการลงทุนที่มีความเสถียรยั่งยืนนั้น จะต้องมีประสิทธิภาพในการสร้างผลตอบแทนจากข้อมูล Out-of-Sample ในระดับประสิทธิภาพที่ใกล้เคียงกับการทดสอบกับข้อมูล In-Sample ได้มากที่สุด

อย่างไรก็ตาม เทคนิคแบบ Cross-Validation นี้มีข้อจำกัดหลักๆอยู่สองอย่างเมื่อถูกนำมาใช้ในการทดสอบความเสถียรของระบบการลงทุนนั่นก็คือ

1. การตัดแบ่งข้อมูลออกเป็นสองส่วนนั้นกินทรัพยากรข้อมูลที่เรามีมากจนเกินไป เนื่องจากข้อมูลอย่างราคาหุ้นนั้นเป็นข้อมูลที่ไม่สามารถให้เกิดขึ้นเอง หรือจากการเก็บตัวอย่างใหม่ๆตามอำเภอใจและความต้องการได้ มันจึงทำให้เหลือข้อมูลที่ใช้ในการตรวจสอบที่น้อยเกินไป

ข้อมูลหุ้นหรือตราสารต่างๆนั้นเป็นข้อมูลเชิงอนุกรมเวลา (Time-Series Data) หรือพูดง่ายๆว่ามันเกิดขึ้นอย่างต่อเนื่องตามเวลาที่ดำเนินไป มันจึงมักมีความสัมพันธ์กันในแต่ละช่วงเวลาต่างๆด้วย (Autocorrelation or Serial Correlation) ดังนั้นแล้ว ต่อให้เราพยายามใช้ข้อมูลให้คุ้มค่าขึ้นด้วยการแบ่งข้อมูลออกเป็นหลายๆชุด (ดังภาพด้านบน) แต่ก็จะกลายเป็นการทำลายความสัมพันธ์ที่มีอยู่ อีกทั้งเมื่อทำการวิจัยในช่วงข้อมูลตรงกลางช่วงเวลานั้น จะทำให้เกิดปัญหาที่ว่าเราไม่สามารถทดสอบข้อมูลที่เหลืออย่างต่อเนื่องได้ทั้งหมดอยู่ดี (เพราะมันขาดช่วงไป และราคาหุ้นอาจกระโดดขึ้นหรือลงจนผลผิดเพี้ยนมหาศาล)

ด้วยข้อจำกัดนี้เอง จึงทำให้เกิดความพยายามในการแสวงหาทางออกในการทดสอบความเสถียรของระบบการลงทุนด้วยการใช้ข้อมูลอย่างคุ้มค่ามากที่สุด ซึ่งในที่สุดแล้ว กระบวนการ Rolling Cross-Validation หรือเทคนิค Walk Forward Analysis (หรืออาจเรียกอีกชื่อว่า Walk Forward Optimization) ก็ได้ถูกพูดถึงและเผยแพร่ขึ้นเป็นครั้งแรกโดย Robert Pardo ในปี ค.ศ. 1992 โดยมีเป้าหมายเพื่อเป็นกระบวนการช่วยตรวจสอบความเสถียรยั่งยืนของระบบการลงทุน อีกทั้งยังเป็นการตรวจสอบความสามารถในการปรับตัวของระบบต่อสภาวะตลาดที่เปลี่ยนแปลงไป โดยลดความลำเอียงจากการเลือกชุดค่า Parameter ที่ดีที่สุดของผู้วิจัยเข้าไปเกี่ยวข้องในระหว่างกระบวนการ ซึ่งจะทำให้เห็นได้อย่างชัดเจนว่าระบบสามารถที่จะอยู่รอดและทำกำไรได้ด้วยตัวของมันเองอย่างยั่งยืนในระยะยาวได้หรือไม่และมากแค่ไหนนั่นเอง

ภาพที่ 4 : Robert E. Pardo ผู้ก่อตั้ง Pardo Capital ผู้บุกเบิกกระบวนการทำ Rolling Cross-Validation ด้วยเทคนิค Walk Forward Analysis

โดยที่เทคนิค Walk forward Analysis นั้นสามารถปิดจุดอ่อนของเทคนิค Cross-Validation แบบอื่นๆ เช่นวิธีการ Validation Set Approach แบบดั้งเดิมที่ใช้ข้อมูลอย่างไม่มีประสิทธิภาพและเทคนิค K-Fold Cross Validation ที่การตัดช่วงข้อมูลไปทำลายสหสัมพันธ์อัตโนมัติ (Autocorrelation) ที่มีอยู่ในข้อมูล โดยใช้วิธีการเลื่อนกรอบช่วงเวลาทั้งของ Training Data และ Test Data ไปข้างหน้าทีละช่วง (Rolling Window) ซึ่งผู้ใช้จำเป็นต้องกำหนดค่าให้กับกรอบช่วงเวลาของทั้ง 2 ชุดข้อมูลรวมถึงกำหนดค่าให้กับช่วงเวลาที่จะขยับไปข้างหน้าหรือ Step Size ด้วยตนเอง ซึ่งมีกระบวนการดังตัวอย่างในภาพที่ 5 ด้านล่างนี้

เกร็ดความรู้เพิ่มเติม : การทำ Walk Forward Analysis ปกติจะนิยมใช้สัดส่วนที่ 70/30 หรือ 80/20 สำหรับ Training Data และ Test Data ตามลำดับ โดยระยะการขยับหรือ Step Size จะขึ้นอยู่กับประเภทของกลยุทธ์การลงทุน, ระยะเวลาการถือครอง และจำนวนการซื้อขายที่เกิดขึ้น

ภาพที่ 5 : ภาพตัวอย่างภาพเคลื่อนไหวขั้นตอนการทดสอบความเสถียรด้วยเทคนิค Walk Forward Analysis

โดยที่กระบวนการ Walk Forward Analysis สามารถถูกแยกเป็นขั้นตอนย่อยดังนี้ :

การทดสอบนั้นจะเริ่มต้นด้วยกระบวนการ Optimize Parameter ใน Training Data เพื่อหาค่า Parameter ที่ให้ผลลัพธ์ที่ดีที่สุด
ต่อจากนั้นให้นำค่า Parameter ที่ได้จาก Training Data ไปแทนค่า Parameter ในการทดสอบกับ Test Data
เมื่อทดสอบเรียบร้อยแล้วเราจะเริ่มทดสอบอีกครั้งกับช่วงของ Training Data ใหม่ที่ถูกขยับไปข้างหน้าตาม Step Size ที่กำหนดไว้ โดยจะรวม Test Data ในการทดสอบครั้งก่อนเข้าไปใน Training Data ชุดใหม่ด้ว
กระบวนการนี้จะถูกทำซ้ำไปเรื่อยๆจนกระทั่งหมดชุดข้อมูล
และเราจะนำค่า Equity ของช่วง Test Data เพียงอย่างเดียวมาเชื่อมต่อกัน (Concatenate) และคำนวนค่าสถิติ
นำผล Equity ของ Test Data ทั้งหมดที่ต่อกัน (Out-of-Sample) ในข้อ 5 มาเปรียบเทียบกับผลการทดสอบที่มาจากขั้นตอนการออกแบบที่ใช้ตัวแปรที่กำหนดเอง (Best or Arbitary Parameter) ซึ่งอ้างอิงมาจากค่าเริ่มต้นที่ใช้ในการวิจัยกลยุทธ์ (In-Sample)
นำค่าสถิติจากทั้ง 2 ระบบมาทำการคำนวนค่า Walk Forward Efficiency (WFE)

โดยที่ค่า Walk Forward Efficiency หรือ WFE นั้นคือค่าที่ใช้เป็นมาตราวัดความเสถียรของระบบการลงทุนโดยการเปรียบเทียบประสิทธิภาพในการทำงานของระบบการลงทุนในข้อมูลที่มันไม่เคยเห็นมาก่อน (Test Data) กับประสิทธิภาพของระบบการลงทุนในข้อมูลที่ใช้ในการวิจัย (Training Data) ซึ่งระบบที่มีความเสถียรในนิยามของ Robert Pardo นั้นต้องมีค่า WFE ที่มากกว่า 0.5 ขึ้นไป ซึ่งเราสามารถคำนวนค่า WFE ได้ด้วยสูตรดังนี้

WFE = Out-of-Sample Statistic/ In-Sample Statistic

Note : WFE > 0.5 = Pass by Pardo Recommendation

ตัวอย่างการทดสอบความเสถียรของระบบ MA Crossover ด้วยเทคนิค Walk Forward Analysis

ดังสุภาษิตว่า “สิบปากว่ายังไม่เท่าตาเห็น สิบตาเห็นยังไม่เท่าลงมือทำ” ดังนั้น สำหรับเนื้อหาในส่วนสุดท้ายนี้ เราจะมาสาธิตกระบวนการวัดความเสถียรยั่งยืนด้วยเทคนิค Walk forward Analysis โดยใช้ระบบการลงทุน “MA Crossover” ที่ทุกคนคงคุ้นเคยกันดีมาเป็นระบบตัวอย่างง่ายๆกันสักเล็กน้อย

โดยก่อนที่จะเข้าสู่กระบวนการ Walk Forward Analysis นั้น เราจะเริ่มต้นด้วยการทำ Optimization ค่าพารามิเตอร์ที่ใช้ในสัญญาณซื้อขายของระบบลงทุนกันเสียก่อน เพื่อเป็นการหาค่า Parameter Combination ที่ดีที่สุด รวมถึงตรวจสอบความเสถียรในเบื้องต้นของตัวแปร และขอบเขตของพารามิเตอร์ที่เราเลือกไว้ โดยตัวแปรเส้นค่าเฉลี่ยที่สั้นหรือ ShortMA จะใช้ค่าพารามิเตอร์ระหว่าง 5 ถึง 45 วัน และเส้นค่าเฉลี่ยที่ยาวหรือ LongMA จะใช้ค่าพารามิเตอร์ระหว่าง 50 ถึง 200 วัน ซึ่งได้ให้ผลลัพธ์ดังต่อไปนี้

ภาพที่ 6 : ภาพแสดงผลการ Optimization ตัวแปร ShortMA และ LongMA เพื่อค้นหาชุดพารามีเตอร์ที่ให้ผลตอบแทนทบต้นโดยเฉลี่ยต่อปีสูงที่สุด (CAR- Compound Annual Return)

โดยจะเห็นได้ว่าผลตอบแทนจากภาพพื้นผิว 3 มิติหรือ Surface Chart นั้น มีลักษณะกระจัดกระจายเป็นยอดแหลม (Spike) อยู่ในหลายๆจุด ซึ่งสิ่งนี้ถือว่าเป็นหนึ่งในลักษณะที่บ่งชี้ถึงความไม่เสถียรของชุดค่าพารามิเตอร์ที่ใช้ในระบบการลงทุนที่น่ากังวลเป็นอย่างมาก (เพราะการเปลี่ยนแปลงค่าเพียงเล็กน้อยก่อให้เกิดผลลัพธ์ที่แตกต่างกันในหลายจุด) อย่างไรก็ตามผลจากการทดสอบเบื้องต้นนี้ก็ยังเป็นแค่การสันนิษฐานถึงความย่ำแย่ของระบบที่ยังไม่มีตัวเลขมายืนยัน เพราะฉะนั้นเราจึงต้องเดินหน้าทดสอบด้วยเทคนิค Walk Forward Analysis เพื่อเป็นการพิสูจน์ถึงความเสถียรของมันกันต่อไป!

สำหรับในขั้นตอนต่อไปนี้ เราจะใช้โปรแกรม Amibroker มาทำการทดสอบระบบการลงทุนด้วยเทคนิค Walk Forward Analysis เพื่อวิเคราะห์ถึงความเสถียรยั่งยืนของระบบการลงทุนตามที่ได้อธิบายเอาไว้ โดยที่ระบบ Moving Average Crossover นั้นมีรายละเอียดและผลลัพธ์ของการทดสอบดังนี้

Condition	Details
Backtesting Window ในการวิจัย	1997-01-01 ถึง 2018-01-01
In-Sample Window	เริ่มต้นที่ 1994-01-01 ถึง 1997-01-01 เป็นระยะเวลา 3 ปี สิ้นสุดที่ 2017-01-01
Out-of-Sample Window	เริ่มต้นที่ 1997-01-01 ถึง 1998-01-01 เป็นระยะเวลา 1 ปี สิ้นสุดที่ 2018-01-01
Step Window	1 ปี
Backtesting Restriction	เงินทุนเริ่มต้น 10 ล้านบาท อัตราค่า Commission 0.25% (รวมซื้อขาย 0.5%) Volatility Slippage 0.25% ทั้งการซื้อและขาย Long Only
Universe	All Stocks หุ้นทุกตัวในตลาดหลักทรัพย์แห่งประเทศไทย
Filters	มูลค่าการซื้อขายเฉลี่ยใน 5 วัน มากกว่า 0.05% ของการซื้อขายของ SET Index ไม่ซื้อหุ้นต่ำบาท (Penny Stock Filter)
Entry	Short Moving Average ตัดขึ้นเหนือ Long Moving Average
Exit	Short Moving Average ตัดลงต่ำกว่า Long Moving Average
Position Size	5% ของมูลค่าพอร์ตโฟลิโอ
Position Score	เรียงจากลำดับคะแนนจากค่า ShortMA / LongMA
Order Management	ทำการซื้อขายราคาเปิด (Open) ของวันถัดไปของวันที่เกิดสัญญาณ)

ตารางที่ 1 : เงื่อนไขต่างๆสำหรับการทดสอบ Walk Forward Analysis ของระบบ Moving Average Crossover

ภาพที่ 7 : ภาพเปรียบเทียบผลตอบแทนของระบบ MA Crossover ระหว่างการข้อมูล In-Sample, ข้อมูล Out-of-Sample และผลตอบแทนของดัชนี SET Index

	Out-of-Sample	In-Sample	SET Index
Cumulative Profit (Start @1)	2.32	26.75	1.23
Annualized Return (%)	6.06 %	17.7 %	4.01 %
Annualized Standard Deviation	21.73	22.65	24.71
Annualized Sharpe (Rf = 4%)	0.28	0.78	0.16
Maximum Drawdown (%)	-60.1 %	53.67 %	-75.86 %

ตารางที่ 2 : ตารางสรุปค่าสถิติจากผลการทดสอบ Walk Forward Analysis (Out-of-Sample), ผลการทดสอบ Backtest (In-Sample) และ SET Index

โดยผลลัพธ์ของการทดสอบนั้นก็เป็นไปตามทิศทางที่คาดไว้ นั่นก็คือการที่ระบบการลงทุนที่ใช้ตัวแปรและค่าพารามิเตอร์ที่ไม่มีความเสถียรนั้น มักทำให้ผลตอบแทนในชุดข้อมูล Out-of-Sample นั้นลดลงต่ำกว่ากับผลตอบแทนในข้อมูล In-Sample ราวกับเป็น “หนังคนละม้วน” ซึ่งจะเห็นได้ว่าค่า Performance ที่มาจากการทดสอบกับชุดข้อมูล Out-of-Sample ด้วยกระบวนการ Walk forward Analysis นั้นเปลี่ยนไปในทิศทางที่แย่ลงอย่างมีนัยยะแทบจะทั้งหมดเมื่อนำมาเปรียบเทียบกับค่า Performance จากผลการทดสอบในชุดข้อมูล In-Sample ก่อนหน้านี้อย่างสิ้นเชิง

โดยเมื่อเราทำการคำนวนค่า Walk Forward Efficiency หรือ WFE โดยพิจารณาจากค่า Annualized Return จากตารางที่ 2 ออกมาได้ตามสูตรดังนี้ (ค่า WFE สามารถคำนวณจากค่าอื่นๆที่เราคิดว่าเหมาะสมหรือเป็นเป้าหมายในการลงทุนของเราได้เช่นกัน)

WFE = Out-of-Sample CAGR (6.06) / In-Sample CAGR (17.7)

WFE = 0.34

จะเห็นได้ว่าค่าประสิทธิภาพของความเสถียรยั่งยืน (Walk forward Efficiency) ของกลยุทธ์ Moving Average Crossove นั้น อยู่ที่ 0.34 หรือเพียงราวๆ 34% เท่านั้น ซึ่งแสดงให้เห็นว่าผลลัพธ์ที่เกิดขึ้นในช่วง In-Sample นั้นน่าจะเป็นผลมาจากเรื่องของการ Overfitting แล้วเลือกค่า Best Parameter ที่ดีที่สุดออกมาแสดงให้เห็นกันเท่านั้น โดยถ้าหากเราเข้าไปทำการลงทุนจริงๆในอดีตด้วยการเลือกชุดค่าพารามีเตอร์ที่ดีที่สุดของมันมาใช้ในแต่ละปี ผลลัพธ์ก็คงจะออกมาย่ำแย่ต่ำกว่าที่คาดหวังในลักษณะเดียวกันกับผล Out-of-Sample เส้นสีแดงอย่างหลีกเลี่ยงไม่ได้เลย

ดังนั้น หากถ้าอ้างอิงตามมาตราฐานของ Robert Pardo ที่ค่า WFE ควรต้องสูงกว่า 0.5 หรือ 50% ขึ้นไปนั้น ก็จะทำให้เราสามารถสรุปได้ว่า ระบบการลงทุน Moving Average Crossover ยอดฮิตของนักลงทุนไทยที่เรานำมาทดสอบในบทความนี้นั้น ไม่มีความเสถียรยั่งยืนเพียงพอแม้แต่น้อย และยังอันตรายต่อการนำไปใช้ลงทุนจริงๆอีกด้วย เนื่องจากเราไม่มีวันมั่นใจได้เลยว่ามันจะยังคงสามารถทำกำไรในอนาคตได้ดังเดิมมากน้อยสักแค่ไหนนั่นเอง

บทสรุปส่งท้าย Walk Forward Analysis และการเลือกสรรค์ระบบการลงทุนของคุณ

จากเนื้อหาทั้งหมดที่ได้กล่าวมานี้ หลายๆคนคงน่าจะพอเข้าใจกันแล้วว่าทำไมผล Backtest ที่ดูดีที่เราเห็นกันทั่วไป จึงแทบจะไม่มีผลต่อการพยากรณ์ประสิทธิภาพของระบบการลงทุนในอนาคตเลย (ซึ่งนั่นก็เป็นเพราะทำการเลือกชุดค่าพารามีเตอร์ที่ดีที่สุดในอดีตออกมา โดยไม่ได้คำนึงถึงความเสถียรของระบบเลยนั่นเอง)

ดังนั้นแล้ว การพึงระวังต่อความผิดพลาดที่อาจเกิดขึ้นจากการวิจัย ด้วยการวิเคราะห์ผลลัพธ์จากกระบวนการ Walk Forward Analysis นั้น จึงเป็นอีกวิธีการหนึ่งที่จะช่วยให้เราไม่ตกเป็นเหยื่อของหลุมพรางจาก Data Minning, Overfitting, Complex Model หรือแม้แต่โฆษณาชวนเชื่อได้อย่างมีประสิทธิภาพในระดับหนึ่งเลยทีเดียว

อย่าลืมนะครับ ผลตอบแทนที่สวยหรูดูดีจากการวิจัยโดยเลือกค่าพารามีเตอร์ที่ดีที่สุดในอดีตนั้นเป็นแค่ภาพลวงตา โดยสิ่งที่สำคัญกว่าคือการทดสอบว่ามันสามารถสร้างผลตอบแทนที่ดีในชุดข้อมูลที่มันไม่เคยเจอได้หรือไม่และดีแค่ไหนกันต่างหาก เพราะความเสถียรยั่งยืนของระบบการลงทุนนั้น คือกุญแจสำคัญในการสร้างความมั่งคั่งอย่างยืนที่แท้จริงในอนาคตนั่นเองครับ