ใครดูแลเว็บที่อยู่หลัง CDN น่าจะเคยเจออีเมลหัวเรื่องประมาณ "Health check is Unhealthy" เด้งเข้ามาตอนสองทุ่ม แล้วอีกสามนาทีก็มีอีกฉบับบอกว่า "Healthy" ตามมา บางคืนเป็นแบบนี้สองสามรอบ บางคืนมีฉบับเดียวแล้วเงียบไปเลย คำถามที่ต้องตอบให้ได้ภายในไม่กี่นาทีคือ นี่เป็นแค่อาการแวบเดียว (blip) หรือเว็บล่มจริง และควรปลุกใครหรือไม่
เราดูแลแจ้งเตือนแบบนี้ของหลายเว็บผ่านรอบตรวจอีเมลทุกชั่วโมง และพลาดมาแล้วทั้งสองทาง คือปลุกคนกลางดึกเพราะ blip ที่หายไปเองใน 3 นาที กับปล่อยผ่านอาการที่เกิดซ้ำทุกคืนจนกลายเป็นปัญหาเรื้อรังของ origin บทความนี้สรุปวิธีคัดแยกที่เราใช้อยู่ ตั้งแต่การรวมอีเมลเป็นเหตุการณ์ การอ่านสาเหตุของความล้มเหลว การยืนยันจากมุมที่ถูก ไปจนถึงเกณฑ์ความเร่งด่วนและการเก็บหลักฐานไว้คุยกับผู้ให้บริการ ตัวอย่างในบทความใช้ Cloudflare Health Checks แต่หลักคิดใช้ได้กับ uptime monitor ทุกเจ้า
ทำไมอีเมลฉบับเดียวบอกอะไรไม่ได้
health check ของ CDN ส่วนใหญ่ส่งแจ้งเตือนตอนสถานะเปลี่ยน ไม่ใช่ส่งสถานะปัจจุบันเป็นระยะ อีเมล Unhealthy หนึ่งฉบับจึงบอกแค่ว่า "ณ เวลานั้น probe จากบาง region ล้มเหลวตามเงื่อนไขที่ตั้งไว้" มันไม่ได้บอกว่าตอนนี้ยังล่มอยู่ไหม ล่มนานแค่ไหน และผู้ใช้จริงเห็นอะไร สิ่งที่เราเจอบ่อยมีสามแบบ
- Unhealthy แล้ว Healthy ตามมาในไม่กี่นาที ส่วนใหญ่เป็น origin ตอบช้าชั่วคราว เช่น backup ทำงาน, cron หนัก หรือฐานข้อมูลล็อกตาราง
- สลับไปมาหลายรอบในคืนเดียว (flapping) และสาเหตุเปลี่ยนจาก timeout เป็น HTTP 500 อาการนี้บอกว่า origin กำลังมีปัญหาจริง แม้แต่ละรอบจะสั้น
- Unhealthy แล้วเงียบ ไม่มีฉบับ Healthy ตามมา ซึ่งอาจแปลว่ายังล่มอยู่ หรือกลับมาแล้วแต่อีเมลยังไม่ถึง เราจึงตีความความเงียบว่า "ยังไม่ยืนยันว่ากลับมา" เสมอ ไม่ใช่ "น่าจะหายแล้ว"
ข้อสรุปคือต้องเลิกมองอีเมลเป็นรายฉบับ แล้วมองเป็นเหตุการณ์ที่มีจุดเริ่มต้นและจุดจบ
ขั้นที่ 1: รวมอีเมลเป็นเหตุการณ์และทำ timeline
ทุกครั้งที่มีอีเมลเข้า ให้ผูกเข้ากับเหตุการณ์ที่เปิดอยู่ของ origin เดียวกันก่อน ถ้าไม่มีจึงเปิดเหตุการณ์ใหม่ ข้อมูลที่ควรเก็บต่อบรรทัดมีแค่ เวลา, ชื่อ check, สถานะ และ failure reason ตัวอย่าง timeline ของเว็บสมมติ www.example.com ในคืนหนึ่ง
20:04 www.example.com Unhealthy HTTP timeout
20:07 www.example.com Healthy
20:22 www.example.com Unhealthy Response code mismatch (500)
20:25 www.example.com Healthy
มองแค่ฉบับล่าสุดจะเห็นว่า "Healthy แล้ว จบ" แต่ timeline บอกว่ามีสองรอบในยี่สิบนาที และรอบหลังเปลี่ยนจาก "ช้า" เป็น "พัง" ซึ่งควรได้รับการติดตามต่อ กฎที่เราใช้ในการรวมเหตุการณ์มีสามข้อ
- แปลงเวลาเป็นโซนเดียวกันก่อนเสมอ อีเมลแจ้งเตือนหลายเจ้าระบุเวลาเป็น UTC (เช่น 08:17:54 UTC คือ 15:17:54 ตามเวลาไทย) ถ้าเอาไปเรียงปนกับ log ของเครื่องที่เป็นเวลาท้องถิ่น timeline จะเพี้ยนไปเจ็ดชั่วโมง
- อีเมลซ้ำให้ไปอัปเดตเหตุการณ์เดิม ไม่ต้องเปิดใหม่ แต่ให้เพิ่มตัวนับ เช่น "รอบที่ 3 ของวันนี้" เพราะจำนวนครั้งคือข้อมูลสำคัญที่สุดในการตัดสินระดับความเร่งด่วน
- ปิดเหตุการณ์เมื่อมีหลักฐานว่ากลับมาเท่านั้น คืออีเมล Healthy หรือผลจาก analytics ไม่ใช่ปิดเพราะเงียบไปนาน
ขั้นที่ 2: อ่าน failure reason ให้ออก
สาเหตุที่ health check รายงานมาเป็นเบาะแสที่ดีที่สุดว่าปัญหาอยู่ชั้นไหน ตารางนี้คือสิ่งที่เราดูเป็นอย่างแรก
| Failure reason | มักแปลว่า | ดูอะไรต่อ |
|---|---|---|
| TCP connection failed | ต่อไม่ถึงพอร์ตเลย เครือข่ายระหว่าง CDN กับ origin มีปัญหา หรือ firewall ไม่ยอมให้ต่อ | firewall/allowlist ของ origin, เครื่องดับ, ลิงก์ของผู้ให้บริการ |
| HTTP timeout | ต่อได้ แต่ตอบไม่ทันเวลาที่ตั้งไว้ origin ช้าหรือคิวเต็ม | load, worker ของเว็บเซิร์ฟเวอร์, query ฐานข้อมูลที่ช้า, งานตามเวลา |
| Response code mismatch (5xx) | แอปตอบกลับมาแต่พัง | error log ของแอป, การเชื่อมต่อฐานข้อมูล, deploy ล่าสุด |
| Response code mismatch (3xx/403) | มักเป็นปัญหาของตัว check เอง เช่น check แบบ HTTP แต่ origin redirect ไป HTTPS หรือ WAF บล็อก probe | ตั้งค่า check ให้ตรงกับของจริงก่อนไล่ origin |
| Response body mismatch | หน้าเว็บขึ้น แต่ไม่ใช่หน้าที่คาด เช่น หน้า maintenance หรือหน้า error ที่ตอบ 200 | เนื้อหาหน้าที่ใช้ตรวจ และข้อความที่ตั้งเป็น expected body |
สิ่งที่เราสังเกตได้จากของจริงคือการเปลี่ยนชนิดของสาเหตุมีความหมาย ถ้ารอบแรกเป็น timeout แล้วรอบถัดไปเป็น 500 แปลว่า origin เริ่มช้าจนบางส่วนพัง ไม่ใช่สะดุดทางเครือข่ายแวบเดียว ส่วนเคส 3xx หรือ 403 ให้สงสัยตัว check ก่อนเสมอ เพราะเราเสียเวลามาแล้วกับการไล่ origin ที่ไม่ได้เป็นอะไรเลย
ขั้นที่ 3: ดูความกว้างของผลกระทบ
ก่อนลงลึก ให้ถามว่ามีกี่ check ที่ล้มในนาทีเดียวกัน คำตอบช่วยชี้ชั้นของปัญหาได้เร็วมาก
- check เดียว ปัญหาน่าจะอยู่ที่แอปหรือพาธนั้น
- หลาย check ที่ชี้ไป origin เดียวกัน เช่น สองโดเมนที่อยู่บนเครื่องเดียวกัน ล้มพร้อมกันด้วย timeout ทั้งหมด ปัญหาอยู่ที่ตัวเครื่อง origin หรือเครือข่ายขาเข้าของมัน ไม่ใช่แอปใดแอปหนึ่ง
- หลาย origin ที่ไม่เกี่ยวกันล้มพร้อมกัน ให้สงสัยสิ่งที่ใช้ร่วมกัน เช่น ผู้ให้บริการเครือข่าย, DNS หรือฝั่ง probe เอง ก่อนจะไล่ทีละเครื่อง
วิธีที่ทำให้ขั้นนี้เร็วคือมีตารางว่า check ไหนชี้ไป origin ไหน และใครเป็นเจ้าของ ซึ่งเป็นเรื่องเดียวกับการทำ แหล่งความจริงเรื่องเจ้าของระบบ ถ้าไม่มีตารางนี้ คนที่อ่านแจ้งเตือนตอนกลางคืนจะไม่รู้ว่าต้องแจ้งใคร
ขั้นที่ 4: ยืนยันจากมุมที่ถูก
ปฏิกิริยาแรกของทุกคนคือเปิดเว็บดูเองหรือรัน curl จากเครื่องตัวเอง แต่ถ้าเว็บอยู่หลัง CDN ที่เปิด bot protection ไว้ ผลที่ได้อาจไม่เกี่ยวกับ origin เลย เราเคยได้ HTTP 403 กลับมาภายใน 0.4 วินาทีจากเครื่องที่ใช้ตรวจอัตโนมัติ ซึ่งเป็น CDN บล็อก bot ไม่ใช่คำตอบจาก origin ผลแบบนี้ยืนยันไม่ได้ทั้งว่าล่มหรือไม่ล่ม แหล่งยืนยันที่เชื่อถือได้กว่ามีสามทาง เรียงตามที่เราใช้
- Analytics ของ health check ฝั่ง Cloudflare มีหน้า Health Checks Analytics ที่แสดง uptime, latency, failure reason และ event log ราย probe พร้อม round trip time และ response code ของแต่ละครั้ง ดูได้ว่าล้มจากทุก region หรือแค่บาง region
- ยิงตรงไป origin จากเครื่องที่ได้รับอนุญาต โดยข้าม CDN แต่ยังส่ง Host header ให้ถูก เพื่อแยกว่าปัญหาอยู่ที่ origin หรือที่ชั้น CDN
- log ของ origin เอง access log และ error log ในช่วงเวลาเดียวกับ timeline
# ผ่าน CDN ตามที่ผู้ใช้เห็น (ดูแค่ status และเวลา)
curl -s -o /dev/null -w '%{http_code} %{time_total}s\n' https://www.example.com/
# ข้าม CDN ไปที่ origin ตรง ๆ (192.0.2.10 เป็นเลขตัวอย่าง)
curl -s -o /dev/null -w '%{http_code} %{time_total}s\n' \
--resolve www.example.com:443:192.0.2.10 https://www.example.com/
ถ้าผ่าน CDN ได้ 5xx แต่ยิงตรงได้ 200 ให้ดูชั้น CDN และการเชื่อมต่อระหว่างกลาง ถ้ายิงตรงก็ช้าหรือพังเหมือนกัน ปัญหาอยู่ที่ origin แน่นอน ส่วน origin ที่อนุญาตเฉพาะ IP ของ CDN ก็ต้องยิงจากเครื่องที่อยู่ใน allowlist เท่านั้น อย่าเปิด firewall เพิ่มเพื่อทดสอบตอนกลางดึก
ขั้นที่ 5: ตัดสินระดับความเร่งด่วนด้วยกฎที่เขียนไว้ล่วงหน้า
การตัดสินใจตอนกลางคืนไม่ควรขึ้นกับอารมณ์ของคนที่อ่าน เราจึงเขียนกฎไว้ล่วงหน้าแล้วใช้เหมือนกันทุกครั้ง
| อาการ | ระดับ | สิ่งที่ทำ |
|---|---|---|
| Unhealthy ครั้งแรกในรอบ 7 วัน และ Healthy กลับมาภายใน 5 นาที | blip | บันทึกใน timeline ไม่ปลุกใคร |
| เกิดซ้ำตั้งแต่ 3 ครั้งใน 24 ชั่วโมง หรือ flapping ที่สาเหตุเปลี่ยนจาก timeout เป็น 5xx | ปกติ | เปิดงานให้เจ้าของ origin ดูในวันทำการถัดไป พร้อมแนบ timeline |
| ไม่มี Healthy กลับมาภายใน 15 นาที, analytics ล้มจากทุก region หรือยิงตรงไป origin ก็พัง | ด่วน | แจ้งเวรทันที |
| หลาย origin ที่ไม่เกี่ยวกันล้มพร้อมกัน | ด่วน | ไล่สิ่งที่ใช้ร่วมกันก่อน เช่น เครือข่ายและ DNS |
ตัวเลข 5 นาที, 3 ครั้ง และ 15 นาทีเป็นค่าที่เราใช้ ปรับได้ตามความสำคัญของเว็บ แต่ต้องเขียนลงเป็นลายลักษณ์อักษร อีกเรื่องที่สำคัญเท่ากันคือใครเป็นคนแก้ ถ้า origin อยู่กับผู้ให้บริการภายนอก งานของเราไม่ใช่เข้าไปแก้เครื่อง แต่เป็นการส่งหลักฐานให้คนที่ดูแลสัญญาหรือ PM ของงานนั้นไปคุยกับผู้ให้บริการ ระดับ "ด่วน" สำหรับเว็บแบบนี้จึงหมายถึงแจ้งคนที่ติดต่อผู้ให้บริการได้ ไม่ใช่ปลุกวิศวกรของเราให้เข้าเครื่องที่ไม่มีสิทธิ์อยู่แล้ว
เก็บหลักฐานไว้คุยกับผู้ให้บริการ
อาการที่เกิดซ้ำทุกคืนแต่หายเองทุกครั้งเป็นเรื่องที่คุยยากที่สุด เพราะพอถามผู้ให้บริการ เขาก็จะตอบว่า "ตอนนี้ปกติดี" ถ้าเราไม่มีข้อมูลมากพอ คำขอ log ที่ส่งไปก็จะเงียบหายไปหลายวัน สิ่งที่ช่วยให้คุยได้ไวขึ้นคือ
- timeline ที่แปลงเวลาเป็นโซนเดียวกันแล้ว ระบุทั้งเวลาไทยและ UTC เพื่อให้ผู้ให้บริการเทียบกับ log ของเขาได้ทันที
- failure reason ของแต่ละรอบ และจำนวนครั้งต่อวันย้อนหลังหนึ่งถึงสองสัปดาห์
- ภาพหรือ export จาก analytics ที่บอกว่าล้มจากหลาย region ไม่ใช่ probe จุดเดียว
- ผลยิงตรงไป origin ในช่วงที่เกิดเหตุ (ถ้ามี)
เมื่อส่งคำขอไปแล้ว ให้บันทึกวันที่ส่งไว้ในเหตุการณ์ด้วย เพื่อให้รอบตรวจถัด ๆ ไปเห็นว่า "รอคำตอบมาแล้วกี่วัน" และตามต่อได้โดยไม่ต้องเริ่มใหม่
ขั้นที่ 6: ปรับตัว check ให้เตือนสิ่งที่ควรเตือน
แจ้งเตือนที่ดังบ่อยเกินไปจะถูกเพิกเฉย และแจ้งเตือนที่ผ่อนเกินไปก็ไม่ช่วยอะไร ค่าที่ควรทบทวนเมื่อมี blip บ่อย ๆ มีดังนี้
- Timeout ถ้าตั้งไว้ต่ำเกินไป เช่น 1–2 วินาที หน้าที่ปกติก็ช้าแบบนั้นอยู่แล้วจะกลายเป็น timeout ตลอด เอกสารของ Cloudflare เองก็แนะนำให้เพิ่มค่านี้เมื่อเจอ HTTP timeout บ่อย
- Retries จำนวนครั้งที่ลองซ้ำก่อนตัดสินว่า Unhealthy ช่วยกรองการสะดุดของเครือข่ายครั้งเดียว
- Interval และ check regions ยิ่งถี่และยิ่งหลาย region ยิ่งเห็นเร็ว แต่ก็เพิ่มโหลดให้ origin เลือกให้พอดีกับความสำคัญของเว็บ
- Path ใช้หน้าที่เบาแต่ยังทดสอบส่วนสำคัญ เช่น
/healthzที่แตะฐานข้อมูลด้วย query เล็ก ๆ ไม่ใช่หน้าแรกที่โหลดทุกอย่าง และไม่ใช่ไฟล์ static ที่ขึ้นเสมอแม้แอปจะพัง - Expected codes และ expected body ให้ตรงกับของจริง ใช้ HTTPS ถ้า origin บังคับ HTTPS หรือเปิด follow redirect
- WAF และ allowlist ถ้ามีกฎจำกัด IP หรือบล็อก bot ต้องยกเว้นให้ probe ของ health check ด้วย ฝั่ง Cloudflare ระบุ user agent ของ probe ไว้ชัด ใช้ทำกฎยกเว้นได้
ทุกครั้งที่ปรับค่า ให้จดไว้ใน timeline ด้วยว่าปรับวันไหน เพราะถ้าจำนวน blip ลดลงหลังจากนั้น เราต้องแยกให้ออกว่า origin ดีขึ้นจริงหรือเราแค่ทำให้ check ทนขึ้น
กับดักที่เจอ
- ปิดเหตุการณ์เพราะ "เงียบไปแล้ว" ทั้งที่ยังไม่มีอีเมล Healthy หรือผลจาก analytics ยืนยัน
- เชื่อผล
curlผ่าน CDN ที่ตอบ 403 เร็ว ๆ ว่าเว็บกลับมาแล้ว ทั้งที่เป็นแค่หน้าบล็อก bot - เรียงเวลาในอีเมลที่เป็น UTC ปนกับ log ที่เป็นเวลาท้องถิ่น จนสรุปผิดว่าเกิดหลังจาก deploy
- เปิดงานใหม่ทุกครั้งที่มีอีเมลเข้า จนงานเดียวกันกลายเป็นสิบงาน และไม่มีใครเห็นว่าเป็นอาการซ้ำ
- ลด sensitivity ของ check เพื่อให้แจ้งเตือนเงียบ แทนการแก้ต้นเหตุที่ origin
- ปลุกวิศวกรตอนกลางคืนสำหรับ origin ที่ผู้ให้บริการภายนอกดูแล ซึ่งเราไม่มีสิทธิ์แก้อยู่แล้ว
ถ้าอยากมองเว็บของตัวเองจากมุมคนนอกให้ครบกว่า health check ลองอ่านเรื่อง exposure monitor รายวัน และถ้าปัญหาที่เจอเกี่ยวกับหลายชั้นระหว่าง CDN, load balancer และเว็บเซิร์ฟเวอร์ เรื่อง security headers ที่มีเจ้าของชั้นเดียว ใช้หลักคิดเดียวกันคือต้องรู้ก่อนว่าแต่ละชั้นทำอะไร
สรุป
แจ้งเตือน health check หนึ่งฉบับเป็นแค่จุดเริ่มต้นของคำถาม ไม่ใช่คำตอบ ให้รวมอีเมลเป็นเหตุการณ์ที่มี timeline อ่าน failure reason เพื่อหาชั้นของปัญหา ดูว่ากระทบกว้างแค่ไหน ยืนยันจาก analytics หรือยิงตรงไป origin แทนการเชื่อผลผ่าน CDN แล้วตัดสินระดับด้วยกฎที่เขียนไว้ล่วงหน้า พร้อมรู้ว่าใครเป็นคนแก้จริง
บทเรียนที่ชัดที่สุดของเราคือ อาการแวบเดียวที่เกิดซ้ำทุกคืนไม่ใช่เรื่องเล็ก แต่มันจะถูกมองข้ามถ้าเรามองอีเมลทีละฉบับ ตัวนับจำนวนครั้งและ timeline ที่เรียงเวลาถูกต้องคือสิ่งที่เปลี่ยน "เว็บกระตุกนิดหน่อย" ให้กลายเป็นหลักฐานที่ผู้ให้บริการต้องตอบ
