พื้นฐาน Linux & CLI สำหรับวิศวกรข้อมูล

ทฤษฎีและกลไกการทำงาน (How it works): ในเคอร์เนลของ Linux โปรเซสต่าง ๆ จะติดต่อกับทรัพยากร (เช่น ไฟล์ หรือเน็ตเวิร์กซ็อกเก็ต) ผ่านจำนวนตัวเลขจำนวนเต็มบวกที่เรียกว่า **File Descriptors (FD)** โดยมีสัญญาสตรีมมาตรฐาน 3 ตัวหลัก: - `0` (stdin): สตรีมรับข้อมูลเข้าแบบมาตรฐาน - `1` (stdout): สตรีมแสดงผลข้อมูลออก - `2` (stderr): สตรีมแสดงผลข้อผิดพลาดของระบบ เมื่อใช้คำสั่งท่อส่งข้อมูล (**Pipe |**) ระบบปฏิบัติการจะจัดสรรบัฟเฟอร์ขนาดเล็กในระดับเคอร์เนล (Kernel Ring Buffer ขนาด 64KB) เพื่อส่งผ่านข้อมูลจาก stdout ของโปรเซสแรกไปยัง stdin ของโปรเซสถัดไปทันที ช่วยให้รันงานคู่ขนานได้โดยไม่ต้องพักข้อมูลลงฮาร์ดดิสก์

# Redirecting standard output (1) and error (2) streams in Linux CLI
# Save stdout to out.log and redirect stderr to the same place (2>&1)
python3 process_data.py > out.log 2>&1
                    

Use Case ในชีวิตจริง (Real-world Scenario): เมื่อวิศวกรข้อมูลต้องการกรองข้อมูลจากไฟล์ล็อกของเว็บเซิร์ฟเวอร์ขนาด 100GB การกรองโดยใช้ท่อระบายข้อมูล CLI จะใช้แรมเพียง 64KB ตลอดเวลา ทำให้เราวิเคราะห์ระบบได้บนเซิร์ฟเวอร์ขนาดเล็กโดยไม่ต้องเสียทรัพยากรเครื่องหลัก

ข้อควรระวังและวิธีแก้ (Pitfalls & Mitigations): หากโปรเซสทางซ้ายเขียนข้อมูลเร็วกว่าโปรเซสทางขวาอ่านมาก บัฟเฟอร์ 64KB จะเต็ม ส่งผลให้โปรเซสทางซ้ายถูกเคอร์เนลสั่งบล็อกชั่วคราว (Block Write) ซึ่งเป็นเรื่องปกติของกลไก **Backpressure** แต่หากเกิดการตายของโปรเซสปลายทางกลางคัน เคอร์เนลจะส่งสัญญาณ `SIGPIPE` ไปฆ่าตัวเขียน แก้ไขโดยทำระบบดักจับ Error/Exit Code ในสคริปต์

ทฤษฎีและกลไกการทำงาน (How it works): คำสั่ง `grep` สแกนหาคำและรูปแบบข้อความในสตรีมด้วยอัลกอริทึมค้นหาประสิทธิภาพสูง หากป้อนสวิตช์ `-F` (Fixed Strings) ระบบจะรันผ่านอัลกอริทึม **Boyer-Moore** สแกนหาข้อความตรงตัวโดยไม่ต้องเสียเวลาคอมไพล์และประมวลผลตารางนิพจน์ปกติ (Regex state machines) ส่งผลให้ประมวลผลเร็วกว่าการสแกนหาแบบทั่วไปเกือบ 10 เท่า

# Advanced grep patterns: search case-insensitive, show 3 lines of context around errors
grep -i -F "connection failed" /var/log/syslog -C 3
                    

Use Case ในชีวิตจริง (Real-world Scenario): ในระหว่างเหตุการณ์ระบบคลังข้อมูลเชื่อมโยงคลาวด์ล้มเหลว ทีมวิศวกรใช้คำสั่ง `grep -F "ACCESS_DENIED" -r /var/log/pipecraft/` เพื่อกวาดค้นหาไฟล์สิทธิ์การเชื่อมต่อที่เสียหายในทุกโฟลเดอร์ย่อยได้อย่างรวดเร็วในไม่กี่วินาที

ข้อควรระวังและวิธีแก้ (Pitfalls & Mitigations): การรัน Regular Expression ซับซ้อนด้วยคำสั่ง `grep -E` (Extended Regex) บนไฟล์ระดับหลายกิกะไบต์ อาจส่งผลให้ซีพียูรันเต็ม 100% จากสภาวะ backtracking แก้ไขโดยหลีกเลี่ยงการใช้นิพจน์ปกติที่กำกวม หรือหันมาใช้เครื่องมืออย่าง `ripgrep` (`rg`) ซึ่งบิวด์ด้วย Rust และมีความเร็วสูงกว่ามาก

ทฤษฎีและกลไกการทำงาน (How it works): `sed` เป็นตัวแก้ไขข้อความแบบสตรีม ทำงานแบบทีละบรรทัดโดยมีบัฟเฟอร์ในแรม 2 ตัวหลัก: 1. **Pattern Space**: บัฟเฟอร์ชั่วคราวเก็บข้อความของบรรทัดปัจจุบันที่อ่านมาจากดิสก์ เพื่อนำมารันตามคำสั่งกรองแปลงที่ป้อน 2. **Hold Space**: บัฟเฟอร์สำรองพิเศษสำหรับฝากข้อความชั่วคราว ใช้เมื่อเราต้องการสลับบรรทัด สลับหัวข้อ หรือนำประวัติบรรทัดก่อนหน้ามาวิเคราะห์ร่วมด้วย

# Replacing connection strings in-place within a config file
sed -i 's/db_port=5432/db_port=6432/g' config.env
                    

Use Case ในชีวิตจริง (Real-world Scenario): ระบบอัปเกรดข้อมูลย้ายพอร์ตฐานข้อมูลจาก Postgres ปกติไปรันผ่าน PgBouncer สคริปต์แก้ไขด่วนจะเรียกใช้ `sed` เพื่อลุยเปลี่ยนค่าตัวแปรในไฟล์คอนฟิกระบบงานทั้งหมดบนเซิร์ฟเวอร์โดยอัตโนมัติ

ข้อควรระวังและวิธีแก้ (Pitfalls & Mitigations): คำสั่ง `sed -i` แก้ไขทับไฟล์จริงทันที หากเขียนนิพจน์ผิดไปนิดเดียวจะส่งผลให้ไฟล์พังถาวร แก้ไขโดยต้องสร้างไฟล์สำรองควบคู่เสมอเมื่อสั่งแก้ไขสด เช่น `sed -i.bak 's/old/new/g' file.txt` ซึ่งจะบันทึกไฟล์เดิมเก็บไว้เป็นความปลอดภัย

ทฤษฎีและกลไกการทำงาน (How it works): `awk` คือภาษาสคริปต์เฉพาะทางที่ออกแบบมาเพื่อการประมวลผลข้อความเชิงระเบียน ทำงานโดยอัตโนมัติในการแยกข้อมูลออกเป็นคอลัมน์โดยระบุผ่าน Field Separator (FS, ค่าปริยายคือช่องว่าง) อาร์กิวเมนต์คอลัมน์จะแทนด้วยเครื่องหมาย `$` ตามด้วยคีย์หลัก เช่น `$1` คอลัมน์แรก, `$NF` คอลัมน์สุดท้ายของแถว รันตามบล็อก `BEGIN {} { loop } END {}`

# Grouping web log by status code (column 9) and summing request counts
cat access.log | awk '{status[$9]++} END {for (s in status) print s, status[s]}'
                    

Use Case ในชีวิตจริง (Real-world Scenario): การทำความสะอาดด่วนคัดกรองไฟล์ CSV สรุปข้อมูลยอดขายรายเขต หากข้อมูลมีค่าว่างในคอลัมน์ยอดขาย ให้กรองทิ้งและบวกค่าเฉลี่ยของเขตเก็บลงในรายงานสรุปโดยตรงบน CLI

ข้อควรระวังและวิธีแก้ (Pitfalls & Mitigations): หากสัญลักษณ์แยกฟิลด์ภายในไฟล์ (FS) แตกต่างกันไป (เช่น บางบรรทัดใช้ comma บางบรรทัดใช้ semicolon) หรือมี comma อยู่ในข้อความ ดัชนีคอลัมน์ของ awk จะเพี้ยนทันที แก้ไขโดยสั่งระบุตัวแยกฟิลด์ให้รัดกุมด้วย `awk -F','` หรือเลือกใช้เอนจิ้นที่มีตัว Validate อย่าง DuckDB แทนในกรณีที่ไฟล์มีความซับซ้อนสูง