Data Engineering
เส้นทางการเรียนรู้
คู่มือแนวทางการศึกษา Data Engineering แบบครบวงจร อ้างอิงเนื้อหาหลักตามมาตรฐานสากล พร้อมแล็บทดลองปฏิบัติจริงและเทคนิคการประหยัดค่าใช้จ่ายบนระบบ Production
📊 แบบประเมินทักษะวิศวกรรมข้อมูลเชิงระบบ
ทดสอบระดับความรู้รากฐาน ทฤษฎีเชิงสถาปัตยกรรม และวิศวกรรมการประมวลผลข้อมูล เพื่อรับคำแนะนำบทเรียนเริ่มต้นที่ตอบโจทย์ระดับทักษะคุณมากที่สุด
Question goes here?
รากฐานวิศวกรรมซอฟต์แวร์และระบบ (Foundations of Software & Systems)
เครื่องมือและทักษะการพัฒนาซอฟต์แวร์พื้นฐานหลักที่วิศวกรข้อมูลทุกคนจำเป็นต้องเชี่ยวชาญ
ข้อมูลเบื้องต้นเกี่ยวกับวิศวกรรมข้อมูล (Introduction to Data Engineering)
ทำความเข้าใจบทบาทหน้าที่ของ Data Engineer และวงจรชีวิตข้อมูล (Data Life Cycle)
Python สำหรับ Data Engineering
การใช้งาน Python และ Pandas สำหรับประมวลผลข้อมูลดิบอย่างมีประสิทธิภาพ
พื้นฐาน Linux & CLI สำหรับวิศวกรข้อมูล
คำสั่งคอมมานด์ไลน์ การวิเคราะห์ข้อความ และการรัน Bash Script อัตโนมัติ
Git สำหรับระบบงานข้อมูลและทีมพัฒนา
ควบคุมเวอร์ชันของ Code ข้อมูลด้วย Git เรียนรู้การทำงานร่วมกันผ่านกิ่ง (Branch) และการแก้ข้อขัดแย้ง (Merge Conflict)
ระบบเครือข่ายและระบบประมวลผลแบบกระจายศูนย์ (Networking & Distributed Systems)
เรียนรู้ระบบเน็ตเวิร์กพื้นฐาน พอร์ต โปรโตคอล และแนวคิดการสื่อสารแบบกระจายศูนย์
การจัดเก็บและสร้างแบบจำลองข้อมูล (Data Storage & Modeling)
ทฤษฎีฐานข้อมูลเชิงสัมพันธ์ ขั้นสูง และแนวคิดการวางโครงสร้างจัดเก็บตารางแบบมิติเพื่อการวิเคราะห์ธุรกิจ
SQL ขั้นสูง (Window Functions & Optimization)
เจาะลึกคำสั่งคิวรีขั้นสูง การทำ Window Functions และการเพิ่มสปีดการเข้าถึงตาราง
ฐานข้อมูลไม่ใช่เชิงสัมพันธ์ (NoSQL Databases & Modern Stores)
เรียนรู้สถาปัตยกรรมฐานข้อมูลประเภท Document, Columnar, Graph, Key-Value และแนวคิดทฤษฎี CAP
การออกแบบโครงสร้างข้อมูล (Star/Snowflake & SCD)
ออกแบบโมเดลข้อมูลเพื่อการวิเคราะห์ทางธุรกิจที่รวดเร็วด้วยโครงสร้างตารางยอดขาย/มิติ และจัดการประวัติการเปลี่ยนข้อมูลด้วย SCD
โครงสร้างพื้นฐานเครือข่ายระบบคลาวด์ (Cloud-based Networking)
เรียนรู้ระบบเน็ตเวิร์กบนคลาวด์ VPC, Load Balancer, VPN และบริการประมวลผลพื้นฐาน
คลังข้อมูลคลาวด์และสถาปัตยกรรมยุคใหม่ (Modern Warehouse & Lakehouse)
ระบบจัดเก็บข้อมูลแบบ Open Table format สถาปัตยกรรม Lakehouse และแนวคิดการประมวลผลข้อมูลในเครื่องที่รวดเร็ว
สถาปัตยกรรม Data Lakehouse (Apache Iceberg & MinIO)
สร้างสถาปัตยกรรมการจัดเก็บข้อมูลสมัยใหม่ที่มีประสิทธิภาพสูงด้วย Apache Iceberg ร่วมกับ MinIO Object Storage
Local-first Data Engineering ด้วย DuckDB
ใช้พลังของ DuckDB ประมวลผลข้อมูลกิกะไบต์ในเครื่องของตนเองรวดเร็วกว่าระบบคลาวด์ขนาดใหญ่
โครงสร้างพื้นฐานในรูปแบบโค้ด (IaC ด้วย Terraform)
เตรียมทรัพยากรจัดเก็บข้อมูล (Cloud Storage Bucket) และเครื่องประมวลผลข้อมูลผ่านโค้ดโครงสร้างพื้นฐาน (IaC)
การนำเข้าและการแปลงรูปข้อมูล (Data Ingestion & Transformation)
การแปลงข้อมูลดิบให้เป็นข้อมูลวิเคราะห์ที่มีประโยชน์อย่างเป็นระบบ พร้อมการกำหนดสัญญาความปลอดภัยของข้อมูล
การแปลงข้อมูลระดับโปรด้วย dbt-core
ทำความเข้าใจการเขียน SQL ในรูปแบบ Modular การสร้างเอกสารอัตโนมัติ และการเขียน Data Quality Tests ด้วย dbt
ข้อตกลงร่วมด้านข้อมูล (Data Contracts)
ควบคุมคุณภาพและโครงสร้างข้อมูลต้นทางระหว่างทีมซอฟต์แวร์และทีมข้อมูลเพื่อป้องกันระบบปลายทางพังเนื่องจากหน้าตาข้อมูลเปลี่ยน
การบริการและการส่งต่อข้อมูลวิเคราะห์ (Data Serving & Reverse ETL)
การเปิดระบบส่งออกข้อมูลวิเคราะห์เข้าสู่เครื่องมือธุรกิจ BI (PowerBI/Looker) และระบบ CRM ผ่านกระบวนการ Reverse ETL
ระบบประมวลผลขนาดใหญ่และการจัดลำดับงาน (Orchestration, Scale & Streaming)
การจัดการท่อข้อมูลแบบเรียลไทม์ การควบคุมเวิร์กโฟลว์ด้วย DAG และเครื่องมือประมวลผลบนระบบกระจายศูนย์ (Big Data)
การประมวลผลข้อมูลขนาดใหญ่แบบกระจายด้วย Apache Spark
ทำความเข้าใจการประมวลผลข้อมูลระดับ Terabytes ด้วย Spark Architecture และการเขียน PySpark เพื่อดึงประสิทธิภาพสูงสุด
ระบบจัดการเวิร์กโฟลว์ข้อมูล (Airflow, Dagster & Prefect)
เปรียบเทียบและใช้งานระบบจัดระเบียบงานส่งข้อมูล (Orchestration) เพื่อสร้างท่อข้อมูลที่ไม่สะดุดและรองรับการรันซ้ำเมื่อพัง
การประมวลผลข้อมูลแบบเรียลไทม์ด้วย Kafka & Redpanda
ออกแบบระบบส่งรับข้อความแบบ Pub/Sub สำหรับงานข้อมูลแบบเรียลไทม์
การจัดการคอนเทนเนอร์และคลัสเตอร์ (Containers & Kubernetes)
ทำความเข้าใจการรันโปรแกรมข้อมูลในตู้ Docker และการดูแลคลัสเตอร์ขนาดยักษ์ด้วย Kubernetes (GKE/EKS)
ระบบ CI/CD และการเฝ้าระวังคุณภาพข้อมูล (CI/CD, Monitoring & Testing)
การรันชุดทดสอบท่อข้อมูลอัตโนมัติผ่าน GitHub Actions และมอนิเตอร์สถานะเซิร์ฟเวอร์ด้วย Prometheus & Grafana
ระบบความปลอดภัยและการควบคุมข้อมูล (Security, Governance & Privacy)
การทำข้อมูลหน้ากาก (Data Masking) สิทธิ์การเข้าถึงข้อมูลตามมาตรฐาน GDPR และการติดตามแผนผังความสัมพันธ์ข้อมูล (Data Lineage)
ระบบปฏิบัติการและประมวลผลโมเดล (Machine Learning & MLOps)
ทำความเข้าใจการเชื่อมโยงท่อข้อมูลประมวลผลเข้ากับโมเดลการเรียนรู้ของเครื่อง (Machine Learning) และแนวคิดวงจรชีวิต MLOps