OpenThai2.1-OCR-Markdown-20261118-GGUF (huggingface.co/iapp/OpenThai2.1-OCR-Markdown-20261118-GGUF) คือชุดไฟล์ GGUF อย่างเป็นทางการของโมเดล OCR ภาษาไทย-อังกฤษรุ่นล่าสุดจาก iApp Technology สำหรับโครงการ OpenThai (ชื่อเดิม OpenThaiGPT, เปิดตัวร่วมกับ AIEAT) ที่แปลงหน้าเอกสารราชการ ภาพถ่ายจากมือถือ สไลด์ ตำรา และรายงานที่มีตารางซับซ้อนหรือสมการคณิตศาสตร์ให้เป็น Markdown + ตาราง HTML (รองรับ rowspan/colspan) + สมการ LaTeX ($$...$$) โดยรันตรงบน Mac Apple Silicon (Metal GPU), CPU หรือ Consumer GPU ผ่าน llama.cpp ได้เลย ไม่ต้องติดตั้ง PyTorch และไม่ต้องมีเซิร์ฟเวอร์ vLLM
Fine-tune จาก NVIDIA Nemotron 3.5 Parse (630.8M พารามิเตอร์ • Context 16,384 tokens) รันบน Mac M3 Max เร็วสุด 4.8–7.0 วินาที/หน้า โดยได้ข้อความตรงกับ PyTorch F32 30/30 หน้า (0.00% CER)
OpenThai 2.1 OCR Markdown GGUF แปลงหน้าเอกสารที่มีตารางซับซ้อนและสมการให้เป็นโครงสร้าง Markdown + HTML ออฟไลน์ 100% บนชิป Apple Silicon และ CPU/GPU ทั่วไป
1. OpenThai 2.1 OCR Markdown คืออะไร และอัปเกรดอะไรใหม่จากเวอร์ชัน 2.0?
ตัวโมเดลหลัก (iapp/OpenThai2.1-OCR-Markdown-20261118) พัฒนาต่อยอดจาก NVIDIA Nemotron 3.5 Parse ขนาดรวม 630.8 ล้านพารามิเตอร์ (0.63B) แบ่งเป็น 2 ส่วนทำงานร่วมกัน:
- Vision Encoder & Neck (439.0M): สถาปัตยกรรม
C-RADIOv4-SO400Mรับภาพขนาดสูงสุด 1,664 × 2,048 พิกเซล แตกออกเป็น ~13,000 patches ด้วย Global Attention เพื่อเก็บรายละเอียดตัวอักษรไทยขนาดเล็ก วรรณยุกต์ และเส้นตาราง - Text Decoder (191.8M): โมเดล
10-layer mBARTความกว้าง1,024มิติ รองรับ Context Length ยาวถึง 16,384 tokens ถอดรหัสเป็นกล่องข้อความ พิกัดตำแหน่ง คลาสเอกสาร และลำดับการอ่าน (Reading Order) ครบถ้วน - วิธีฝึกเวอร์ชัน 2.1: Full Fine-Tune 1 epoch บนชุดข้อมูล 77,900 แถว (
2,435 steps, batch size32) บน NVIDIA H100 แล้วผสมน้ำหนักแบบ Weight-Space Blend (70% Fine-tune + 30% Base Model) เพื่อคงความเก่งทั้งภาษาไทยและมาตรฐานเอกสารสากล
- รองรับภาพถ่ายจากมือถือ & เอกสารเพิ่มอีก 9 ประเภท: นอกจากเอกสารราชการไทยแล้ว v2.1 เทรนเพิ่มบนภาพถ่ายจริงจากมือถือ งานวิจัยวิชาการ (Academic papers), หนังสือ, การ์ตูน (Comics), ข้อสอบ (Exams), นิตยสาร, หนังสือพิมพ์, รายงาน, สไลด์ และตำราเรียน ทั้งไทยและอังกฤษ
- คะแนนเอกสารทั่วไปและภาพถ่ายพุ่งกระฉูด:
MDPBench (EN+TH)เพิ่มจาก73.7→ 82.5 (ภาพถ่ายเอกสารไทยดีขึ้น ~10 คะแนน),olmOCR-benchจาก50.9→ 73.1 และOmniDocBench v1.6จาก61.8→ 79.6 - รองรับสมการ LaTeX มาตรฐาน: คั่นสมการด้วย
$$...$$(หากมีหลายบรรทัดจะรวมเป็นบล็อก$$\begin{gathered}...\end{gathered}$$ให้ถูกต้องตามสเปก LaTeX) - ตัด Page Headers & Footers ออกจาก Markdown อัตโนมัติ: โดยค่าเริ่มต้น (
keep_page_headers_footers=False) เพื่อไม่ให้เลขหน้าและหัวกระดาษไปคั่นเนื้อหาหลักเวลาเอาเข้า RAG แต่ยังคงข้อมูลเก็บไว้ในdoc["blocks"] - ข้ามหน้าว่างอัตโนมัติ (Blank-Page Check):
DocumentParserเช็กหน้ากระดาษว่างก่อนส่งเข้าโมเดล ลดปัญหา AI หลอนแต่งข้อความขึ้นมาเองจากแผ่นเปล่า - ปรับสระ “ำ” เป็นตัวเดียว (
U+0E33) & คลีนตาราง HTML: แปลงการสะกดจากเดิมU+0E4D + U+0E32ให้เป็นอักขระU+0E33มาตรฐานเดียว และตัดแอตทริบิวต์rowspan="1"/colspan="1"ส่วนเกินทิ้ง - ขนาดและความเร็วเท่าเดิมเป๊ะ: ยังคงเล็กคล่องตัวเท่าเดิม (1.5 วินาที/หน้า บน H100 และ ~1.12 GB เมื่อรันแบบ GGUF Q8_0)
2. รายละเอียดไฟล์ GGUF ทั้ง 3 ไฟล์ & ผลตรวจสอบเทียบ PyTorch F32
ในคลัง iapp/OpenThai2.1-OCR-Markdown-20261118-GGUF ประกอบด้วยไฟล์โมเดลหลัก 3 ไฟล์ (ต้องใช้ไฟล์ mmproj คู่กับ Decoder เสมอ) พร้อมค่า Sampling ประจำตัวใน Chat Template (temperature 0.2, top-k 50, top-p 1.0, repetition penalty 1.05, Max 8,760 tokens):
| ชื่อไฟล์ (Hugging Face) | ขนาดจริง | บทบาท & คำแนะนำการใช้งาน |
|---|---|---|
| openthai2.1-ocr-markdown-q8_0.gguf | 204 MB | Text Decoder (192M) รุ่น Q8_0 — แนะนำใช้งานประจำวัน ให้ผล Markdown ตรงกับ PyTorch 30/30 หน้า (ต่างเฉพาะพิกัด bbox 16 จุดใน 6 หน้า แต่ข้อความใน Markdown ตรง 100%) |
| openthai2.1-ocr-markdown-f16.gguf | 382 MB | Text Decoder (192M) รุ่น F16 — ให้ผล Raw Output รวมทั้งพิกัด Box Coordinates เหมือนรุ่น F32 ทุกประการ |
| mmproj-openthai2.1-ocr-markdown-f16.gguf | 917 MB | Vision Encoder & Neck (439M) รุ่น F16 — ไฟล์บังคับ ใช้ร่วมกับทั้ง Q8_0 และ F16 Decoder |
ทีมพัฒนาได้ทดสอบแปลงไฟล์ GGUF เทียบกับโมเดลต้นฉบับ PyTorch F32 บนเอกสารทดสอบจริง 30 หน้า ที่ไม่เคยอยู่ในชุดฝึก (ทั้ง CU-DocBench, สไลด์ไทย-อังกฤษ, ประมวลรายวิชา, แบบฟอร์ม, รายงาน และหนังสือเรียน โดยใช้ Greedy Decoding จนจบหน้า ค่ามัธยฐาน 617 tokens):
| ชุดไฟล์ GGUF ที่ทดสอบ | Markdown ตรงกับ PyTorch | Character Error vs PyTorch | ตัดคำ / วนลูปซ้ำ |
|---|---|---|---|
| Q8_0 decoder + F16 mmproj | 30 จาก 30 หน้า (100%) | 0.00% | 0 / 0 |
| F16 decoder + F16 mmproj | 30 จาก 30 หน้า (100%) | 0.00% | 0 / 0 |
3. ความเร็วในการรันบน Mac Apple Silicon & ตาราง Benchmark เทียบ Typhoon OCR V2
สิ่งที่คนใช้ Mac จะได้ประโยชน์เต็มๆ คือบน Apple M3 Max (Metal GPU) การรันผ่าน llama-server (โหลดโมเดลค้างไว้) ใช้เวลาอ่านเอกสารเพียง 4.8–7.0 วินาทีต่อหน้า และถ้าวัดจาก llama-mtmd-cli (รวมเวลาโหลดโมเดล) ใช้เวลาเฉลี่ยเพียง 7.7 วินาที (Q8_0) และ 8.2 วินาที (F16) โดยเวลาส่วนใหญ่ (~5.9 วินาที) อยู่ที่ขั้นตอนเข้ารหัสภาพ (Vision Encoder) ส่วน GPU จึงสำคัญกว่าระดับ Quantization ของ Decoder มาก
| เครื่อง / ฮาร์ดแวร์ | โหมดที่รัน | Decoder | เวลาต่อหน้า (วินาที) | เฉพาะ Image Encoding |
|---|---|---|---|---|
| Apple M3 Max, Metal GPU | llama-server (โหลดค้างไว้) |
Q8_0 | 4.8–7.0 วิ (4 หน้า) | — |
| Apple M3 Max, Metal GPU | llama-mtmd-cli (รวมโหลดโมเดล) |
Q8_0 / F16 | 7.7 วิ / 8.2 วิ (มัธยฐาน 30 หน้า) | 5.9 วิ |
| Apple M3 Max, CPU เท่านั้น (16 cores) | llama-mtmd-cli |
Q8_0 / F16 | 58 วิ / 59 วิ | 54 วิ / 52 วิ |
| Linux Server, CPU 4 threads (เครื่องใช้งานร่วม) | llama-mtmd-cli |
Q8_0 / F16 | 146 วิ / 154 วิ | 133 วิ / 131 วิ |
ผลทดสอบ Benchmark อย่างเป็นทางการ (OpenThai 2.1 vs 2.0 vs Base vs Typhoon OCR V2 2B)
จุดที่น่าสนใจที่สุดจากตารางคะแนนบน Model Card คือ แม้ OpenThai 2.1 จะมีขนาดเพียง 0.63B (เล็กกว่า Typhoon OCR V2 2B เกิน 3 เท่า) แต่กลับทำคะแนน ชนะบนชุดตารางเอกสารราชการและมหาวิทยาลัยไทยจริง (th-docs-tables v1 = 94.0 vs 91.6) และ ThaiOCRBench tables (69.5 vs 67.6) ส่วน Typhoon OCR V2 2B ยังนำในกลุ่มภาพถ่ายมือถือ สมการคณิตศาสตร์ซับซ้อน (CDM) และความเร็ว H100 (1.0s vs 1.5s):
| โมเดล | th-docs-tables v1 | ThaiOCRBench tables | Thai text printed | MDPBench EN+TH | MDPBench Thai | olmOCR-bench | OmniDocBench v1.6 | H100 (วิ/หน้า) |
|---|---|---|---|---|---|---|---|---|
| OpenThai 2.1 (0.63B) | 94.0 | 69.5 | 90.2 | 82.5 | 80.7 | 73.1 | 79.6 | 1.5 |
| OpenThai 2.0 (0.63B) | 95.2 | 68.9 | 90.3 | 73.7 | 72.7 | 50.9 | 61.8 | 1.5 |
| Nemotron 3.5 Parse (Base) | 91.3 | 68.3 | 89.0 | 79.6 | 77.4 | 62.4 | 80.1 | 1.8 |
| Typhoon OCR V2 2B | 91.6 | 67.6 | 89.6 | 87.0 | 85.0 | 84.7 | 91.5 | 1.0 |
4. วิธีติดตั้งและใช้งานจริงทีละขั้น (บน Mac / Linux / GPU ไม่ง้อ PyTorch)
ข้อสำคัญที่ต้องรู้ก่อนเริ่ม: สถาปัตยกรรม nemotron-parse ยังไม่ได้อยู่ใน llama.cpp ต้นน้ำ (upstream) จึงต้องคอมไพล์จาก Fork เฉพาะของ iApp Technology (Branch nemotron-parse) ตามขั้นตอนต่อไปนี้:
ขั้นตอนที่ 1: Build llama.cpp Fork ของ iApp
# บน macOS หากยังไม่มี cmake ให้ลงก่อน: brew install cmake (หรือ pip install cmake) git clone -b nemotron-parse https://github.com/iapp-technology/llama.cpp && cd llama.cpp cmake -B build -DCMAKE_BUILD_TYPE=Release -DLLAMA_USE_PREBUILT_UI=OFF # Metal บน macOS / CPU ทั่วไป (เพิ่ม -DGGML_CUDA=ON สำหรับการ์ดจอ NVIDIA) cmake --build build -j --target llama-mtmd-cli llama-server
หมายเหตุ: แฟล็ก -DLLAMA_USE_PREBUILT_UI=OFF สำคัญมากบน macOS เพราะช่วยข้ามการดาวน์โหลดไฟล์ Web UI (workbox) ซึ่งตัวโมเดล OCR นี้ไม่ได้ใช้งานและเคยทำให้ Build ล้มเหลวได้
ขั้นตอนที่ 2: ดาวน์โหลดไฟล์ GGUF จาก Hugging Face
hf download iapp/OpenThai2.1-OCR-Markdown-20261118-GGUF \ openthai2.1-ocr-markdown-q8_0.gguf \ mmproj-openthai2.1-ocr-markdown-f16.gguf \ --local-dir ./models/openthai21-gguf
ขั้นตอนที่ 3 (วิธี A): รันผ่าน CLI เพื่อถอดข้อความทีละหน้า
ผลลัพธ์จาก CLI จะออกมาในรูปแบบ Raw พร้อมพิกัดกล่อง <x_..><y_..>text<x_..><y_..><class_..>:
build/bin/llama-mtmd-cli \ -m ./models/openthai21-gguf/openthai2.1-ocr-markdown-q8_0.gguf \ --mmproj ./models/openthai21-gguf/mmproj-openthai2.1-ocr-markdown-f16.gguf \ --image page.png --jinja -n 8744 -c 16384 \ -p $'<__media__>\n</s><s><predict_bbox><predict_classes><output_markdown><predict_text_in_pic>'
ขั้นตอนที่ 4 (วิธี B — แนะนำสำหรับงานจริง): เปิด llama-server + เรียกผ่าน Python DocumentParser
วิธีนี้จะได้ Markdown สะอาดพร้อมตาราง HTML และสมการ LaTeX เหมือนรันบน vLLM 100% โดยติดตั้งเฉพาะแพ็กเกจ Python น้ำหนักเบา (ไม่ต้องลง PyTorch):
# Terminal 1: เปิด Local Inference Server ที่พอร์ต 8000 build/bin/llama-server \ -m ./models/openthai21-gguf/openthai2.1-ocr-markdown-q8_0.gguf \ --mmproj ./models/openthai21-gguf/mmproj-openthai2.1-ocr-markdown-f16.gguf \ --jinja -c 16384 --port 8000 # (ทริค: ถ้าต้องการผลลัพธ์แบบ Deterministic 100% ให้เปิดเซิร์ฟเวอร์ด้วย --repeat-penalty 1.0 และส่ง fullpage=GenerationSettings(temperature=0.0, repetition_penalty=1.0) ใน Python)
# Terminal 2: โหลดเฉพาะสคริปต์ DocumentParser & Post-processing (ระวัง: ต้องแยก --include ทีละตัว) hf download iapp/OpenThai2.1-OCR-Markdown-20261118 \ --include "nemotron_parse/*" --include "pyproject.toml" \ --include "LICENSE" --include "THIRD_PARTY_NOTICES.md" --include "TOKENIZER_ATTRIBUTION.md" \ --include "postprocessing.py" --include "latex2html.py" --local-dir openthai-pkg pip install --no-deps ./openthai-pkg pip install httpx "Pillow>=12.2,<13" numpy beautifulsoup4
from nemotron_parse.inference import DocumentParser
with DocumentParser(base_url="http://localhost:8000/v1", model="openthai2.1") as parser:
doc = parser.parse("page.png")
print(doc["markdown"]) # ได้ Markdown; ตารางเป็น HTML; สมการเป็น $$...$$
PostprocessOptions |
ค่าเริ่มต้น | ผลการทำงาน |
|---|---|---|
| keep_page_headers_footers | False |
ตัดหัวกระดาษ/ท้ายกระดาษออกจาก Markdown (ยังเก็บใน doc["blocks"]) ตั้ง True หากต้องการเก็บไว้เหมือน 2.0 |
| standard_output | True |
รวมสระ ำ เป็นอักขระเดียว U+0E33 และลบ rowspan="1"/colspan="1" ออกจากเซลล์ตาราง HTML |
| formula_display_dollars | True |
เขียนสมการเป็น $$...$$ ตั้งเป็น False หากต้องการรูปแบบ \(...\) เหมือน 2.0 |
สรุป: OpenThai 2.1 OCR Markdown GGUF เหมาะกับงานแบบไหน?
- งานแปลง PDF / เอกสารราชการไทย / ตารางซับซ้อนเข้า RAG Pipeline บนเครื่อง Mac หรือ On-Premise: ความแม่นยำระดับหัวแถว (94.0 บน
th-docs-tables v1) กินแรมต่ำ (~1.12 GB) และข้อมูลไม่รั่วไหลออกนอกองค์กร - นักพัฒนาสาย Apple Silicon & Python-Free Deployment: ใช้คู่กับสแต็ก Local AI อื่นๆ อย่าง Turbo MLX v1.11 หรือ LM Studio Bionic ได้ลงตัวมาก
ต่อยอด Local AI, Critical Thinking & Agentic RAG Workflows
ศึกษาวิธีนำ Markdown จาก OpenThai 2.1 ไปต่อยอดเข้า AI Agent ด้วย CLEAR Framework หรือดูบทความ Local AI บน Mac และจองคลาสเรียนกับ อ. Kevin
