⏱ 課程時數8 小時
🏢 授課方式到府企業內訓・客製化規劃
👤 授課講師Seong-il Kim
✅ 核心成效過去因資安顧慮而無法使用 AI 的業務,可立即導入公司內部 AI
本課程為 Local LLM 實作課程,適合處理測試與量測資料、設計資料、客戶技術文件等無法上傳至外部雲端 AI 的企業。學員將在公司內部電腦或伺服器上直接執行開源模型(Gemma・Qwen 等),打造資料不出公司的 AI 環境,並應用於報告初稿、量測結果摘要、技術文件翻譯等實際業務。接著在一天內實作串接內部文件的 RAG 與 Python API 整合,並整理出適合貴公司的導入方向。授課由金成日講師負責,他擁有 KAIST 機械工程碩士學位,曾任三星電子資深研究員並親自執行噪音相關研發,將以工程師的業務語言進行教學。實作環境可依公司情況選擇:由學員筆電直接執行,或連線至公司內部伺服器、講師自備的 Mac mini。
💻 先用線上課程學習這個主題 →這門課程適合誰?
畢業於 KAIST 機械工程系(學士・碩士),曾任三星電子資深研究員,從事噪音相關研發,為工程師出身。現為 Biznication 執行長,同時擔任韓國科學技術資訊通信部 TEXCORE 講師,負責 AI 自動化與 AX 培訓。
您將學到什麼?
- 在公司內部電腦・伺服器上直接安裝並執行開放模型,了解資料不會外流的 AI 使用環境
- 將 Local LLM 應用於報告初稿、量測結果摘要與技術文件翻譯,並養成查驗數值與單位錯誤的習慣
- 透過 RAG 與 API 整合,實作與公司內部文件・軟體連接的架構,並整理公司的導入方向
課程規劃
模組 1:Local LLM 概論
- 資料安全視角下的內部 AI
- 雲端 AI 與 Local LLM 比較
- 開源模型現況(Gemma・Qwen 等)
- 公司內部 AI 伺服器架構
模組 2:建置執行環境
- Ollama · LM Studio 安裝
- 小型模型的選擇與量化
- (伺服器型)Ollama 伺服器・Open WebUI・網路連線
模組 3:工作應用實作
- 撰寫報告初稿
- 量測結果摘要
- 英文技術文件翻譯
模組 4:進階應用與限制
- 提示詞撰寫原則
- 結果驗證
- 數值與單位錯誤檢查
- 不同模型規模的品質比較
模組 5:RAG 概念與架構
- RAG 架構
- 文件切分與嵌入
- 連接文件資料夾・共用儲存空間
模組 6:RAG 實作
- 以模擬文件為基礎的問答
- 確認回答來源
模組 7:API 串接實作
- Ollama API
- Python 整合
- 報告產出自動化
- 公司內部軟體串接
模組 8:導入方案與總結
- 個人電腦的應用範圍
- 伺服器規格評估
- 存取與權限管理
- 分階段導入計畫
- 問答
本課程使用的工具
預期成效 / 結業後
- 過去因資安顧慮而無法使用 AI 的業務,可立即導入公司內部 AI
- 培訓隔天起即可使用的個人電腦或公司內部伺服器 AI 環境
- 掌握建置內部 AI 伺服器時的規格評估、權限管理與分階段導入標準
相關課程
推薦線上課程
先從線上課程開始學習
在導入到府授課之前,先透過線上課程體驗這個主題的核心內容。
常見問題
適合處理測試・量測資料、設計資料、客戶技術文件等難以上傳至外部 AI 之資料的製造、工程與研究組織。主要對象為工程師、研究人員與技術實務人員;若具備開發經驗,還能更深入探討 API 整合。
有兩種方案可選。方案一是在學員的筆記型電腦上直接執行模型,需要 RAM 16GB 以上(建議 32GB)與 30GB 以上的 SSD 可用空間。方案二是將模型安裝在公司內部伺服器或講師攜帶的 Mac mini 上,學員以筆記型電腦瀏覽器連線,不受筆電規格影響,可讓實作條件一致。若學員的筆電規格不一,建議選擇方案二。
一般筆記型電腦即可。不過若沒有 GPU,回應速度可能偏慢,因此會以小型模型進行實作,並在課前透過預先啟動測試確認硬體規格。
畢業於 KAIST 機械工程系(學士・碩士),曾任三星電子資深研究員,從事噪音相關研發,為工程師出身。現為 Biznication 執行長,同時擔任韓國科學技術資訊通信部 TEXCORE 講師,負責 AI 自動化與 AX 培訓。

以 Local LLM 為基礎的 AI 技術培訓 — 資料不會離開公司的內部 AI
將無法上傳到雲端 AI 的資料,交給公司內部電腦・伺服器上的 AI 處理
課程目標
- 在公司內部電腦・伺服器上直接安裝並執行開放模型,了解資料不會外流的 AI 使用環境
- 將 Local LLM 應用於報告初稿、量測結果摘要與技術文件翻譯,並養成查驗數值與單位錯誤的習慣
- 透過 RAG 與 API 整合,實作與公司內部文件・軟體連接的架構,並整理公司的導入方向
預期成效
- 過去因資安顧慮而無法使用 AI 的業務,可立即導入公司內部 AI
- 培訓隔天起即可使用的個人電腦或公司內部伺服器 AI 環境
- 掌握建置內部 AI 伺服器時的規格評估、權限管理與分階段導入標準
課程規劃
Module 1模組 1:Local LLM 概論
- 資料安全視角下的內部 AI
- 雲端 AI 與 Local LLM 比較
- 開源模型現況(Gemma・Qwen 等)
- 公司內部 AI 伺服器架構
Module 2模組 2:建置執行環境
- Ollama · LM Studio 安裝
- 小型模型的選擇與量化
- (伺服器型)Ollama 伺服器・Open WebUI・網路連線
Module 3模組 3:工作應用實作
- 撰寫報告初稿
- 量測結果摘要
- 英文技術文件翻譯
Module 4模組 4:進階應用與限制
- 提示詞撰寫原則
- 結果驗證
- 數值與單位錯誤檢查
- 不同模型規模的品質比較
Module 5模組 5:RAG 概念與架構
- RAG 架構
- 文件切分與嵌入
- 連接文件資料夾・共用儲存空間
Module 6模組 6:RAG 實作
- 以模擬文件為基礎的問答
- 確認回答來源
Module 7模組 7:API 串接實作
- Ollama API
- Python 整合
- 報告產出自動化
- 公司內部軟體串接
Module 8模組 8:導入方案與總結
- 個人電腦的應用範圍
- 伺服器規格評估
- 存取與權限管理
- 分階段導入計畫
- 問答
講師介紹

Seong-il Kim 講師
說服投資人的技術——全球 IR 簡報專家
學歷
ㆍKAIST 機械工程系碩士
ㆍKAIST 機械工程系學士
經歷
ㆍ(現任)Biznication 執行長
ㆍ(現任)韓國科學技術情報通信部 TEXCORE 講師
ㆍ(現任)延世大學研究所創業課程講師
ㆍ(前任)三星電子資深研究員
ㆍ(前任)KOICA ODA 創業專家(塞內加爾、柬埔寨、寮國)
