·14 分鐘閱讀·資料工程
用 LLM 解析非結構化租屋資料:Zwoo Pipeline 的設計與實作
深入解析如何建立一條結合本地 LLM、Geocoding 多重 Provider 容錯、以及 Prefect 排程的租屋資料管線,從 PTT 和 Facebook 社團蒐集非結構化貼文並轉化為結構化地圖資料。
資料管線LLMPythonPrefectGeocoding
資料管線設計、用 LLM 把非結構化資料轉成結構化欄位,以及 PostgreSQL 效能調校的實作紀錄。
深入解析如何建立一條結合本地 LLM、Geocoding 多重 Provider 容錯、以及 Prefect 排程的租屋資料管線,從 PTT 和 Facebook 社團蒐集非結構化貼文並轉化為結構化地圖資料。
分享在生產環境中優化 PostgreSQL 查詢效能的實際經驗,涵蓋索引策略、查詢計畫分析、分區表設計與連線池管理。