SHOPLINE 服務的商家遍佈全球,公司成員們也須不斷地精進自己,才能為商家創造更多成功的可能性。而以公司 HRBP(HR Business Partner)的視角出發,貼近觀察公司團隊的需求,發現 SHOPLINErs 都很積極地想要和更多專業職人進行深度的交流,有鑑於此,「SHOPLINE 職人聊天室」系列活動就因而誕生啦!
在人才就業市場中,Data Engineer 一直都是炙手可熱、人才難求的狀態,而在大型軟體服務企業或電商平台中,Data Engineer 的角色非常關鍵,無論是數據管道設計、資料庫優化,還是大數據分析,看似相近實則有很深的 Domain Knowledge 的差異!
作為 2024 年度最終場的職人聊天室,我們這次的主題設定為 Data 小聚!主要的題目為:Modern Data Pipeline,特別邀請到 Migo – Bruce Huang、Teamson – Stacy Lo、SHOPLINE – PoChung Chin 三位職人來跟現場的朋友進行分享。
首先開場的是 PoChung,跟現場參與者聊到我們為什麼開始重視 Modern Data Pipeline、並尋找合適的框架來進行、是什麼契機迫使我們不得不開始進行這個技術處理?其實是因為資料隨著營運的發展變得越來越膨漲,我們開始尋求合適的技術策略來緩解資料膨漲的問題,透過冷熱資料分離來控管,並且有意識地降低機器成本等等。
緊接著是 Stacy 為我們帶來豐富的跨國跨時區經驗分享,必須要考慮到不同市場重視的資料項目,並且需要容許不同國家資料呈現的邏輯,可以如何更有效更精準的整理這些數據轉化成為企業內部營運需要且有效的資料,這過程 Stacy 也是經歷了一些波折與體悟。透過資料工程師熟悉的 SQL 並且搭配 dbt 工具的使用,等於幫 SQL 裝上更多的武器可以去運用,做更好的工程管控。
最後是 Bruce 來跟大家分享如何透過 dbt 來幫助數據資料的品質更加可靠,透過資料排查、自動化驗證等方式來確保資料的品質是可以信任的,並且有效的減少營業損失、提高開發團隊的開發效率、減少 Code Review 時間等等,當天的分享非常精彩,Bruce 也提及跟 Stacy 與另外兩位作者編寫了一本關於 dbt 的書籍,作為工具書非常實用喔!
總結
在本年度最終場的職人聊天室,我們一起度過了精彩萬分的一夜,謝謝三位職人與現場的朋友帶來的分享,問答時也討論了很多有趣的題目,每位朋友都滿載而歸,期待我們下次再相見了!