Search
【結合這兩項服務，發揮資料最大的商業價值！】
🤝 結合 #BigQuery 與 #Looker，
企業內各單位都能輕鬆取用 PB 等級的資料，執行大規模分析工作並視覺化呈現！
BigQuery 調度資源執行大規模分析工作，
Looker 視覺化呈現大規模資料，
將資料倉儲、#機器學習、視覺化在同一平台進行，能夠 #即時、#安全 且減少額外資料搬移！
📌 如何發揮資料最大的商業價值？👉https://bit.ly/3aEn1UQ
#iKala #iKalaCloud #Google #GoogleCloud #數位轉型就找iKala
【What's New in BigQuery？】
今年 BigQuery 不僅在 #多雲 #智能分析 #資訊安全 上有重大的技術突破，在 #管理 及 #性能 層面也有所優化，iKala Cloud 為您統整相關重點，帶您一窺 Google Cloud 在大數據分析上的產品佈局。
#多雲端資料分析
✅ BigQuery Omni：現在您可在 #Anthos 上利用 BigQuery 介面查詢位於其他雲端平台的資料，是首先實踐多雲資料分析的產品。目前支援 AWS，未來也將支援 Azure。
#資訊安全
✅ Data Catalog：自動化檢索資料並 #集中化 管理數據資產，將資料加以標籤、給予權限。資料會通過 Data Loss Prevention API，您可以刪除或標記 SSPI 資訊。
#智能數據分析
✅ Data QnA：BigQuery 現在支援 #自然語言查詢，讓不習慣 SQL 語言的企業主管能以簡單問句都能快速了解資料。
#性能升級
在 2018 年，透過 BigQuery 掃描 400 MB 的資料需耗時 2 分鐘；而今年在沒有任何停機和額外收費的情況下，只需要 4 秒鐘即可完成。現在跟 2020 年初相比，平均速度快了近 20%。
▎多雲架構下的 Google 智能數據分析報告：https://bit.ly/3kJhjEg
▎報名收看 Google 官方中文演講場次：https://bit.ly/2ZMYzv5
#GoogleCloud #NextOnAir #NextRecap #iKalaCloud #數位轉型就找iKala
【從 teradata 到 BigQuery】美國職棒大聯盟資料倉儲搬遷實錄
#搬遷背景
美國職棒大聯盟 (MLB) 過去打造的 data pipeline 在建置時並沒有要做大數據分析的預期，所以多數對模型而言並不適用。存放於 teradata 中的資料也無法直接讓 30 支球隊存取，必須將資料複製到雲端上的 30 個獨立資料夾，讓球隊各自存取，球隊亦無法雙向向聯盟回饋數據，下述種種阻礙迫使 MLB 必須改變：
1⃣ 購退票、轉賣票券等行為導致已備份的歷史資料仍頻繁異動，需不斷再更新。
2⃣ 若分享的資料要新增欄位或改變格式，歷史資料需重新複製。
3⃣ 球隊須設定資料更新的通知，否則不會發現。
4⃣ 無法及時分享資料，頂多每五分鐘更新一次。
5⃣ 目標是提供具商業價值的分析給 MLB 跟球隊，但花費大量時間處理備份事宜。
6⃣ 當 MLB 開始尋找新的 BI 平台，發現既有倉儲和第三方工具整合有限。
#搬遷Tips
💡 新專案直接在 BigQuery 上開案。
💡 在 dependency graph 中找出 table 與 ETL jobs 間的關連，從關聯較少的開始搬遷。
💡 搬遷過程中，在 BigQuery 即時產生 teradata ETL 的副本，資料即時程度在 1 分鐘內，讓數據團隊可及早在 BigQuery 上使用資料。
💡 可在 GCP Marketplace 使用 #第三方轉譯器工具 CompilerWorks：自動化且正確地將 teradata SQL 轉換成 BigQuery SQL。
💡 ETL 搬遷的邏輯驗證可在 BigQuery 中完成。
#BigQuery解放MLB技術能量
✅ 球隊、聯盟員工存取同一份資料，MLB 無需處理歷史資料異動時，備份更新的問題。
✅ 性能與效率：大型查詢時間減少 50％。
✅ 完善資安功能：G Suite 提供身份驗證功能，Google Cloud IAM 負責處理權限控管。
✅ 友善體驗：Console 和 BigQuery API 極易上手，入門門檻低。
✅ 靈活性、降低成本：允許按需求量收費，不必承諾使用量，以便逐步上線。支援自動備份、自動擴展。
▎報名收看 Google 官方中文演講場次：https://bit.ly/2ZMYzv5
▎Next OnAir Week 1 精華整理：https://bit.ly/3jpSwnU
#GoogleCloud #NextOnAir #NextRecap
#iKalaCloud #數位轉型就找iKala
To authenticate Google Cloud locally, you will need to install Google Cloud SDK and log in/authenticate through the following command line. More ... ... <看更多>
bigquery api 在 Getting Started With Google BigQuery API In Python - YouTube 的推薦與評價
BigQuery is a fully managed enterprise data warehouse that helps you manage and analyze your data with built-in features like machine ... ... <看更多>