網絡數據包分析:從 Google Maps 獲取 Fusion Table 原始數據

網上經常見到使用 Google Maps 繪製的地圖,如果希望對地圖中的興趣點(Point of Interest,POI)進行二次分析,就需要得到繪製地圖背後的結構化數據。如果是使用 Google Fusion Table 繪製的地圖,可以通過網絡抓包找到 Fusion Table 的ID,進而拼接出原始地址。本文來自同學 Lam Man Kit 的投稿,僅做技術交流。數據記者在使用時,需要注意原始數據的版權。而本地的研究者也需要遵守公平使用原則。本文以 FactWire 的數據報道 「分析182個領展停車場月租收費 9成2貴過房委會同區 最大差距達1.18倍」 爲例。

圖:通過網絡抓包分析 Fusion Table 的 ID

如果見到網上資源是利用Google Fusion Table來繪製地圖,例如上圖。我們可以透過Web scrape的技術得到它背後的原數據。

第一步,利用Developer tools得到每一個資料來源的網址。

從上圖,假使大家利用Google chrome,我們可以在Google瀏覽器中的更多工具中,選取開發者工具(Developer tools),或直接按F12進入開發者工具的介面。

第二步,選取Network介面。

第三步,選取JS介面,如果圖上有標示的話可以點取以更新Network的介面。直到找到有關Fusion Table的資料匯入這網頁。

第四步,找到相關資料後,點選Headers,在Request URL中,可以看到GetFeature?後有1sft%3A,而在%3A之後就是這個Fusion table的id,一直至看到第二個%3A的出現。

從上面我們可以找到id = 18kggpHa4Et5dkwLkEZfQRd-X0DxqhnhmoGT5u1IF&2s5

第五步,將上面的id放在這網址之後 “https://www.google.com/fusiontables/DataSource?docid=” ,

即是https://www.google.com/fusiontables/DataSource?docid=18kggpHa4Et5dkwLkEZfQRd-X0DxqhnhmoGT5u1IF&2s5

 

稿件 / Lam Man Kit

編輯 / Pili Hu


Posted by: Pili Hu

Leave a Reply