Hackpad 封存器 - g0vbeta

縣市開放資料集索引

最後編輯：2016-05-05 建立：2016-04-26 歷史紀錄
Open Data

 

KIANG為了加速縣市政府開放資料的推動，平行單位釋出資料的比對是常見工作，但現在除了 OKFN 評比( http://tw-city.census.okfn.org/ )之外並沒有其他相關索引； OKFN 評比是透過指定主題的方式，但實際執行時只希望找出一個簡單的答案，也就是 "xx縣市開放了這個資料集，oo縣市有沒有類似的？" ，因此希望開發一個程式去建立縣市資料集之間的連結（標籤）

 

管理介面： https://github.com/tainancity/city_datasets

爬蟲： https://github.com/tainancity/city_datasets_crawlers

 

 

 

資料庫規劃

  • table organizations - 組織/單位
    • id 使用 uuid
    • foreign_id 在各縣市資料平台的 ID
    • foreign_url 在各縣市資料平台的網址
    • parent_id, lft, rght 樹狀結構索引欄位(MPTT)
  • table datasets - 資料集/資源
    • id 使用 uuid
    • organization_id 組織 ID
    • foreign_id 在各縣市資料平台的 ID
    • foreign_url 在各縣市資料平台的網址
    • parent_id, lft, rght 樹狀結構索引欄位(MPTT)
  • table tags - 標籤
    • id 使用 uuid
    • model 設定使用的資料表， Organization or Dataset
    • parent_id, lft, rght 樹狀結構索引欄位(MPTT)
  • table links_tags - 標籤連結
    • foreign_id Organization/Dataset 的 id
    • model 設定使用的資料表， Organization or Dataset

 

功能需求

  • 各縣市資料集的爬蟲
  • 需要 API 介面接收由爬蟲取得的資料，避免直接資料庫存取
  • 在檢視資料集時以資料集名稱建立標籤，接著進入檢視標籤的頁面可以看到剛建立的連結，進一步可以用關鍵字搜尋其他資料集建立更多連結
  • 也許各種連結需要進一步的審核機制

 

爬蟲 Todos