昨天後來再google發現opencpu這個更強大的套件
昨天太累就沒試了XD
我把前幾天弄得unnest
函數在配上opencpu
就可以輕鬆做到unnested json的轉換了
昨天後來再google發現opencpu這個更強大的套件
昨天太累就沒試了XD
我把前幾天弄得unnest
函數在配上opencpu
就可以輕鬆做到unnested json的轉換了
我們今天可能會遇到json parse出來的資料長下面這樣
1 | library(data.table) |
那在這種情況下,可以直接選擇用tidyr
的unnest
去做,如下面所示
廢話不多說,直接上code
1 | library(pipeR) |
關於Spark操作Hive資料庫的一些心得
Hive支援ACID,可以讓資料庫做transactions
其具備以下四種性質
那麼Hive支援這個有什麼好處?讓Hive能夠如同RMDB去做資料的UPDATE, DELETE
這篇主要是用Spark去連接現存的Hive
可能有人會先好奇說為什麼不用Spark本身的Thrift Server
我稍微看了一下,Spark的Thrift Server只能跑Local
也就是說你的資料只能在一台電腦上跑,因此,這樣是有風險的