ビックデータ関連技術発表年(Google)
論文発表 2003、Google GFS 2004、Google MapReduce 2006、Google Bigtable 2010、Google Percolator, Dremel(BigQuery) ソフトウェア発表 2007、Google Hadoop First Release 2008、Google HBase First Release 2010、Google Caffeine 2011、Twitter Storm 2012、Dremel Spanner Colossus 2013、Amazon Kinesis 2013、Drill Google検索システム Crawling MapRedece GFS(Google File System) MapRedeceではデータ処理がバッチ処理で行われるため、検索結果への反映までに時間がかかるという問題があった。 MapReduceの実装がHadoop、バッチ処理、Javaライブラリ(HiveQL in Hadoopなど) Dremel(BigQuery)、会話型クエリー、SQLライクの言語、入れ子構造(nested)の扱いが可能、カラム指向 Caffeine Colossus アプリケーションプラットフォーム App Engine Bigtable(NOSQL) BigQuery オープンソース化 Apache Hadoop ← MapRedece Apache HDFS ← GFS Apache HBase ← Bigtable Apache Drill ← Dremel 参考文献 「Google BigQueryではじめる 自前 ビックデータ処理入門」、清野克行、秀和システム、2014