ビックデータ関連技術発表年(Google)

-

論文発表

2003、Google GFS
2004、Google MapReduce
2006、Google Bigtable
2010、Google Percolator, Dremel(BigQuery)

ソフトウェア発表

2007、Google Hadoop First Release
2008、Google HBase First Release
2010、Google Caffeine
2011、Twitter Storm
2012、Dremel Spanner Colossus
2013、Amazon Kinesis
2013、Drill

Google検索システム

Crawling
MapRedece
GFS(Google File System)

MapRedeceではデータ処理がバッチ処理で行われるため、検索結果への反映までに時間がかかるという問題があった。
MapReduceの実装がHadoop、バッチ処理、Javaライブラリ(HiveQL in Hadoopなど)
Dremel(BigQuery)、会話型クエリー、SQLライクの言語、入れ子構造(nested)の扱いが可能、カラム指向

Caffeine
Colossus

アプリケーションプラットフォーム

App Engine
Bigtable(NOSQL)
BigQuery

オープンソース化

Apache Hadoop ← MapRedece
Apache HDFS ← GFS
Apache HBase ← Bigtable
Apache Drill ← Dremel

参考文献
「Google BigQueryではじめる 自前 ビックデータ処理入門」、清野克行、秀和システム、2014


コメント

コメントを投稿

このブログの人気の投稿

systemd-resolveの設定（Ubuntuなどの動的DNS設定）

-
systemd-resolveの設定（動的DNS設定） Ubuntuなど、systemd-resolveがデフォルトのDNSリゾルバーとなっているディストリビューションについて。 NetworkManagerやavahi-daemonの無効化、/etc/network/interfacesの設定はしなくて大丈夫です。 なお、下記のDNS設定を行わないと、Firefox Syncに失敗してしまいます。Google Chromeでのウェブ検索には影響はありませんが、Firefoxでは「support.mozilla.org」、「accounts.firefox.com」、「bugzilla.mozilla.org」などのサポートサイトの名前検索に失敗しますので、Mozilla のサービスを使うために、なんだか妙なのですが、Google の DNS を設定しましょう。 /etc/systemd/resolved.conf の編集 設定は下記のファイル順に構築されます。 /etc/systemd/resolved.conf /etc/systemd/resolved.conf.d/*.conf /run/systemd/resolved.conf.d/*.conf /usr/lib/systemd/resolved.conf.d/*.conf $ sudo vi /etc/systemd/resolved.conf おすすめはGoogleのPublic DNSを設定です。Googleを使うユーザーにとってはヒット率が高いようです。 [Resolve] DNS=8.8.8.8 8.8.4.4 2001:4860:4860::8888 2001:4860: 他のDNSとしては、ISPが提供しているDNSサーバーを指定する。プロバイダが提供しているDNSは接続ルータの管理者画面等で確認します。 [Resolve] DNS=xxx.xx.xxx.250 xxx.xx.xxx.254 systemd-resolve サービス再起動 $ sudo systemctl restart systemd-resolved.service 設定確認 GoogleのPublic DNSサーバー（ 8.8
続きを読む

GRUB起動メニューのタイムアウト時間、起動するOSの変更

-
Ubuntu、Debian、など 設定の流れ /etc/default/grub ↓ (update-grubコマンドで反映させる) /boot/grub/grub.cfg /etc/default/grub を編集する ※コメントの先頭は # にすること。// の場合、反映（update-grub）がエラーになります。 タイムアウト（待ち時間）を5秒から10秒に変更 $ sudo vi /etc/default/grub    GRUB_TIMEOUT=5 -> GRUB_TIMEOUT=10 起動するOSのデフォルトを一番上のメニューエントから3番目に変更（メニューで選択可能だが何も触らない場合のデフォルト） $ sudo vi /etc/default/grub    GRUB_DEFAULT=0 -> GRUB_DEFAULT=2 １番上が 0 なので、上から３番目は 2 となる。 Grubで前回の選択をデフォルトにする GRUB_DEFAULT="saved" GRUB_SAVEDEFAULT="true" 設定を反映させる 方法１：update-grub $ sudo update-grub Generating grub configuration file ... Found background image: /usr/share/images/desktop-base/desktop-grub.png Linux イメージを見つけました: /boot/vmlinuz-4.19.0-13-amd64 Found initrd image: /boot/initrd.img-4.19.0-13-amd64 Linux イメージを見つけました: /boot/vmlinuz-4.19.0-12-amd64 Found initrd image: /boot/initrd.img-4.19.0-12-amd64 Linux イメージを見つけました: /boot/vmlinuz-4.19.0-10-amd64 Found initrd image: /boot/initrd.img-4.19.0-10-amd64 Found Windows Boot Manager on /dev/s
続きを読む

Salesforce Trailheadチャレンジメモ（Apex の基礎とデータベース）

-
（チャレンジの回答がどうしてもわからないとき） Trailblazer CommunityやStack Overflowで、問題文のタイトルやエラーメッセージで調べてみると回答についての投稿が見つかることがあります。 Salesforce Trailblazer Community https://success.salesforce.com/successHome Stack Overflow - Where Developers Learn, Share, & Build Careers https://stackoverflow.com/ モジュール「Apex の基礎とデータベース」 Apex の使用開始 Create an Apex class that returns an array (or list) of strings. public class StringArrayTest {     public static String[] generateStringArray(Integer numbers) {         List<String> arraylist = new List<String> ();         for(Integer i=0; i<numbers; i++) {             arraylist.add('Test ' + i);             // System.debug(arraylist[i]);         }        return arraylist;     } } あるいは、整数部分を文字列（String）にしてもチャレンジに成功します。             arraylist.add('Test ' + i);             arraylist.add('Test ' + i.format()); DML を使用したレコードの操作 Create a method for inserting accounts. public class AccountHandler {     public st
続きを読む