twitterが発表したリアルタイム分散処理フレームワークStorm

http://tjun.org/blog/2011/10/storm_intro/

  • Hadoop: まとまったデータを一気に処理するバッチ処理を、簡単に分散でき高速に処理することができるフレームワーク
  • Storm: 連続的に到達するデータに対して、連続的に結果を出すような処理を、簡単に分散させて処理することができるフレームワーク。YahooのS4などが近い。