hbaseクライアント起動時に hbase-site.xml を参照できてなさそうなときの対処

hbaseクライアント起動時のクラスパスに hbase-site.xml を配置したディレクトリへの参照がない場合、下記のような例外が起こる。 java.lang.RuntimeException: java.io.IOException: org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImpleme…

hdfs コマンドで FileSystem file:/// is not a distributed file system とか出て困った

HDFS入れたし動作確認してみようと、下記コマンド実施。失敗。 $ sudo -u hdfs hdfs dfsadmin -report [sudo] password for admin: report: FileSystem file:/// is not a distributed file system Usage: java DFSAdmin [-report]原因は /etc/hadoop/conf …

HibernateのQueryクラス setDate(), setTime(), setTimestamp() の違い

java.util.Date インスタンスを Query#setDate() で格納して取り出したら時刻が00:00:00になってしまい困っていた。 時刻まで格納するには setTimestamp() を使えばいい。What's the difference between setTime(...) and setTimestamp(...) in Hibernate Qu…

BDZ-EX200が壊れた

年末年始の帰省から自宅へ戻り、帰省中に予約録画した番組をチェックしようとしたらHDDレコーダが故障していた。2009年冬に買ったソニーBDZ-EX200、5年も使ってたらさすがに壊れるか。 毎日ひっきりなしに録画してたし。実は特定の画面に移動するとフリーズ…

JavaのLombokとかいうツールを知らなくてハマった話

とあるJavaのOSSライブラリをEclipseでビルドしようとして、うまくいかずハマっていたんだけど、エラーをよくみると存在しないメソッドを参照しようとしてエラーになっていた。不思議なのがコマンドラインで mvn compile とか ant dist するときは問題なくビ…

NameNode HAをNFSベースからQJMベースに変える

大まかな手順は、 既存のHA を無効にする スタンバイNameNodeロールを削除するが、nameディレクトリは削除されない。ディレクトリは空にする。 QJMベースのHAを有効にする Configuring HDFS High Availability Converting from NFS-mounted shared edits dir…

ドローンメモ

ドローン(drone) 小型無人航空機 (UAV: Unmanned Aerial Vehicle) ※1 機械の操作に人を介在させない ドローン自身がセンサーで周囲の状態を検知し自動で動く 可能性 既存サービスの置き換えによるコスト削減 新しいサービスの実現 ※1: 飛ばなくても自立動作…

Hadoopサーバ構築

マスターサーバ ストレージはRAID必須 HDFS NameNode, JournalNode (Quorum Journal ManagerベースのNameNode HA) NameNode は active/standby の2台構成 JournalNodeは最小3台構成。2*N+1台構成でN台の障害まで耐える。 Zookeeper Zookeeperは最小3台構成。…

droneとか

http://wired.jp/2013/03/25/3d-robotics-interview/ - 3D Robotics社の創業者インタビュー https://www.dronecode.org http://www.ros.org http://diydrones.com Drone関連のベンチャー http://www.airware.com https://angel.co/drones-2 株式会社 自律制…

コンテンツ内遷移サンプル

Card sample HTMLコンテンツに複数の画面を定義して、JavaScriptで画面遷移を実現 追記 上のようなものを思いついて試しにつくったのだが、これってjQuery Mobileのページ機構じゃん。と気づいた。

とあるJSONの構文不正

とあるwebサーバが戻すJSONをパーズしたらエラーになった。 原因はレスポンスのJSONをStringインスタンスにしたときに末尾にNUL(\0)文字が付加されていたため。JSON仕様ではオブジェクトの後ろにホワイトスペース以外の文字があるときに不正なJSONとして扱う…

自宅 AV環境概要図

配線を忘れないための備忘録。 過去ツイ 買ってから13年くらい経つCD/MDミニコンポ(SONY DHC-MD555)がずいぶん前から調子悪いので次の粗大ゴミの日に捨てよう。MDデッキは応答せずCDは音飛びまくり。— やまたかP ✈ (@yamataka548) 2012, 3月 27 最近はPCから…

CSS Flexible Box(webkit-box, webkit-box-flex)の挙動メモ

<html> <head> <style type="text/css"> .c0 { display: -webkit-box; } .c1 { border: 1px solid red; -webkit-box-flex: 1; width: 0; } </style> </head> <body> <div class="c0"> <div class="c1"> a b c d </div> </div> </body> </html> https://dl.dropboxusercontent.com/u/7334525/sandbox/20140924/sample1.html …

MySQLのDATETIME型の条件記述の例

table1 テーブルの create_date カラム(DATETIME型)が、現在より180秒以上経っているものをカウントする。 select count(*) from table1 where (TIME_TO_SEC(TIMEDIFF(NOW(), create_date)) > 180);

perlのヒアドキュメントを使って複数行にわたるコマンドを実行する

#!/usr/local/bin/perl use strict ; use warnings ; my ($name) = @ARGV; my $outputs = <<`EOC`; echo "hello $name"; echo "1 + 1" | bc -l; EOC print $outputs;要点は下記のヒアドキュメントの箇所で複数行にわたるコマンドを書いているところ。 EOC を…

log4jの引数

オブジェクトの配列をつくって渡すと、第一引数の{}の中に順番に展開してくれる。 logger.info("a={}, b={}, c={}", new Object[]{ a, b, c });

リストを分割する

とある理由で下記のようにリストを分割する必要があった。 List<String> list = new ArrayList<String>(); for (int i=1; i<=10; i++) { list.add(String.valuOf(i)); } list.size(); // 10 List<List<String>> divided_list = getDividedList(list, 3); divided_list.size(); // 4 divide</list<string></string></string>…

perl でbzip2圧縮されたテキストファイルのリストを一括処理するサンプル

ログ解析するために、bzip2圧縮された複数のログファイルをbzcatしてperlにパイプでつなげて処理してたらメモリ使用量が増大して困った。(bzcatはメモリ上にガンガン展開しながらconcatenateするため。まあそうなるわな) んで、対処方法。bzcatをパイプで標…

CP932について

CP932 (Windows Codepage 932) について調べたことの備忘録。 http://www2d.biglobe.ne.jp/~msyk/charcode/cp932/Windows-31J-charset.html http://unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP932.TXT http://www.unicode.org/~scherer/emoji4un…

L1開発環境 備忘録

vagrantでの環境構築 $ mkdir vagrant $ cd vagrant $ vagrant init $ ls Vagrantfile初期化するとVagrantfileができるので下記のようにネットワークにブリッジ接続するよう設定(コメントアウトをはずす)する。 # Create a public network, which generally …

L1 構成

コア OS: CentOS サーバ: Jetty API: JAX-RS + Gson UI: Twitter4j DB: SQLite Hibernate + SQLite JDBC ドライバでサーバと接続

Java Servletのウェルカムページとエラーページ

ウェルカムページ ディレクトリだけを指定してアクセスしてきた場合に表示するページ。web.xml に下記のように記述する。 <web-app> ... <welcome-file-list> <welcome-file>index.jsp</welcome-file> <welcome-file>test.jsp</welcome-file> </welcome-file-list> ... </web-app>welcome-file 要素は複数記述できる。もし複数ファイルが存在した場合には、welcome-file-list 要素内…

Java ServletでCustom Error Pageを設定すると503 Server Unavailableになる件

Java Servletで例外がおこったときに任意のエラーページ (/WEB-INF/error.html) を表示したくて web.xml に下記の記述を追加のだが、なぜかサーバを起動すると503 Server Unavailableになってしまい困っていた。 <error-page> <exception-type>java.lang.Throwable</exception-type> <location>/WEB-INF/error.html</location> </error-page>…

jetty7でmvn jetty:runでデバッグ

下記参照。 http://mvnrepository.com/artifact/org.mortbay.jetty/jetty-maven-plugin/7.6.6.v20120903 http://jyukutyo.hatenablog.com/entry/20101216/1292511146 https://jira.codehaus.org/browse/JETTY-1071

Java ServletによるHTTPセッション

HTTPセッション セッションとは、画面遷移間で一連の処理であることを識別する仕組みのこと HTTPの仕様にはセッションがないため、クライアント/サーバ間で取り決めたセッションIDをやりとりすることによりセッションを実現する 一連の処理の開始時(例えば…

ビッグデータ関連のメモ

Apache Mahout - https://mahout.apache.org 機械学習とデータマイニング 参考: http://www.slideshare.net/tdunning/whats-new-in-apache-mahout Apache Drill - http://incubator.apache.org/drill/ 巨大なデータに対して対話式に解析が可能な分散システム…

キャリア絵文字とUnicode

シンボル Shift_JIS(CP932)+docomo絵文字仕様 Unicode PUA docomo仕様 Unicode PUA Google仕様 晴れ SJIS-F89F U+E63E U+FE000 キャリア絵文字をAndroidブラウザで表示するには、Unicode PUA Google仕様に変換する。 (Android4.0.x はdocomo仕様のPUAを表示…

Connection: close 忘れ

HTTPレスポンスのヘッダに Connection: close をつけ忘れていた。HTTP/1.1では、クライアント/サーバどちらかがConnection: CloseをHTTPヘッダで指定しない限りHTTP応答の後ではTCPは接続されたままとなる。クライアントはひとつのTCP接続上で複数の要求を…

コダックが成功した過程 - モノからサービスへ

コダックは、最初は材料(感光剤)メーカーだった。材料はすぐコモディティ化したため商売にならなくなる。そこで材料を売るのではなくサービスを売ることを考えた。一般ユーザとって当時のカメラは取扱いが面倒な機械だったため、カメラへフィルムのセッティ…

canvas animation demo

$(function(){ $('div#20140509_1').append(''); var c = $('div#20140509_1 canvas')[0].getContext('2d'); var seq = [ function(p){ p.x = 150; p.y = 20; c.clearRect(0, 0, 640, 400); c.beginPath(); c.moveTo(p.x, p.y); c.lineTo(250, p.y + 130); c…