前にmMeasureに関するエントリーを書いたんですが、
その後に見つけたmuninはインストールも簡単で高機能でいいです。

GIGAZINE読んで知りました。
MRTGよりお手軽に負荷やトラフィックをグラフ化できる「Munin」

インストールの仕方もちゃんと書いてあったので、あっさり導入できました。
yumでいれたらApache周りも勝手に設定されるので、とても簡単。

ただ、MysqlについてはmMeasureの方が詳しく解説してくれるし、
チューニングのアドバイスもしてくれるのでそこはmuninにはない長所だと思います。

対して、muninはMysqlだけじゃなくてApacheやSystem、ネットワークまでグラフ化できるので、
守備範囲はとても広いです。

mMeasureはMysqlチューニング用、muninは運用時の監視用って感じですかね。
muninはプラグインで機能を追加できるので、知識がつけばmuninだけでいけそうな気もします。

Munin – Trac
http://munin-monitoring.org/

今さらだけど、「JSONPってなんだ？」って思ったのでまとめてみる。

まず、JSONとAjaxについて整理。

JSON(JavaScript Object Notation)

• オブジェクトまたは配列として実現されるデータ記述言語。フォーマット。
• MIMEタイプは”application/json” 拡張子は”.json”
• （殆ど）そのままJavaScriptの配列/オブジェクトとして扱えるので便利
• 単純で軽量。パースのコストもXMLなどに比べて安い。
• Ajaxの普及と共に注目を浴びた。

（AjaxのxはXMLだけど、）今ではJSONを使っている非同期アプリケーションのが多いよね。

Ajax(Asynchronous JavaScript + XML)

• JavaScriptのXMLHttpRequestとXML（今はJSONが多い）を使った非同期通信
• セキュリティーの都合のため、XMLHttpRequestはクロスドメイン間の通信は出来ない。

ここで、他のサイトのAPIをAjaxで触りたいとかとなってくると問題になる。
解決策としては、

1. JSONPを使う。
2. XMLHttpRequest以外で通信する

があるけれど、とりあえずここではJSONPについて。

JSONP(JSON with padding)

• HTMLタグのscript#srcにはクロスドメイン制限がないので、それを利用してクロスドメイン間の通信を実現する手法
• 予めコールバック関数を定義しておき、パラメーターにコールバックを指定し呼び出してもらう。

具体的に書いてみると、
[html]


[/html]
みたいにすること。

jQueryを用いたJSONPの実装

でも、結局はjQueryを使うと簡単に出来ちゃうよ、ってお話です。

[javascript]
// $.getJSONでも出来るみたいだけど。
$.ajax({
url: “http://crossdomain/json”,
data: {
hoge: “hogu”
},
dataType: ‘jsonp’, // これは固定
callback: ‘callbackname’, // コールバック関数を指定するためのパラメーター名
success: function(data, status){
// 何かをする
}
});
[/javascript]

jQuery使えば、JSONPのことを知らなくてもクロスドメイン間の通信も実装できちゃいそうだね。

PDOStatement->fetchによるループの中で、さらにクエリーを発行できないよってメモ。

コード例。

[php]
while(($row = $pdo->fetch()) !== false){
$id = $row['id'];
$address = $row['address'];

$log->debug(“id=$id, address=$address”);

$loc = $gm->get_locations(array(‘address’ => $address));
if ($loc == 0) {
$log->fatal(“google response some error.”);
break;
} elseif ($loc == 1) {
$log->error(“status=OVER_QUERY_LIMIT”);
break;
}
$log->debug(“lat={$loc['lat']}, lng={$loc['lng']}”);

$station = $hr->get_stations($loc);
$stationName = $station['name'];
$lineName = $station['line'];

$log->debug(“station=$stationName, line=$lineName”);

$query = “UPDATE joboffer SET station_name = ‘$stationName’, line_name = ‘$lineName’, latitude = {$loc['lat']}, longitude = {$loc['lng']} WHERE id = $id”;
$pdo->exec($query);

$log->debug($query);

$affected++;

sleep($interval);

break;
}
[/php]

要するに、fetchの途中に更にクエリーを発行することは出来ませんという仕様。

改善するには、

• fetchAll()してしまう。
  （いや、メモリーが・・・）
• fetchでループをせずに、idをfor文でまわすなどして逃げる

くらいしか思いつかない。
良い回避策、改善策はないんでしょうか。

内定先の会社の社員の方に面談をして頂きました。
といっても、世間話に近い面談だったんでリラックスしてのぞめました。

その中でCassandraというDBMSについての話が出てきたので、
帰ってから調べてみた次第です。

CassandraというのはOSSのDBMSなんですが、
いままでのいわゆるSQLを使うタイプのDBMSではなかったんです。

特徴

• SQLを使わない、いわゆるNoSQL(=Not only SQL)に分類
• 元GoogleでMysqlチームを率いていた人がFacebookに来て作った。(2008)
• 2010年2月にApacheのトップレベルプロジェクトになったばかり。
• インデックスなどの概念は無い（？）が、常にソートされて返される。

使い方

インストールとかは公式を見るとして。

大きさ順に表すと。

• Keyspace ≒ データベース
• Column Family ≒ テーブル
• Column(name, value, timestampを持つ)

みたいな。

最小単位のColumnは、
[javascript]
{
“name”: “emailAddress”,
“value”: “foo@bar.com”,
“timestamp”: 123456789
}
[/javascript]
みたいな感じ。

今までのRDBMSではSQLで問い合わせていたのが、keyで問い合わせるようになる模様。
使う機会があればまた詳しく書きます。

Apache Cassandra Project
http://cassandra.apache.org/

Apache Cassandra Wiki(JP)
http://wiki.apache.org/cassandra/FrontPage_JP

GoogleCodeJamのQualificationに参加してみて、
どのくらいまでのオーダーの計算量ならコンテスト中に処理できるのか
気になったので簡単なプログラムを作って計測してみました。

テストに使ったのはこんなコード。
ぐちゃぐちゃだけど気にしないで！
[java]
public static void main(String[] args) {
for (int order = 1; order <= 15; order++) {
long start = System.currentTimeMillis();
long temp = 0;
long end = (long) Math.pow(10, order);
for (long i = 0; i < end; i++) {
if (i % 2 == 0) {
temp -= i;
} else {
temp += i;
}
}

long diff = System.currentTimeMillis() - start;
System.out.printf("O(10^%d) %d:%02d.%04d\n", order, diff / 1000 / 60, diff / 1000 % 60, diff % 1000);
}

}
[/java]

以下が出力結果ですー！

[text]
O(10^1) 0:00.0000
O(10^2) 0:00.0000
O(10^3) 0:00.0000
O(10^4) 0:00.0000
O(10^5) 0:00.0000
O(10^6) 0:00.0026
O(10^7) 0:00.0438
O(10^8) 0:04.0543
O(10^9) 0:46.0106
O(10^10) 7:43.0682
[/text]

• O(10^7)までは計算量と時間に一応の相関関係はみえる。一応の。
• O(10^8)までがコンテストなら許容範囲かな？
• O(10^8)からは計算量と時間にはっきりと比例関係がみえる。
• O(10^5)まではミリ秒単位でもゼロ！改めてコンピュータの計算力って凄いね。

コンパイラのバージョンはjdk1.6でした。
もちろん計測するコンピュータによって結果が変わってくると思うので参考程度に使ってください。

就活などの影響で久しぶりの更新。

表題の機能を実装しようと思いいろいろ調べてみる。

この案件のデータは日々変化する。

5,000件/day
つまり、25,000件/week(weekday)
となると、100,000件/month

常に200,000件+を推移

データベースを早くするために

既知のことですが、改めてTEXT, BLOB, VARCHARなどの型はあまり良くない。
デフラグが効果的？
7.1.2.2. 動的テーブルの特性
MySQLのクエリを最適化する10のTips

Mysql標準組み込みのソリューション

初めて知った。
6.8. MySQL 全文検索
MySQLで全文検索 – FULLTEXTインデックスの基礎知識
MySQL FULLTEXT + Ngram : LIKE検索より数十倍高速な、お手軽 日本語全文検索 について

たたみラボさんの情報がやばい。

でも、デメリットとして、
・INSERT, UPDATEのクエリーが遅くなる。
データの流動性が高いアプリケーションだけに難しいなあ。

全文検索エンジンというソリューション

有名どころ。
Senna(未来検索ブラジル)
Namazu

ちなみに、Googleってどうなってるんだろう？
GAE使うと利用出来るのかな。BigTableとかどうなんだろう。

いまのところの方針

N-gramやるのはかなり面倒だが、
LIKE検索を使うより時間のオーダーが変わるくらい速度に差が出る。
20万強規模なのでLIKE検索は論外。

N-gramならインサート時にしっかりやれば、
あとは早いので問題は無いのかもしれない。

もうちょっと考えてみるけど、
コンパイルしなおす必要がなくてこれだけの速度が出るならとても魅力的だね。

下らない内容だなぁと思い人もたくさんいるかと思いますが、
自分は今まで幅優先探索が苦手で敬遠してきました！(笑

そんなお仲間がいらっしゃればご参考になればと。
この記事はそれ以上でもそれ以下でもございません。

まず、きっかけです。
最近いろいろなところで目にしたので、是非解きたいと思った問題がありまして、、

人材獲得作戦・４　試験問題ほか | 人生を書き換える者すらいた。
http://okajima.air-nifty.com/b/2010/01/post-abc6.html

これなんですが、読んでみたら簡単そうなんですが、どうやら幅優先探索(BFS:BreadthFirstSearch)を使いそう。
TopCoderでは、「BFSがベストアンサー！」みたいな問題は今まで見かけなかったので放置していたんですが、
腹をくくって勉強。
DFSは得意なんだよね。なぜか、あの再帰具合が。

で、たまたまITMediaで連載中の講座でも探索が！
これは偶然だけども。

知れば天国、知らねば地獄――「探索」虎の巻 | 最強最速アルゴリズマー養成講座
http://www.itmedia.co.jp/enterprise/articles/1001/16/news001.html

探索は基本だよねえ。うん。

Javaでの実装に使うもの

そこを読ませて頂いても、Wikipediaの解説を読んでも、キュー(Queue)を使うのが基本らしい。
幅優先っていう概念はわかりやすいんだけどね。実装がねー

JavaでQueueだと、Queueインターフェイスを実装したLinkedListなんかがお手頃。
※ 話が逸れるけど、Eclipseで「LLi」ってとこまでいれて保管すると一番上にLinkedListがでる。

で、問題はなんのメソッドを使うか。
Stackインターフェイスも実装しているからややこしいんだけど、
Queueは先入れ先出し(FIFO)が原則なので、後方から入れて先頭から出すようにする。
行列と同じ。以下の２つのメソッドを使う。

LinkedList#offer(e)
リストの末尾に追加。

LinkedList#poll()
リストの先頭を取得して削除。

Stackに関係するメソッドは有名だから知ってたけど、
この２つは最近まで全然知らなかった。（のは俺だけかもしれない）

実装

後は書くしか無い。

ALGORITHM NOTE | 幅優先探索 Breadth First Search
http://algorithms.blog55.fc2.com/blog-entry-127.html

参考にしました。このサイトにはいつも助けられてます。

自分で分かりやすく書きたかったので、結構だらだら長いコードだけど、こんな感じ。
[java]
public class BreadthFirstSearch {
Point[] move = new Point[]{new Point(0, -1), new Point(-1,0), new Point(1, 0), new Point(0,1)};
char[] directions = new char[]{‘r’, ‘d’, ‘u’, ‘l’};

public BreadthFirstSearch(int[][] input, int sx, int sy){
class Puzzle {
int[][] map = new int[3][3];
int x = 0;
int y = 0;
String path;

public Puzzle(int[][] map, int x, int y, String path) {
this.map = map;
this.x = x;
this.y = y;
this.path = path;
}

public boolean check(){
for (int i = 0; i < 8; i++) {
if (this.map[i / 3][i % 3] != i+1) return false;
}
return true;
}
}

LinkedList queue = new LinkedList();
queue.push(new Puzzle(input, sx, sy, “”));

BFS : while (queue.size() > 0) {
Puzzle p = queue.poll();

for (int i = 0; i < 4; i++) {
int x = p.x + move[i].x;
int y = p.y + move[i].y;

if (x >= 0 && x <= 2 && y >= 0 && y <= 2) {
int[][] map = this.dc(p.map);
map[p.x][p.y] = map[x][y];
map[x][y] = 0;

Puzzle moved = new Puzzle(map, x, y, p.path + directions[i]);
if (moved.check()) {
System.out.println(moved.path);
break BFS;
}

queue.add(moved);
}
}
}

System.out.println("#END");
}

public int[][] dc(int[][] input){
int[][] output = new int[input.length][input[0].length];
for (int i = 0; i < input.length; i++) {
output[i] = input[i].clone();
}
return output;
}

public static void main(String[] args) throws FileNotFoundException {
FileInputStream fis = new FileInputStream("src/study/puzzle.in");
Scanner sc = new Scanner(fis);

int[][] puzzle = new int[3][3];
int x = 0;
int y = 0;

for (int i = 0; i < 9; i++) {
char input = sc.next().charAt(0);
if (input == 'x') {
x = i / 3;
y = i % 3;
puzzle[i / 3][i % 3] = 0;
} else {
puzzle[i / 3][i % 3] = input - '0';
}
}

new BreadthFirstSearch(puzzle, x, y);
}
}

[/java]

次に本命のあのサイト。
せっかくだからTopCoderっぽくコストから出してみた。
かなり回りくどいけど、書いてて自分で勉強になった。

[java]
public class Kuma4_1 {
static final int width = 26;
static final int height = 13;
Point[] movable = new Point[]{new Point(1, 0), new Point(0, 1), new Point(-1, 0), new Point(0, -1)};

public Kuma4_1(char[][] map, int sx, int sy, int gx, int gy) {
LinkedList queue = new LinkedList();
queue.add(new Point(sx, sy));
int cost = 1;
int[][] costMap = new int[height][width];
char[][] copiedMap = this.dc(map);

BFS: while (queue.size() > 0) {
Point now = queue.poll();

for (int i = 0; i < movable.length; i++) {
int x = now.x + movable[i].x;
int y = now.y + movable[i].y;

if (map[x][y] == 'G') {
costMap[x][y] = cost;
this.out(copiedMap, costMap, gx, gy);
break BFS;

} else if (map[x][y] == ' ') {
costMap[x][y] = cost;
map[x][y] = '#';
queue.offer(new Point(x,y));
}
}

cost++;
}

System.out.println("#process end");
}

public void out(char[][] map, int[][] costMap, int gx, int gy){
int cost = costMap[gx][gy];
Point p = new Point(gx, gy);
while (cost > 1){
cost–;
for (int i = 0; i < movable.length; i++) {
int x = p.x + movable[i].x;
int y = p.y + movable[i].y;

if (costMap[x][y] == cost) {
map[x][y] = ‘$’;
p = new Point(x,y);
}
}
}

for (int i = 0; i < map.length; i++) {
System.out.println(new String(map[i]));
}
}

public void out(int[][] map) {
for (int i = 0; i < map.length; i++) {
for (int j = 0; j < map[i].length; j++) {
System.out.printf(“%3d”, map[i][j]);
}
System.out.println();
}
}

public void out(char[][] map) {
for (char i = 0; i < map.length; i++) {
System.out.println(new String(map[i]));
}
}

public char[][] dc(char[][] input){
char[][] output = new char[input.length][input[0].length];
for (char i = 0; i < input.length; i++) {
output[i] = input[i].clone();
}
return output;
}

public static void main(String[] args) throws FileNotFoundException {
FileInputStream fis = new FileInputStream(“src/study/kuma4.in”);
Scanner sc = new Scanner(fis);

char[][] map = new char[height][width];

for (int i = 0; sc.hasNext(); i++) {
String line = sc.nextLine();
map[i] = line.toCharArray();
}

int sx=0, sy=0, gx=0, gy=0;
for (int i = 0; i < map.length; i++) {
for (int j = 0; j < map[0].length; j++) {
if (map[i][j] == ‘S’) {
sx = i;
sy = j;
} else if (map[i][j] == ‘G’) {
gx = i;
gy = j;
}
}
}

new Kuma4_1(map, sx, sy, gx, gy);
}
[/java]

しかしなげぇ。でも、書く時間自体はそんなかからなかった。30分弱くらいかなあ。
でも、アルゴリズム調べてからだから、そう考えると論外だとも。

とにかく、ぼくはこれで幅優先探索をやっと覚えました！ばっちこい。

突然RubyがやりたくなってRubyの導入本を買った。

他の言語、いわゆるPerl、Java、C++とかやってる人ならオススメ、良本です。
オライリーなのに日本語訳ではなく、日本人が書いてるってのがスゴイです。

本を読み進めていたら実際に書きたくなったので、環境作ることにしました。

俺はAptanaのHTMLやJSエディタを使い始めてからDreamweaverは全く起動しなくなりました。
DW同様重いけど、プログラマーが使うのに相性が良いです。

Rubyはバージョン1.8が主流のようだけど、最新の1.9の安定版が最近出たようなのでそれを使うことに。
話は逸れるけど、Ruby2.0は新しい仕様が多いらしく、PHPでいうと5.0から6.0にあがる話みたいな感じなのかな。
その繋ぎとなるのがRuby1.9であり、PHP5.3(だっけ？)らしいので、楽しみなバージョンだよね。

ここまでで使うモノが大体決まりました。

• Ruby1.9.1(stable)
• Aptana RadRails

せっかくなので、ROR(Ruby on Rails)やRubyGems、テスト環境としてXAMPPへの対応もやりましょう。

Rubyのインストール

Windowsだと便利なインストーラがあって、これを使うと１発でRubyとRubyGemsが入って環境変数(Path)まで通してくれます。

One-Click Installer – Windows
http://rubyforge.org/projects/rubyinstaller/

ただ、Ruby1.9のインストーラが無かったので、今回は手動でインストールすることにします。

オブジェクト指向スクリプト言語 – Ruby
http://www.ruby-lang.org/ja/

/binaries/mswin32/ruby-1.9.1-p129-i386-mswin32.zip

好きな場所に解凍します。
XAMPPに組み込む人はc:\xmapp\rubyとかが格好つくかと思います。

手動でいれた人は自力でPATHを通す必要があります。
c:\xmapp\rubyに置いた人はPATHにc:\xmapp\ruby\binを追加してください。

[bash]
$ruby -v #=> ruby 1.9.1p129 (2009-05-12 revision 23412) [i386-mswin32]
[/bash]

RubyGemsのインストール

Rubyのインストールが終わったらRubyGemsをインストールします。
俺はyumとかのRuby版だと解釈してます。あったほうが断然便利。

RubyForge: RubyGems
http://rubyforge.org/frs/?group_id=126

好きなバージョンを落として好きな場所に解凍します。
その次にコマンドプロンプトからインストールをします。

[bash]
$ruby setup.rb
[/bash]

少し時間がかかりますが、勝手にインストールしてくれます。楽ちん。

疲れたのでとりあえずここまで。続く。

=>Part2

公開されたばかりのGoogle製のJavaScriptライブラリをちょっとだけ触ってみた。
GoogleAppsEngineも凄かったけど、
これも並ぶくらいにヤバいんじゃない？って思ってる。
こんなライブラリを自由時間に作っちゃって、
ひょいひょい公開するGoogleはホント鳥肌たつ。

Gmailとかもこのライブラリで作られてるんだって。

以下、せっかくなので要点だけまとめてみた。

英語読める方はGoogleLabsのドキュメント読んだ方がいいかも。

まず、ソースはSVNから落としてくる。
[code]

http://closure-library.googlecode.com/svn/trunk/

[/code]

HTMLファイルにはbase.jsだけ読み込むだけで良い。
[html]

[/html]

但し、JavaScriptソースにはJavaなどに似た記法で使うソースの宣言が必要。
[javascript]
goog.require(‘goog.dom’);
[/javascript]

名前空間の概念がある。最上位は”goog”である。
jQueryとは異なり、階層構造になっているから注意。（Javaとかに慣れてる人は大丈夫）

また、継承も出来る。詳しくは追々かな。
[javascript]
goog.inherits(goog.ui.MenuButton, goog.ui.Button);
[/javascript]

jQueryみたいに、独自のイベントハンドラがあるし、ユーザー独自のイベントも作れる。
（ブラウザ毎の差異を吸収できる）
[javascript]
goog.events.listen(this.elHeader_, goog.events.EventType.CLICK, this.onHeaderClick_, false, this);
[/javascript]
ここは、覚えないとダメそう。
Event Handling

—

ClosureLibraryはClosureToolsの一部で、
その他にコードを最適化するCompilerなどがあるみたい。
様子見てつかってみたいです

ブラウザによってAタグのhref属性の値が違う。

[html]
link
[/html]

みたいなソースで、

[javascript]
var href = $(“a#takotako”).attr(“href”);
alert(“href = ” + href);
[/javascript]

JSとかで取得する場面があった。

• モダンブラウザ(FF, Opera, IE8.etc)
  href = “#kumakuma”
  これが普通だと思うけど。
• IE7(IE6もかも？)
  href = “http://thleave.com/#kumakuma”
  ご丁寧に全部出る。

これにすげーハマった。
ってきり、JSON（も扱っているのでその）周りかと思ったら全然違う。
みなさん是非、IEはIEでもIE8を使いましょう！