Skip to content

Instantly share code, notes, and snippets.

View odasatoshi's full-sized avatar

ODA satoshi odasatoshi

19 followers · 8 following
View GitHub Profile
@odasatoshi
odasatoshi / IMG_0177.JPG
Last active August 28, 2016 23:06
IMG_0177.JPG
@odasatoshi
odasatoshi / embulk-redshift.md
Last active August 29, 2015 14:16
embulk-output-redshiftを調べた
@odasatoshi
odasatoshi / gist:5820645
Created June 20, 2013 06:20
Reutersデータセットの構造
http://www.daviddlewis.com/resources/testcollections/reuters21578/
816 README.txt
39 all-exchanges-strings.lc.txt
56 all-orgs-strings.lc.txt
267 all-people-strings.lc.txt
175 all-places-strings.lc.txt
135 all-topics-strings.lc.txt
1203 cat-descriptions_120396.txt
5199 feldman-cia-worldfactbook-data.txt
@odasatoshi
odasatoshi / riak_contorol.rst
Last active December 17, 2015 00:58
riakのクラスタ管理について
  • Riak Control
  • Riak(OSS版)に含まれている
  • Riak1.1以降から正式サポート
  • snapshot

overviewが表示される。問題があると、大きな赤字で×が表示され、どのノードがどういう状態で問題があるのかが表示される。

  • cluster

クラスタ内のノードごとの情報が表示される。 メモリやディスクの使用量だけでなく、それぞれのノードをドリルダウンで詳細情報を見ていくことも出来る。

@odasatoshi
odasatoshi / gist:5011138
Last active December 14, 2015 02:08
Jubatusでglog 0.3.3にする必要はあるか？
glog 0.3.2 -> 0.3.3
====================
- Add --disable-rtti option for configure.
実行時型情報を消すことでバイナリサイズ小さくなったり、パフォーマンスが上がる？環境もあるらしい。
- Visual Studio build and test fix.
Windows用。関係ない
- QNX build fix (thanks vanuan).
@odasatoshi
odasatoshi / gist:4991296
Last active December 13, 2015 23:19
Jubatus管理系コマンドまとめ
jubatus管理ツール群役割(現状)
===============================
定義
-----------
- task
NAMEによって区別される機械学習タスク
- node
@odasatoshi
odasatoshi / gist:4043213
Created November 9, 2012 01:50
Jubatus ログ出力仕様（素案）
Jubatusのログ出力仕様
glogについては
https://gist.github.com/3930022
1. 出力形式
以下の2つが選べること
- stderr
(LogToStderr)
@odasatoshi
odasatoshi / baseball_sim.txt
Created November 6, 2012 06:26
user 長野久義 is similar to : 長野久義 糸井嘉男 ミレッジ
user 大島洋平 is similar to : 大島洋平 本多雄一 石川雄洋
user 鳥谷敬 is similar to : 鳥谷敬 サブロー 糸井嘉男
user 坂本勇人 is similar to : 坂本勇人 角中勝也 稲葉篤紀
user 中田翔 is similar to : 中田翔 井口資仁 新井貴浩
user 李大浩 is similar to : 李大浩 中村紀洋 ミレッジ
user 陽岱鋼 is similar to : 陽岱鋼 秋山翔吾 枡田慎太郎
user 糸井嘉男 is similar to : 糸井嘉男 長野久義 栗山巧
user 聖澤諒 is similar to : 聖澤諒 明石健志 ヘルマン
user 田中浩康 is similar to : 田中浩康 栗山巧 梵英心
@odasatoshi
odasatoshi / gist:3793055
Created September 27, 2012 09:15
jubatusにおけるLOGレベルガイドライン(素案)
1. 利用するライブラリ
http://code.google.com/p/google-glog/
google-glog を利用する。
2. ログレベル
Jubatusは通常モードとデバッグモードのログレベルが存在する。
通常モードでのJubatusで利用するログレベルは、以下の三種類とする。
@odasatoshi
odasatoshi / gist:3780438
Created September 25, 2012 07:21 — forked from suma/gist:3780347
Jubatus ZK Session expired時にどう振る舞うと良いか
【Jubatus ZKとの接続でSESSION_EXPIREDしたときどうするか問題】
- ZKを利用しているOSSの実装
- EXPIREしたらexit（自殺）する
- EXPIREしてもZKと繋がるまで再接続し続ける
- 無限ループ・回数制限を設ける
- 接続が切れている間は、ZK関連のサービスを提供できない（キャッシュ保持してるかもしれない。もしくは、キャッシュはクリアする実装）
- Jubatusにおける選択肢
- EXPIREしたらプロセスを終了する
- EXPIREしてもZKへ接続リトライする（リトライし続ける、回数制限等つけてリトライする）