Pastalablog in はてな

時代はブログ! 日記もあるよ→http://pastak-diary.hatenadiary.com

KOFに行ってきたー

今日開催された関西オープンソース2008 関西コミュニティー大集合に行ってきたので、グダグダと感想を書く。

家~会場

  • 家から駅まで(徒歩で15分)の距離でバスを利用してしまう。
  • 阪急で向かいに座っていた、女子中学生or高校生の2人組に、乗った瞬間から降りるまでずーーーーっとクスクス笑われた(こっちを見ていた上に、自分がくしゃみをした瞬間も笑っていたので、被害妄想じゃないはず)。
  • 梅田で迷う。乗換に戸惑う。→大阪こわーい
  • 何とか到着したものの、11時直前だったので、はてなのセッションにとりあえず向かう。

はてな流大規模データ処理 by id:naoya

全体的に難しかった。ほとんど理解できなかったので、メモの繋がりとか間違ってるかも。

┗大規模なデータベースが必要。

  • メモリにデータ(キャッシュ)を読みに行った時…8GB/s
  • ディスクにデータを読みに行った時…60~70MB/s
  • 社内の開発者だけでテストを行った場合はメモリへのアクセスだけで済んでしまうことが多い
  • 普通のサービスは徐々にユーザーが増えるので、後からでも対応可能
  • 先日のはてなブックマークのβ版公開は元々からユーザー数が多いサービスだったので、ユーザーが使い出すと、ディスクへのアクセスが増え、サーバがダウンしてしまった。

→いかにメモリのキャッシュで済ませるかが重要

OSのキャッシュ
  • Linuxのページキャッシュはメモリが空いていれば、その分が全てキャッシュにまわされる。
  • 単純に負荷が多いからと言ってサーバを増やせば良いと言うものでは無い。

┗キャッシュ出来るメモリ領域の割合は変わらない
→どうするよ

  • アクセスパターンに考慮した分散
    • データ種ごとに分ける
    • ユーザー名ごとに分ける

┗一部のユーザー(例えばユーザー名の頭文字がn~zの人)が使えなくなったりする。実際、「泣ける2ちゃんねる」がメディアに取り上げられ、アクセスが集中した時に「泣ける2ちゃんねる」と同じサーバのユーザーのダイアリーも一緒にアクセス不可になったりしたらしい。

  • botとユーザーも違うよね
    • bot…古いデータも取りに来る。ちょっとくらい遅くても全く問題ない
    • ユーザー…新しいデータへのアクセスが大半

はてなブックマークのエントリーをブックマークしてるユーザー数を表示する画像のアクセス専用のサーバがある。数字だけを管理している。

MySQLの運用
  • データサイズに合ったメモリを載せる
  • ちゃんとインデックスは張ろうね
    • 4000万のはてブのタグデータだと
      • インデックス有…最大約25回
      • インデックス無…最大4000万回

詳しくは

で!

  • webアプリは書き込みよりもデータ参照が圧倒的に多い。
大規模データアプリケーションの開発
  • 例えば
  • 用途に特化したデータベースを作る

「関西の勉強会について」・「関西合同勉強会」

  • 始まる前にまっちゃさんに「パスタ来た!」とかって言われた。
  • IT勉強会カレンダーやっぱスゴイ!
  • 関西の勉強会って仲良いなー(同じ人が色んなトコに行ってるから?)
  • わんくま同盟回数多過ぎwww
  • まさかの勉強会宣伝のトップバッターww
  • という訳でプレゼンして来たー http://pastalablog.s3.zmx.jp/presentation/kof2008/presentation.htm
  • まっちゃさん宣伝する勉強会多いよー
  • 時間押してるって聞いてたけど、何とか収まったのかな?
  • 日本PHPユーザー会の人が飛び入りで参加 →http://events.php.gr.jp/
  • 雰囲気がラフだった。やっぱこれくらいの方がやりやすいね。

Google Chrome完全技術解説

~ここは後日別エントリーで書く~

Silverlightを囲む会

  • 蜜葉さんに会ったー。「いつの間にかフォローされてて…」>スイマセン。。。
  • SilverlightってJavascriptで動かせるんだー
  • Flexは投げ出しかけ(ASとかXMHLとか)なので、Silverlightやってみようかな。Javascriptで!
  • 1回行ってみたいなー。京都でやらないかなー←ワガママwww

会場で

  • 先日のまっちゃの時に知り合った方がOpenOffice.org勉強会のブースに荷物置かして下さったり、色んな人に紹介してもらったりした(「京都の期待の新星」は言い過ぎです)

みんなMSoffice使わずにOpenOffice使えばいいよ!!

  • Ubuntuの人から色んな物貰った*1
    • となりのdebianの人が「ならdebianも」とステッカー下さった。
  • 日本Android会の人とも色々話したー。面白そうだなAndroid
  • 大福もらった。
  • わんくま同盟行きたいんだけどなー。12月なら行けるかも?

他にも色々あって書ききれない…
また後日書くかも。
という訳で、みなさんお疲れ様でしたー。

*1:ボールペン3本・帽子・LiveCD