読者です 読者をやめる 読者になる 読者になる

saikenの日記

JavaとかPerlとかPHPとかDBとか

YAPC::Asia 2015 でMySQLで2億件のシリアルデータと格闘した話をしてきました #yapcasia

8/22(土)のYAPC::Asia 2015 で、「MySQLで2億件のシリアルデータと格闘した話」というタイトルで発表させていただきました。

 

 

下記YAPCトークページに動画もそのうちアップされるそうです。

http://yapcasia.org/2015/talk/show/0af26fe4-0b7b-11e5-a29c-67dc7d574c3a

togetter にもまとめていただきました。
ありがとうございます。記念にリンクを残しておきます。
http://togetter.com/li/863821

 

技術評論社さんのYAPCレポートにも取り上げていただきました。

感動!

http://gihyo.jp/news/report/01/yapcasia2015/0002


YAPCに参加してみて

YAPCに参加するのは、2014年に続いて2回目で、
これまで勉強会やYAPCでは、いつもトークを聞く側でした。

ひょんなことから、会社のPerl同好会メンバーと、
トークに応募してみることになり、採択されることができました。

当日は本当に緊張して(最初声震えていました…)、
つたない発表だったにもかかわらず、

ツイッターでたくさんのコメントをいただいたり、
終わった後に声をかけいただいたり、と

今までのエンジニア人生では味わえなかった感動を味わうことができました。

このような素晴らしい機会を与えてくれた、
YAPCの運営スタッフ、トークを聞いてくださった方々、Perlコミュニティの方々、

本当にありがとうございました。

 

■トークの内容について
ツイッターで様々なご意見をいただいたので、以下、自分なりの見解です。

○インフラについて
 やっぱり2億件を2コア+メモリ8Gって・・・ですよね。。
 多くのツイートを見て、社外の方からのご意見が聞けてよかったです。

 

 ○FreeBuffer のモニタリング

 これ、「show innodb status」で見れるやつだと思うんですが、
 ちょっと悲しい事情で、権限がなくて、見れなかったです。。
 
 あ、ただ、10分の1スケールで比較したときは、
 開発機だったので、見ていればよかったです。

 

○登録するときに、いったんindexをdropして投入した方が速いのでは
 これは、試せていないんですが、その通りだと思います。

 負荷テストで速かったので、この辺やらないまま、登録してしまいました。
 そして、痛い目を見ました。。

 実施して、結果がわかったらまたブログに載せます!

 

○ファイルを分けて「LOAD DATA」を流せばUNDOによるbuffer_poolの圧迫がでないでよかったのでは
 すみません、これも試せていないので、なんとも言えないですが、、

 500万件毎に登録(コミット)をしているので、
 UNDOのサイズは、毎回500万件分なのかなという気がします。
 
 500万件毎を100万件毎とかにすれば、
 その分UNDOのサイズを節約できて、
 登録の遅延が始まるタイミングをもう少し遅くできるかもしれません。

 こちらも今度試してみます。

 

多くのご意見をいただき、

いろいろと客観的に見れたり、意見交換ができてよかったです。

ありがとうございました。