2012/09/30(日)だらだらウィンドウショッピングできる「ザ・カタログショー」を公開しました。

2012/09/30 14:59 開発日誌
公開しました。

■ザ・カタログショー
http://catalogshow.jp/

スクロールするといろいろな商品の画像がどんどん出てくるので、だらだらとウィンドウショッピングを楽しめます。

たとえば漫画。表紙がずらっと出てくるので本屋をうろうろする感覚で使えます。普通に生活してたら出会えなさそうな作品が見つかるかも!
新着順で並んでいるので新刊チェックにも使えます。
漫画


基本的に画像を見て楽しめるようなジャンルを充実させました。

ファッションまわりも充実。
レディースファッション


あと雑誌。ネット時代には古いメディアとして見られがちですが、こうしてみるといろいろなジャンルがあって面白いです。雑誌は表紙の情報量が多いので見てるだけでも楽しめます。
雑誌



他にもいろいろなジャンルがあります。
まだデータが充実していない項目もありますが、順次増やしていくつもりです。
また、いまのところ使いやすいのでAmazonのデータを使っていますが、理想としては他のショップやメーカーのサイトの画像なども織り交ぜたサイトにしていきたいところです。

ではでは、どうぞご利用ください。

■ザ・カタログショー
http://catalogshow.jp/

2012/09/03(月)Solrメモ書き2

2012/09/03 17:39 覚え書き
Solrばりばり使ってます。大変便利です。
でもやっぱり日本語情報が少ない。というわけで実戦投入までに調べたことを公開メモ。バージョンは3.x系です。
前のメモはこれ

Too many open filesエラーが出る

このエラー出まくった。
ファイルを大量に開くようなので、ファイルディスクリプタ(システムが開けるファイル数)の上限を65536とかにしておく。
普通は /etc/security/limits.conf あたりで指定するみたいだけど、サービスとして起動させておくプログラムに対しては有効にならないっぽい。
詳しくは下記記事参照。
■ファイルディスクリプタ数の上限変更とlimits.confの罠
http://yumewaza.yumemi.co.jp/2010/07/limitsconf.html

というわけで、/etc/security/limits.conf は使わず、起動スクリプト(/etc/init.d/solr)上でulimit -n 65536とか記載しておく。
下記参考に。
■Tomcat - Too many open files が出る問題
http://www.matsuaz.com/matsumotojs/2010/12/24/1293117835413.html

定期的にoptimize。autocommitはよくない。

追加したデータをインデックスに載せるためにはコミットが必要なのだけど、コミットするたびにファイルの断片が増えていくので、定期的にoptimizeしないと重くなる。あと上記の開きすぎエラーにもつながる。
定期的って一年に一回とかかと思ったら、どんどん重くなったのでかなり頻繁に必要らしい。だと5回コミットしたら1回optimizeとか書いてあった。スケジューリングが面倒なのでもうコミットするたびoptimizeするようにした。
で、最初は楽そうだからautocommit(自動コミット)使ってたけど、コミットは処理が重いのでちゃんとスケジューリングして深夜にまとめてコミット&オプティマイズするとか、計画的に実行した方がいい。後述の再起動とも関連。
2014/12/16 追記
Solr4.0以降だと特に定期的にoptimizeする必要はなくなったぽい。

ログファイルを軽くしたい

ログにあらゆる情報が出力されていてすぐでかくなるので、エラーだけ出力するように起動スクリプト上でフィルタした。
java -Dsolr.solr.home=multicore -DSTOP.PORT=8079 -DSTOP.KEY= -jar start.jar 2>&1 | grep --line-buffered "Exception" >> <LOG_FILE> &
これが良いやり方かどうかはわからん。
標準出力とエラー出力はわかれてないっぽいのでこんなやり方になった。

ロックファイルが残る

コミット中に再起動するとロックファイルが残って書き込めなくなる。
logroteが再起動させるので、その時間にはコミットさせないようにすること。
autocommitはここでも危険。

使用メモリ?

使用メモリの設定とかあるのかと思って調べたけどよくわからない。javaの-Xmxオプションで指定する?-Xmx4096mとかやってみたらかえって重くなったので結局いじってない。いじってなくても十分捌けてる。



以上。
誰か公式マニュアル翻訳して欲しい。