senna-feed01=# explain analyze select * from fetchdata_tmp where crawl_ready = 't';
QUERY PLAN
----------------------------------------------------------------------------------------------------------------------
Seq Scan on fetchdata_tmp (cost=0.00..2028.91 rows=24450 width=176) (actual time=0.015..117.897 rows=24450 loops=1)
Filter: (crawl_ready = true)
Total runtime: 131.433 ms
(3 rows)
senna-feed01=# explain analyze select * from fetchdata_tmp where crawl_ready2 = 1;
QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------------------------------
Index Scan using fetchdata_tmp_crawl_ready2_idx on fetchdata_tmp (cost=0.00..1043.72 rows=288 width=176) (actual time=0.134..0.134 rows=0 loops=1)
Index Cond: (crawl_ready2 = 1)
Total runtime: 0.222 ms
(3 rows)
コメント
メモリのfreeが底をつくあたりで、なぜか重くなってしまう症状があるのだ。
今回で2度目である。
MLに投げると、moriさんが援軍に来てくれた。
moriさんによると、phpの中でstatとopenを大量に発行しているのが、原因ではないかとのこと。
ユーザ数×読んだスレッド数と、扱うファイル数が大量な上に、PHPの発行するsystem callが冗長なようだ。
たけなかさんもfileのcacheを指摘されており、また、ぼく自身もfile周りの負担を感じている。
もはや全会一致の勢いで、DB化は必須であるとの結論に至った。
ということで、ひとまず再起動して、動作の軽快さを取り戻そうとした時、問題発生が！
先生！再起動に失敗して、サーバが起動しません！！
p2.2ch.netでは、PHP4を使っているので、基本動作として、オブジェクトをコピーしていたわけだけど、これを2日ほど前から、コードを書き換えて参照渡しするように変更してみた。PHPの場合、速度はあまり変わらないそうなのだが、多少はメモリの節約効果があるかもしれない…。
結局いつも手動でやってます。
Zendのツールでそういうのあるのかなぁ。
僕はこのクラスを使ってます。
http://www
手動でマーキングが必要ですけど、一応、関数毎に呼出回数と実行時間の統計がとれます。
配列にたくさんのオブジェクトを放り込む処理を参照渡しにしたところ、値渡しに比べて30%以上速くなったのを確認できました。
ただ、PHPの場合、参照渡しにすると必ず速くなるかというと、ケースバイケースな感じがします。
http://www
これは使えそう。
http://jp
あと、念のため、PEARのProfiler.phpというのは、Benchmark/Profiler.phpのこと。
p2.2ch.netでfree memoryが底をつくと、cpu負荷が悪化する症状はまだ健在っぽい。しかし、以前に比べると我慢できないほどの重さではなくなっている。
既に準備環境は整っていたものの、課モリタポが絡むので、実装に慎重になっていたが、優先順位を高める。
http://itpro
自動統計のできるのは全部組み込みになりますね。
過去3日以内に、p2.2ch.netを利用したユーザ数は1029人。
総登録者数が2664人だから、アクティブな利用者は大体3分の1以上になる。
思ったより多かった!（10分の1くらいかと思っていた）
http://takagi
p2.2ch.netでも対策を強化しておいた。
PHPの動くWebサーバなら大体何でも動くはずです〜!
その場合はやっぱり実運用してみた方がいいですよね。
さっき、なぜかp2.2ch.netのサービスが止まってたので復活させときました。
セッションデータの扱いを冒頭で処理してしまって、
明示的に session_write_close() を行えば簡単に解決することに気付いた。
http://jp
にずばり書いていた。。
>>24
ありがとうございますー。
サーバについては、まだもう少し、今のサーバ環境でも工夫の余地があるので、
このままもうちょっと粘ってみようかな、と・・。
以前のようには重くならなくなった気がします。
ただたまにapacheが変になるのはまだ様子見。
そこで、subject.txtの情報保持をメモリ内で扱ってみようと試みた。
【1】
まず、subject.txtからスレッドリスト情報を抽出したものを、
メモリ内に保存しようとしたが、
リスト情報にまとめると意外と多くのメモリを消費することがわかった。（750K→2M）
メモリ消費量に対して、速度向上の期待値は0.1秒程度しかないので、
ファイルでシリアライズキャッシュする方法も含めて、これはパスした。
【2】
で、subject.txtをそのまま、メモリ内で保持しようかとやってみたけれども、
パフォーマンスがほとんど変わらなかったため、これもやめた。
一応、コード自体は残している。
今回もメモリ関連のバグフィックスがあったようだ。
php.2ch.netも、いろいろと手を入れたのが功を奏したのだろうか、初期の頃に比べると、ダウンする頻度が随分下がった。今回のアップデートでさらに安定するといいなぁ。
現在の環境は PHP 4.4.0 + eAccelerator 0.9.3 となった。
■普通のメールの場合
RFCに従うと、日本語メールの、
文字コードは「ISO-2022-JP」、改行コードは「CR+LF」であり、
ヘッダの日本語部分は、さらにMIMEエンコードを施したものとなる。
■mb_send_mail()を利用する場合
●改行コード
・ヘッダ
PHPマニュアルのmb_send_mail()の項に、
>改行(n)で区切ることにより複数のヘッダを指定可能です。
と示されている。
・本文
http://blog
のmail()の解説によると、
>$bodyはUNIXの場合，通常そのままsendmailコマンドに渡ります．
>sendmailコマンドはnを単純にrn変換する場合があるため
>(「rn」が「rrn」になる場合がある)改行文字は「n」だけで行う必要があります．
とのことなので、基本的には「n」でよいだろう。
しかし、サーバの環境によっては、「rn」としなければならないケースも考えられる。
●文字コード
mb_send_mail()は、PHPの内部エンコーディングから、
メール送信用エンコーディングに自動で文字コードを変換してくれる。
mb_send_mail()の変換後エンコーディングは、mb_language()の値に従い、
'Japanese'なら「ISO-2022-JP」、'uni'なら「UTF-8」となる。
ここで注意したいのは、php.ini で、
mbstring.language = Japanese;
としていれば、mb_language()も'Japanese'になっていそうなものだが、
必ずしもそうはなっていないことである。PHPのバージョンにもよるのかもしれないが、
なぜか'uni'になっていたりして、これが文字化けの原因となる。
そのため、スクリプト中で明示的に、
mb_language('Japanese');
と指定しておくとよい。
さらに注意したいこともあって、
Subjectと本文は、自動で文字コード変換してくれるが、
FromとToの名前の日本語部分は、変換してくれない。
なので、自分で文字コードの変換とMIMEエンコードを施さねばならない。
例えば、内部エンコーディングがEUCの場合は、以下のようにコードを書く。
$FromName = '山田';
$FromName = mb_encode_mimeheader(mb_convert_encoding($FromName, 'JIS', 'EUC'));
$header = 'From: '.$FromName.' <'.$FromMail.'>'."n";
さらにさらに注意すべきことには、
mb_send_mail()を使う場合は、自らメールヘッダで文字コードを指定してはならない。
こちらがどのように文字コードを指定しようと、
mb_send_mail()が自動的に文字コードを指定してしまうため、二重に上書きされてしまう。
以上、mb_send_mail()は、その挙動をわかってしまえば、便利な関数であるが、
細かな仕様を知らなければ、実にわかりにくいものなのであった。
ポイントは、mb_language('Japanese') の明示指定と、To,Fromの自力変換である。
> Going forward, PHPA may be replaced by a new accelerator product in the coming months.
なんか楽しみ。PHP5にまともに対応してくれると嬉しいなー。
もうcoming monthsですね…。
ぼくは今は、待望だった5.1が安定してくれるのを待ってます。
ところで実は、人から指摘も受けたのですが、
>>28 には少し修正すべき点があります。
$FromName = mb_encode_mimeheader(mb_convert_encoding($FromName, 'JIS', 'EUC'));
は間違いです!!
mb_convert_encoding() で文字コード変換も行ってくれるので、mb_convert_encoding()は不要です。
一見 >>28 でも、動作するのですが、長い文字が入ると文字化けるようです。
ですので単純に、
$FromName = mb_encode_mimeheader($FromName);
が正解です。
間違った例文を書いてしまい大変申し訳ない。
mb_send_mail() は予想以上に地雷だらけでした。。
いろいろと変な挙動だけでなく、バージョンによって、PHPのバグもあったりするようなので、すごーく厄介なようです。
↓気になった関連URL
http://lists
http://blog
http://d
その時に、いくつかハマッタメモ。
基本的にportsにあるものは、portsを利用した。PHPもports。
まず、PHPのページの表示が途中で途切る症状が出た。
しかもクライアントブラウザ（Sleipnir）のCPU使用率が100%になって止まってしまう。
/var/log/htttpd-error.log をみると、
[notice] child pid 52060 exit signal Abort trap (6)
httpd in free(): error: junk pointer, too high to make sense
とのエラーが残っている。
いろいろ試行錯誤の結果、graphics/pecl-imagick を外したら直ったようだった。
どうもPECLのバグっぽい。
Apache、PHPのバージョンと、PHPのアクセレータは、いろいろ試した結果、Apache2.0系、PHP5.1系、Zend Optimizerとしてみた。
Zend Optimizer のインストールでは、ライブラリがないとかいろいろ言われて、ln -s をいろいろ張る。
で、インストールは完了したが、認識されていない。
不思議に思って調べたところ、
http://www
The phpinfo() output will indicate that ZEND_DEBUG is 'enabled'. Recompile PHP
without the debug support.
とのこと。そういうのはインストール前の文書で教えておくれ。
再びPHPを入れ直して、動作OK。
他の環境では、pecl-imagickがあってもエラーは出なかったのを確認した。
これもデバッグオプションとか何かが複合的に関連していたのだろうか。
やっぱりpecl-imagickは変。
コマンドラインのphpを動かしたら、セグメンテーションエラーでコアダンプ吐いたりしてる。
p2.2ch.net不具合報告スレ Part8
http://qb5
----------------------------------------------------
208 ：root▲ ★ ：sage ：2006/01/22(日) 00:47:01 ID:???0 (p)?
>>207
どもです。ログインできました。
一台目と同じスペックですね。
前のサーバ:
CPU: Celeron 2.0GHz
mem: 4GBytes
disk: IDE
NIC: 蟹
接続速度: 10Mbps half-duplex
新しいサーバ、これが2台:
CPU: Xeon 3.4GHz
mem: 4GBytes
disk: U320 SCSI
NIC: Intel
接続速度: 100Mbps full-duplex
----------------------------------------------------
244 ：root▲ ★ ：sage ：2006/01/22(日) 07:09:03 ID:???0 (p)?
器部分、概ねできました。
＜やったこと(2台共通)＞
・FreeBSD 6.0-p3に更新
・タイムゾーンをJSTに設定(UTCだったというか、設定されていなかった)
・一部パッケージのインストール
・カーネル再構築(SMPあり、HTTあり)
・/etc/rc.conf, /etc/sysctl.conf, /boot/loader.conf 設定
(メモリが多くてネットワークアクセスが多いサーバ用の設定)
・Apache 2.0.55再インストール
(kqueue有効)
・PHP 5.1.2再インストール(4.xは削除)
・Zend Optimizer再インストール
・pear-Net_UserAgent_Mobile再インストール(これがないと動かない)
・httpd.confチューンナップ
・バーチャルホスト設定
・簡単な動作確認 ( phpinfo(); )
・PVをとるための設定
(p)http://p2test1
(p)http://p2test2
それぞれ、p2.2ch.net という名前でアクセスされても(DNSが変わっても)
大丈夫な設定を既に仕込んであります。
バーチャルホストの設定に伴いDocumentRootが変わりました。
このため、IPアドレスでのアクセスはできなくなっています。
ということで動作確認は、あきさんのpublic_htmlでやっていただけると助かりますです。
そんでは、そゆことで。
----------------------------------------------------
247 ：root▲ ★ ：sage ：2006/01/22(日) 07:22:34 ID:???0 (p)?
#AddType application/x-httpd-php .php
#AddType application/x-httpd-php-source .phps
にし、
AddHandler php5-script php
AddType text/html php
に設定。
で、携帯PCとりまぜて来るみたいなので、
#
# The following directives modify normal HTTP response behavior to
# handle mobile phones.
#
BrowserMatch "DoCoMo" nokeepalive
BrowserMatch "KDDI" nokeepalive
BrowserMatch "UP.Browser" nokeepalive
BrowserMatch "Vodafone" nokeepalive
BrowserMatch "J-PHONE" nokeepalive
BrowserMatch "DDIPOCKET" nokeepalive
BrowserMatch "WILLCOM" nokeepalive
を httpd.conf に追加。
これで、わたし的には作業終了のはず。
----------------------------------------------------
269 ：root▲ ★ ：sage ：2006/01/22(日) 18:57:01 ID:???0 (p)?
PHP の設定ですが、
(php.ini)
; added by mumumu, 1/22/2006
include_path = ".:/usr/local/share/pear"
[Zend]
zend_extension_manager.optimizer=/usr/local/Zend/lib/Optimizer-2_6_2
zend_extension_manager.optimizer_ts=/usr/local/Zend/lib/Optimizer_TS-2_6_2
zend_optimizer.version=2.6.2
zend_extension=/usr/local/Zend/lib/ZendExtensionManager.so
zend_extension_ts=/usr/local/Zend/lib/ZendExtensionManager_TS.so
(extensions.ini)
extension=ctype.so
extension=curl.so
extension=dom.so
extension=fileinfo.so
extension=gd.so
extension=gettext.so
extension=iconv.so
extension=mbstring.so
extension=mysql.so
extension=openssl.so
extension=pcre.so
extension=posix.so
extension=session.so
extension=simplexml.so
extension=sqlite.so
extension=tokenizer.so
extension=xml.so
extension=xmlreader.so
extension=xmlwriter.so
extension=zip.so
extension=zlib.so
となっているです。
----------------------------------------------------
273 ：root▲ ★ ：sage ：2006/01/22(日) 19:53:26 ID:???0 (p)?
あと、アクセスログは、~/logs から参照できるはずです。
----------------------------------------------------
829 ：root▲ ★ ：sage ：2006/01/24(火) 01:40:39 ID:???0 (p)?
p2.2ch.net http://mumumu
トラフィック
http://mumumu
httpアクセス数
http://mumumu
Zend Encoder の方は有償のようですが、
Zend Optimizer は無償で提供されていました。
http://www