有时候,运行 Nginx、PHP-CGI(php-fpm) Web服务的 Linux 服务器,突然系统负载上升,使用 top 命令查看,很多 php-cgi 进程 CPU 使用率接近100%。后来,我通过跟踪发现,这类情况的出现,跟 PHP 的 file_get_contents() 函数有着密切的关系。
大、中型网站中,基于 HTTP 协议的 API 接口调用,是家常便饭。PHP 程序员们喜欢使用简单便捷的 file_get_contents(“http://example.com/”) 函数,来获取一个 URL 的返回内容,但是,如果 http://example.com/这个网站响应缓慢,file_get_contents() 就会一直卡在那儿,不会超时。
我们知道,在 php.ini 中,有一个参数 max_execution_time 可以设置 PHP 脚本的最大执行时间,但是,在 php-cgi(php-fpm) 中,该参数不会起效。真正能够控制 PHP 脚本最大执行时间的是 php-fpm.conf 配置文件中的以下参数:
The timeout (in seconds) for serving a single request after which the worker process will be terminated
Should be used when ’max_execution_time’ ini option does not stop script execution for some reason
‘0s’ means ’off’
<value name=”request_terminate_timeout”>0s</value>
The timeout (in seconds) for serving a single request after which the worker process will [...]
由于PHP的工作机制,它并没有一个daemon线程,来定时地扫描session信息并判断其是否失效。当一个有效请求发生时,PHP会根据全局变量 session.gc_probability/session.gc_divisor(同样可以通过php.ini或者ini_set()函数来修改) 的值,来决定是否启动一个GC(Garbage Collector)。默认情况下,session.gc_probability = 1,session.gc_divisor =100,也就是说有1%的可能性会启动GC。
GC的工作,就是扫描所有的session信息, 用当前时间减去session的最后修改时间(modified date),同session.gc_maxlifetime参数进行比较,如果生存时间已经超过gc_maxlifetime,就把该session删 除。
那为什么会发生gc_maxlifetime无效的情况呢?
在默认情况下,session信息会以文本文件的形式,被保存在系统 的临时文件目录中。在Linux下,这一路径通常为\tmp,在Windows下通常为C:\Windows\Temp。当服务器上有多个PHP应用时, 它们会把自己的session文件都保存在同一个目录中。同样地,这些PHP应用也会按一定机率启动GC,扫描所有的session文件。
问 题在于,GC在工作时,并不会区分不同站点的session。举例言之,站点A的gc_maxlifetime设置为2小时,站点B的 gc_maxlifetime设置为默认的24分钟。当站点B的GC启动时,它会扫描公用的临时文件目录,把所有超过24分钟的session文件全部删 除掉,而不管它们来自于站点A或B。这样,站点A的gc_maxlifetime设置就形同虚设了。
找到问题所在,解决起来就很简单了。修改session.save_path参数,或者使用session_save_path()函数,把保存session的目录指向一个专用的目录,gc_maxlifetime参数工作正常了。
还有一个问题就是,gc_maxlifetime只能保证session生存的最短时间,并不能够保存在超过这一时间之后session信息立即会得到 删除。因为GC是按机率启动的,可能在某一个长时间内都没有被启动,那么大量的session在超过gc_maxlifetime以后仍然会有效。解决这 个问题的一个方法是,把session.gc_probability/session.gc_divisor的机率提高,如果提到100%,就会彻底解 决这个问题,但显然会对性能造成严重的影响。另一个方法是自己在代码中判断当前session的生存时间,如果超出了gc_maxlifetime,就清 空当前session。
MySQL随机查询的优化实例
八 7
MySQL随机查询的效率如果想得到提高,就需要进行优化,下面就为您介绍一个MySQL随机查询优化成功的例子,供您借鉴参考。
一直以为MySQL随机查询几条数据,就用
SELECT * FROM `table` ORDER BY RAND() LIMIT 5
就可以了。
但是真正测试一下才发现这样的MySQL随机查询效率非常低。一个15万余条的库,查询5条数据,居然要8秒以上
查看官方手册,也说rand()放在ORDER BY 子句中会被执行多次,自然效率及很低。
You cannot use a column with RAND() values in an ORDER BY clause, because ORDER BY would evaluate the column multiple times.
搜索Google,网上基本上都是查询max(id) * rand()来随机获取数据。
SELECT *
FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * (SELECT MAX(id) FROM `table`)) AS id) AS t2
WHERE t1.id >= t2.id
ORDER BY t1.id [...]
经常会碰到需要从数据库中导出数据到Excel文件,用一些开源的类库,比如PHPExcel,确实比较容易实现,但对大量数据的支持很不好,很容易到达PHP内存使用上限。这里的方法是利用fputcsv写CSV文件的方法,直接向浏览器输出Excel文件。
以下是代码片段:
<?php
// 输出Excel文件头,可把user.csv换成你要的文件名
header(’Content-Type: application/vnd.ms-excel’);
header(’Content-Disposition: attachment;filename=”user.csv”’);
header(’Cache-Control: max-age=0’);
// 从数据库中获取数据,为了节省内存,不要把数据一次性读到内存,从句柄中一行一行读即可
$sql = ’select * from tbl where ……’;
$stmt = $db->query($sql);
// 打开PHP文件句柄,php://output 表示直接输出到浏览器
$fp = fopen(’php://output’, ’a’);
// 输出Excel列名信息
$head = array(’姓名’, ’性别’, ’年龄’, ’Email’, ’电话’, ’……’);
foreach ($head as $i => $v) {
// CSV的Excel支持GBK编码,一定要转换,否则乱码
$head[$i] = iconv(’utf-8’, ’gbk’, $v);
}
// 将数据通过fputcsv写到文件句柄
fputcsv($fp, $head);
// 计数器
$cnt = 0;
// 每隔$limit行,刷新一下输出buffer,不要太大,也不要太小
$limit = 100000;
// 逐行取出数据,不浪费内存
while ($row = $stmt->fetch(Zend_Db::FETCH_NUM)) {
$cnt ++;
if ($limit == [...]
在使用thickbox的过程中也还是学到了一点东西,在这这里
给初‘用’thickbox的朋友们参考下,高手请忽略。
一、首先说下参数
a类型: <a href=”#TB_inline?width=344&inlineId=mydiv&modal=true”>显示</a>
input类型: <input alt=”#TB_inline?width=285&height=392&inlineId=MyDiv&modal=true”
onclick=” GetData(‘<%# Eval(“STID”) %>’)” type=”button” value=”修改”/>
1、在使用thick的时候,参数中的TB_iframe说明灰色中间弹出的thickbox是通过加载另外一个文件来导入的
2、参数中的#TB_inline和inlineId=divname说明灰色中间弹出的thickbox是通过加载当前文件的一个div或则其他元素来的
3、#TB_inline和inlineId=divname这两个标签的要同时存在的,因为在thickbox.js库中是首先判断参数中是否存在TB_inline后接着
来获取标签inlineId的值的,若参数中没有标签TB_inline就不会判断inlineId的值的了
4、而参数中的标签”TB_iframe”和“#TB_inline与inlineId=divname”这两种情况是对立的,只能出现一种情况,因为thickbox要嘛是
通过加载外部文件,要嘛就是加载当前页面的某个元素,如div元素,而参数中的width和height是用来判断thickbox的大小的
二、使用中碰到的一些问题
1、在说说在使用iframe子页面中使用thickbox,然后父页面调用iframe子页面的一个错误问题。
一开始在网上找到了一些解决办法来让thickbox在父页面中也是全屏显示的问题,顺便再这里也在说明下,方法如下:
将
tb_show(t,a,g); 改成
window.parent.tb_show(t,a,g);
然后在父页面和iframe子页面中都要写上几个js文件的引用,切忌:
他们是thickbox.css、jquery.js、thickbox.js
这三个文件一定要在两个页面中都要以后用
2、然后在这里可能还会遇到一个问题。在使用加载当前页面的时候,即在参数中有标签:、#TB_inline和inlineId=divname。thickbox虽然是在父页面中全屏显示了,但是在父页面查看的时候thickbox的加载页面中看不到数据,调试后发现$(‘#’ + params['inlineId'])为空对象,但是在iframe子页面查看的时候是看得到数据的,一个解决办法是:把thickbox.js中的
$(‘#’ + params['inlineId'])改成
window.frames["myiframe"].$(‘#’ + params['inlineId'])。
3、在ie6、ie7、ie8中都要正常显示的代码是:
把一开始的function tb_position()函数全部替换成如下:
function isIE6()
{
return navigator.userAgent.split(“;”)[1].toLowerCase().indexOf(“msie 6.0″)==”-1″?false:true;
}
function tb_position() {
$(“#TB_window”).css({marginLeft: ‘-’ + parseInt((TB_WIDTH / 2),10) + ‘px’, width: TB_WIDTH + ‘px’});
if(isIE6())
{
if ( !(jQuery.browser.msie && jQuery.browser.version < 7))
{ // take away IE6
$(“#TB_window”).css({marginTop: ‘-’ [...]
Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。但是它并不提供冗余(例如,复制其hashmap条目);当某个服务器S停止运行或崩溃了,所有存放在S上的键/值对都将丢失。
Memcached官方:http://danga.com/memcached/
关于Memcached的介绍请参考:Memcached深度分析
下载Windows的Server端
下载地址:http://code.jellycan.com/memcached/
安装Memcache Server(也可以不安装直接启动)
1. 下载memcached的windows稳定版,解压放某个盘下面,比如在c:\memcached
2. 在CMD下输入 “c:\memcached\memcached.exe -d install” 安装.
3. 再输入:”c:\memcached\memcached.exe -d start” 启动。NOTE: 以后memcached将作为windows的一个服务每次开机时自动启动。这样服务器端已经安装完毕了。
如果下载的是二进制的版本,直接运行就可以了,可以加上参数来加以设置。
常用设置:
-p <num> 监听的端口
-l <ip_addr> 连接的IP地址, 默认是本机
-d start 启动memcached服务
-d restart 重起memcached服务
-d stop|shutdown 关闭正在运行的memcached服务
-d install 安装memcached服务
-d uninstall 卸载memcached服务
-u <username> 以<username>的身份运行 (仅在以root运行的时候有效)
-m <num> 最大内存使用,单位MB。默认64MB
-M 内存耗尽时返回错误,而不是删除项
-c <num> 最大同时连接数,默认是1024
-f <factor> 块大小增长因子,默认是1.25
-n <bytes> 最小分配空间,key+value+flags默认是48
-h 显示帮助
然后就可以用php的memcached客户端来试一下了。
Php代码与memcached的交互和与mysql的交互原理是一样的,需要安装一个服务器端的memcached ,现有的交互处理过程已经封装成了一个php的扩展了;需要在php.ini中,将这个扩展加进去。
Php memcached官方手册地址:http://cn2.php.net/manual/en/memcached.get.php
php扩展库pecl下载地址:
http://museum.php.net/php5/
配置:
1. 下载pecl模块包(地址如上),解压后将php_memache.dll放到php目录的ext子目录下,为了使得能正常使用,最好下载和php版本一致的模块包。
2. 在php.ini文件中导入’extension=php_memcache.dll’
然后重启apache,估计就可以了(可以在phpinfo.php 中,看看是否有memcached模块),当然了,我们可以写一个实验一下
$memcache_obj = new Memcache;
$memcache_obj->connect(‘localhost’, 11211);
$memcache_obj->set(‘var_key’, ’This is a memcached test!’,MEMCACHE_COMPRESSED, 50);
echo $memcache_obj->get(‘var_key’);
js计算字符串字节长度
七 23
function byteLength(str) {
var byteLen = 0, len = str.length;
if( !str ) return 0;
for( var i=0; i<len; i++ )
byteLen += str.charCodeAt(i) > 255 ? 2 : 1;
return byteLen;
}
说明:byteLength(str)
参数:
string str: 要计算字节长度的字符串(非ASCII的字符算2字节)
我们已经知道,在 document 对象中有一个 cookie 属性。但是 Cookie 又是什么?
“某些 Web站点在您的硬盘上用很小的文本文件存储了一些信息,这些文件就称为 Cookie。”—— MSIE 帮助。一般来说,Cookies 是 CGI 或类似,比 HTML高级的文件、程序等创建的,但是 javascript 也提供了对 Cookies 的很全面的访问权利。
我们先要学一学 Cookie 的基本知识。
每个 Cookie 命名的限制与 javascript 的命名限制大同小异,少了“不能用 javascript 关键字”,多了“只能用可以用在
URL 编码中的字符”。后者比较难懂,但是只要你只用字母和数字命名,就完全没有问题了。cookie值的要求也是“只能用可以用在 URL编码中的字符”。
每个 Cookie 都有失效日期,一旦电脑的时钟过了失效日期,这个 Cookie 就会被删掉。我们不能直接删掉一个Cookie,但是可以用设定失效日期早于现在时刻的方法来间接删掉它。
每个网页,或者说每个站点,都有它自己的 Cookies,这些 Cookies只能由这个站点下的网页来访问,来自其他站点或同一站点下未经授权的区域的网页,是不能访问的。每一“组”Cookies 有规定的总大小(大约 2KB
每“组”),一超过最大总大小,则最早失效的 Cookie 先被删除,来让新的 Cookie“安家”。
现在我们来学习使用 documents.cookie 属性。
如果直接使用 documents.cookie 属性,或者说,用某种方法,例如给变量赋值,来获得 documents.cookie的值,我们就可以知道在现在的文档中有多少个 Cookies,每个 Cookies的名字,和它的值。例如,在某文档中添加“document.write(documents.cookie)”,结果显示:name=kevin; email=kevin@kevin.com;lastvisited=index.html这意味着,文档包含 3 个 Cookies:name, email 和 lastvisited,它们的值分别是 kevin, [...]
crond 是linux用来定期执行程序的命令。当安装完成操作系统之后,默认便会启动此任务调度命令。crond命令每分钟会定期检查是否有要执行的工作,如果有要执行的工作便会自动执行该工作。而linux任务调度的工作主要分为以下两类:
1、系统执行的工作:系统周期性所要执行的工作,如备份系统数据、清理缓存
2、个人执行的工作:某个用户定期要做的工作,例如每隔10分钟检查邮件服务器是否有新信,这些工作可由每个用户自行设置
Crontab是UNIX系统下的定时任务触发器,其使用者的权限记载在下列两个文件中:
文件
含义
/etc/cron.deny
该文件中所列的用户不允许使用Crontab命令
/etc/cron.allow
该文件中所列的用户允许使用Crontab命令
/var/spool/cron/
是所有用户的crontab文件
/var/spool/cron/crontabs
/var/spool/cron/crontabs
Crontab命令的格式为:crontab –l|-r|-e|-i [username],其参数含义如表一:
参数名称 含义 示例
-l 显示用户的Crontab文件的内容 crontabl –l
-i 删除用户的Crontab文件前给提示 crontabl -ri
-r 从Crontab目录中删除用户的Crontab文件 crontabl -r
-e 编辑用户的Crontab文件 crontabl -e
用户所建立的Crontab文件存于/var/spool/cron中,其文件名与用户名一致。
它的格式共分为六段,前五段为时间设定段,第六段为所要执行的命令段,
格式如下:* * * * *
其时间段的含义如表二:
段 含义 取值范围
第一段 代表分钟 0—59
第二段 代表小时 0—23
第三段 代表日期 1—31
第四段 代表月份 1—12
第五段 代表星期几,0代表星期日 0—6
例:如果用户的Crontab文件的内容是:29 19 * * * echo its dinner time,则系统每天的19:29显示‘its dinner [...]
Linux计划任务入门详解
六 2
Linux操作系统定时任务系统 Cron 入门
cron是一个linux下的定时执行工具,可以在无需人工干预的情况下运行作业。由于Cron 是Linux的内置服务,但它不自动起来,可以用以下的方法启动、关闭这个服务:
/sbin/service crond start //启动服务
/sbin/service crond stop //关闭服务
/sbin/service crond restart //重启服务
/sbin/service crond reload //重新载入配置
你也可以将这个服务在系统启动的时候自动启动:
在/etc/rc.d/rc.local这个脚本的末尾加上:
/sbin/service crond start
现在Cron这个服务已经在进程里面了,我们就可以用这个服务了,Cron服务提供以下几种接口供大家使用:
1.直接用crontab命令编辑
cron服务提供crontab命令来设定cron服务的,以下是这个命令的一些参数与说明:
crontab -u //设定某个用户的cron服务,一般root用户在执行这个命令的时候需要此参数
crontab -l //列出某个用户cron服务的详细内容
crontab -r //删除没个用户的cron服务
crontab -e //编辑某个用户的cron服务
比如说root查看自己的cron设置:crontab -u root -l
再例如,root想删除fred的cron设置:crontab -u fred -r
在编辑cron服务时,编辑的内容有一些格式和约定,输入:crontab -u root -e
进入vi编辑模式,编辑的内容一定要符合下面的格式:*/1 * * * * ls >> /tmp/ls.txt
任务调度的crond常驻命令
crond 是linux用来定期执行程序的命令。当安装完成操作系统之后,默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作,如果有要执行的工作便会自动执行该工作。
1、linux任务调度的工作主要分为以下两类:
[...]