Archive for PHP

freebsd 6.x-amd64下pecl-xdiff导致php crash

xdiff有什么用? 简单来说就是比较2个字符串的差异,例如这个页面

http://www.mipang.com/places/2037/bible/7962/history

这是使用xdiff来比较各个历史版本之间差异的例子.

之前我也安装过多次pecl-xdiff, 经常碰到编译成功,php载入该模块也没问题,但是当使用它提供的xdiff_xxx函数时就导致php崩溃. 尝试过不同的php版本和pecl-xdiff版本的组合,偶尔能正常运行,当时也没彻底解决这个问题.

最近要在一个特定php版本上安装这个pecl-xdiff 又碰到了这个情况.

解决办法:

在 config.h 文件中

/* #undef HAVE_XDL_ALLOCATOR_PRIV */
改成
#define HAVE_XDL_ALLOCATOR_PRIV 1

重新编译安装即可.

* 不确定其他平台有没有类似问题,写出来至少可以给大家一个解决的参考.

评论(4)

PHP+Tidy-完美的XHTML纠错+过滤

输入和输出

输入和输出应该说是很多网站的基本功能。用户输入数据,网站输出数据供其他人浏览。

拿目前流行的Blog为例,这里的输入输出就是作者编辑文章后生成博客文章页面供他人阅读。
这里有一个问题,即用户输入通常是不受控制的,它可能包含不正确的格式亦或者含有有安全隐患的代码;而最终网站输出的内容却必须是正确的HTML代码。这就需要对用户输入的内容进行纠错和过滤。

永远不要相信用户的输入

你可能会说:现在到处都是所见即所得的编辑器(WYSIWYG),FCKeditorTinyMCE...你可能会举出一大堆。是的,它们都可以自动生成标准的XHTML代码,但是作为web开发人员,你肯定听过"永远不要相信用户递交的数据"。

因此对用户输入数据进行纠错和过滤是必需的。

需要更好的纠错和过滤

目前为止我还没见过有让我满意的相关实现,能接触到的通常都是效率低下、效果不太理想,有这样那样的明显缺陷。举个比较知名的例子:WordPress是一种使用非常广泛的blog系统,操作简单功能强大且有丰富的插件支持,但是它集成的TinyMCE和后台一堆有些自作聪明的纠错过滤代码却令人相当头痛,对半角字符的强制替换,过于保守的替换规则等等.....导致像贴一段代码让它正确显示这种需求都很难做到。

这里顺便抱怨一下,这个blog是用WordPress架的,为了让这几篇文章能正确显示代码,网上搜了很多也试用了一些插件,最终还是翻了它的代码把一些过滤规则注释掉才勉强可以显示得体面一点 -.-b

当然,我不想过多的指责它(wordpress),只是想说明它还可以做的更好。

Tidy是什么,它如何工作?

摘自Tidy ManPage的说明这样描述:

Tidy reads HTML, XHTML and XML files and writes cleaned up markup. For HTML variants, it detects and corrects many common coding errors and strives to produce visually equivalent markup that is both W3C compliant and works on most browsers. A common use of Tidy is to convert plain HTML to XHTML. For generic XML files, Tidy is limited to correcting basic well-formedness errors and pretty printing.

简单说Tidy是清理HTML代码的,生成干净的符合W3C标准的HTML代码,支持HTML,XHTML,XML。Tidy提供一个库TidyLib,以方便在其他应用中利用Tidy的强大功能。非常幸运,PHP有相应的tidy模块可以使用。

老兄,为什么又是PHP?

呃,这个问题... 惭愧,因为我只会那么点PHP而已 -.-v
不过还好,我这里讲的都不是纯粹的代码,好歹也有些分析的过程,分享这些东西比贴代码有用多了。

PHP中使用Tidy

要在PHP中使用Tidy需要安装Tidy模块,也就是加载tidy.so这个PHP extension,具体过程就略了,纯粹是体力活。最后能在phpinfo()中看到"Tidy support enabled" 就OK。

在这个模块的支持下,PHP中就可以使用Tidy提供的几乎所有的功能。常用的HTML清理是异常轻松的事情,甚至可以生成文档的解析树,像在客户端操作DOM那样的操作HTML的各个Node。下面将会有具体的代码说明,也可以看看PHP官方的相关手册

纠错和过滤的PHP+Tidy实现

上面说了这么多背景素材,似乎太罗唆了,具体的解决问题的代码才最最直接。

1. 简单的纠错实现

function HtmlFix($html)
{

  if(!function_exists('tidy_repair_string'))
    return $html;
  //use tidy to repair html code

  //repair
  $str = tidy_repair_string($html,
                   array('output-xhtml'=>true),
                   'utf8');
  //parse
  $str = tidy_parse_string($str,
                  array('output-xhtml'=>true),
                  'utf8');
  $s = '';

  $nodes = @tidy_get_body($str)->child;

  if(!is_array($nodes)){
    $returnVal = 0;
    return $s;
  }

  foreach($nodes as $n){
    $s .= $n->value;
  }
  return $s;
}

上面的代码就是对可能不规范的XHTML代码进行清理纠错,输出标准的XHTML代码(输入输出都是UTF-8编码)。实现代码不是最精简的,因为为了配合下面的过滤功能,我写的尽可能细致了一些。

2. 高级实现: 纠错+过滤

功能:

  1. XHTML的纠错,输出标准的XHTML代码。
  2. 过滤不安全的代码但是不影响内容展示,只是对style/javascript中不安全代码进行清除。
  3. 对超长字符串插入<wbr>标记以实现浏览器兼容的自动换行功能,相关文章可参考网页中超长文字的断行问题
function HtmlFixSafe($html)
{

  if(!function_exists('tidy_repair_string'))
    return $html;
  //use tidy to repair html code

  // tidy 的参数设定
  $conf = array(
                'output-xhtml'=>true
                ,'drop-empty-paras'=>FALSE
                ,'join-classes'=>TRUE
                ,'show-body-only'=>TRUE
                );

 //repair
  $str = tidy_repair_string($html,$conf,'utf8');
  //生成解析树
  $str = tidy_parse_string($str,$conf,'utf8');

  $s ='';

  //得到body节点
  $body = @tidy_get_body($str);

  //函数 _dumpnode,检查每个节点,过滤后输出
  function _dumpnode($node,&$s){

   //查看节点名,如果是<script> 和<style>就直接清除
    switch($node->name){
    case 'script':
    case 'style':
      return;
      break;
    default:
    }

    if($node->type == TIDY_NODETYPE_TEXT){
      /*
       如果该节点内是文字,做额外的处理:
       过长文字的自动换行问题;
       超链接的自动识别(未实现)
      */
      // insert <wbr>
      $s .= HtmlInsertWbrs($node->value,30,'','&?/\');

      // auto links ??? *** TODO ***
      return;
    }

   //不是文字节点,那么处理标签和它的属性
    $s .= '<'.$node->name;

    //检查每个属性
    if($node->attribute){
      foreach($node->attribute as $name=>$value){

        /*
         清理一些DOM事件,通常是on开头的,
         比如onclick onmouseover等....
         或者属性值有javascript:字样的,
         比如href="javascript:"的也被清除.
         */
        if(strpos($name,'on') === 0
        ||
        stripos(trim($value),'javascript:') ===0
        ){
          continue;
        }

       //保留安全的属性
        $s .= ' '.$name.'="'.HtmlEscape($value).'"';

      }
    }

   //递归检查该节点下的子节点
    if($node->child){

      $s .= '>';

      foreach($node->child as $child){
        _dumpnode($child,$s);
      }

      //子节点处理完毕,闭合标签
      $s .= '</'.$node->name.'>';
    }else{

      /*
       已经没有子节点了,将标签闭合
      (事实上也可以考虑直接删除掉空的节点)
      */
      if($node->type == TIDY_NODETYPE_START)
        $s .= '></'.$node->name.'>';
      else
        /*
          对非配对标签,比如<hr/> <br/> <img/>等
          直接以 />闭合之
          */
        $s .= '/>';
    }
  }
   //函数定义end

  //通过上面的函数 对 body节点开始过滤。
  if($body->child){

    foreach($body->child as $child)
      _dumpnode($child,$s);
  }else
    return '';

  return $s;
}

上面代码中注释应该比较详细,工作原理就配合代码看吧。
更严格的过滤也很容易扩展,比如实现文中的链接自动识别。


一点补充

如果你看过我之前写的网页中超长文字的断行问题,你可能发现上面代码中处理自动换行的函数有所不同:

之前介绍的是HtmlEscapeInsertWbrs(),而上面使用的是HtmlInsertWbrs()。

这里要做一下解释:
HtmlEscapeInsertWbrs()要求输入的字符串未作特殊字符转义的,也就是没有经过htmlspecialchars()对<>&等作&lt;&gt;&amp;处理的。因为函数内部有专门的处理。
而在处理经Tidy处理过后的文字节点的时候,因为Tidy的关系,已经自动把<>&等字符作相应的&lt;&gt;&amp;转义,因此需要用一个专门的函数避免重复的转义,这个函数就是HtmlInsertWbrs(),从名字上就知道它只插入<wbr>标记,不做额外工作。

那么你可能有个问题:
如果<wbr>被插入到HTML标签中间,比如在<div>或者&gt;的中间插入了<wbr>,变成<d<wbr>iv>和&<wbr>gt;,那就会影响到原始信息的展示。

没错,的确是个新问题,不过使用一些技巧就可以有效解决

  1. 因为我们处理的是Tidy得到的文字节点,意味着不可能碰到HTML标签,因此不会碰到在标签中间插入<wbr>的情况。
  2. 对于第二种情况,转义后的字符都是&xxxxx;这样的形式,那么只要在1所有&符号前面都插入<wbr>标记就可以了(注意看调用时的第四个参数),因为下一个<wbr>标记将会插在30(以上面代码中实际调用的第二个参数为例)个字符之后,这个已经2远远大于xxxxx的长度。这样由上面1、2两点可以保证不会插到转义字符的中间。

下面给出HtmlInsertWbrs()的PHP实现:

function HtmlInsertWbrs($str, $n=10,
         $chars_to_break_after='',$chars_to_break_before='')
{
    $out = '';
    $strpos = 0;
    $spc = 0;
    $len = mb_strlen($str,'UTF-8');
    for ($i = 1; $i < $len; ++$i) {
      $prev_char = mb_substr($str,$i-1,1,'UTF-8');
      $next_char = mb_substr($str,$i,1,'UTF-8');
      if (_u_IsSpace($next_char)) {
        $spc = $i;
      } else {
        if ($i - $spc == $n
            ||
           mb_strpos( $chars_to_break_after,
                      $prev_char,0,'UTF-8' )
                   !== FALSE
            ||
           mb_strpos( $chars_to_break_before,
                      $next_char,0,'UTF-8')
                   !== FALSE
         ) {
            $out .= mb_substr($str,$strpos,
                    $i-$strpos,'UTF-8')
                 . '<wbr>';
            $strpos = $i;
            $spc = $i;
          }
      }
    }
    $out .= mb_substr($str,$strpos,$len-$strpos,'UTF-8');
    return $out;
}

...
Ok,先写这么多,相关的资料在文中都有链接。
下次想到再补充。

评论(8)

网页中超长文字的断行问题

这个应该是比较常见的问题了,通常是连续的一长串无空格的半角字符所引起的,比如比较长的超链接就很有可能把你的页面撑开。网上常见的解决办法就是使用css属性 break-word:break-all; ,但是这个只对IE浏览器有效。

下面介绍一种办法,可以保证各浏览器的兼容。

<wbr>标记,它的作用是建议浏览器在这个标记处可以断行,只是建议而不是必定会在此处断行,还要根据整行文字长度而定。因此只要在连续的文字中间适当的插入若干<wbr>标记就能解决断行问题。

我最初看到这个解决办法是在Gmail的代码中,它是这么实现的:(All rights reserved by Google.)

JS实现

function HtmlEscapeInsertWbrs(str, n, chars_to_break_after,
                              chars_to_break_before)
{
    var out = '';
    var strpos = 0;
    var spc = 0;
    for (var i = 1; i < str.length; ++i) {
        var prev_char = str.charAt(i - 1);
        var next_char = str.charAt(i);
        if (IsSpace(next_char)) {
            spc = i;
        } else {
            if (i - spc == n
            || chars_to_break_after.indexOf(prev_char) != -1
            || chars_to_break_before.indexOf(next_char) != -1)
            {
                out += HtmlEscape(str.substring(strpos, i))
                      + '<wbr>';
                strpos = i;
                spc = i;
            }
        }
    }
    out += HtmlEscape(str.substr(strpos));
    return out;
}
/////
function IsSpace(ch)
{
    return (" trn".indexOf(ch) >= 0);
}
function HtmlEscape(str){
    return
        str.replace(/&/g,"&amp;").replace(/</g,"&lt;")
        .replace(/>/g,"&gt;").replace(/\"/g,"&quot;");
}

说明: 函数已经帮你处理了Html敏感的符号(&<>),用了这个函数并不是说字符串显示的时候就会在某个点断行,只是在其中设置了可能的断行点(<wbr>)标记,在显示宽度不够的时候的情况下才指示浏览器做出断行。


用法: 参数说明
str: 你要处理的原始字符串
n: 每行最多多少个字符
chars_to_break_after: 一个字符串,比如"-:_",就会在这些字符后面发生断行(如果有断行必要) 如果不需要特别设置,那么使用空字符串 ""就行了

chars_to_break_before: 功能类似于上面这个, 没有特殊需要就设置成 "" 就可以了

函数是JavaScript的实现, 我根据这个做了一个PHP的实现,它工作得很好。

PHP实现

/*
 * support UTF-8 only,
 * ** the function return HTML Format string **
 */
function HtmlEscapeInsertWbrs($str, $n=10,
         $chars_to_break_after='',$chars_to_break_before='')
{
    $out = '';
    $strpos = 0;
    $spc = 0;
    $len = mb_strlen($str,'UTF-8');
    for ($i = 1; $i < $len; ++$i) {
      $prev_char = mb_substr($str,$i-1,1,'UTF-8');
      $next_char = mb_substr($str,$i,1,'UTF-8');
      if (_u_IsSpace($next_char)) {
        $spc = $i;
      } else {
        if ($i - $spc == $n
         || mb_strpos( $chars_to_break_after,
            $prev_char,0,'UTF-8' ) !== FALSE
         || mb_strpos( $chars_to_break_before,
            $next_char,0,'UTF-8')  !== FALSE )
          {
            $out .= HtmlEscape(
                mb_substr($str,$strpos, $i-$strpos,'UTF-8')
                       ) . '<wbr>';
            $strpos = $i;
            $spc = $i;
          }
      }
    }
    $out .= HtmlEscape(
             mb_substr($str,$strpos,$len-$strpos,'UTF-8')
               );
    return $out;
}
/////
function _u_IsSpace($ch)
{
  return mb_strpos(" trn",$ch,0,'UTF-8') !== FALSE;
}
function HtmlEscape($s)
{
  return htmlspecialchars($s);
}

同样,该函数会对传入的字符串中的特殊字符做转义处理(htmlspecialchars()),因此传入的字符串必须是原始的(未经htmlspecialchars()处理过的),函数返回后的结果可以直接在网页中输出。
参数使用方法跟上面的JS版本类似,我就不罗唆了。

你可以改写成其他语言的,到时候也记得发给我一份 :)

评论(14)

生成XML文档时CDATA段中含有]]>怎么办?

这是个有意思的问题,包含在CDATA标签<![CDATA[ ... ]]>之间的内容会被XML解析器忽略,这样就不需要对内容中出现的 <>&等字符进行转义(&lt;&gt;&amp;)。

但是内容中一旦出现]]>,就会导致XML解析失败,因为CDATA不允许嵌套。
解决的办法不止一个,我采用把 ]]>拆开放入两个CDATA中的简单办法,下面是PHP的实现:

function XmlCDATAStr($s)
{
  $a = explode(']]>',$s);
  return XmlSafeStr(implode(']]]]><![CDATA[>',$a));
}

上面用到了前文提到的XmlSafeStr()函数来过滤非法的XML字符。

有更好的办法请一定告诉我 :)

评论(15)

过滤XML中遇到的非法字符

XML规范规定的非法字符有:

/*
  0x00 - 0x08
  0x0b - 0x0c
  0x0e - 0x1f
*/

含有这些字符的XML文档在解析的时候就会报错,因此输出的时候需要进行过滤。

PHP的实现:

function XmlSafeStr($s)
{
  /*
    0x00 - 0x08
    0x0b - 0x0c
    0x0e - 0x1f
  */
  return preg_replace("/[x00-x08x0b-x0cx0e-x1f]/",'',$s);
}

当然,如果有现成的PHP模块提供类似的功能,请大家告诉我 :P

评论(0)