PHP超低内存遍历目录文件和读取超大文件的方法
这不是一篇教程，这是一篇笔记，所以我不会很系统地论述原理和实现，只简单说明和举例。
前言
我写这篇笔记的原因是现在网络上关于PHP遍历目录文件和PHP读取文本文件的教程和示例代码都是极其低效的，低效就算了，有的甚至好意思说是高效，实在辣眼睛。
这篇笔记主要解决这么几个问题：
PHP如何使用超低内存快速遍历数以万计的目录文件？
PHP如何使用超低内存快速读取几百MB甚至是GB级文件？
顺便解决哪天我忘了可以通过搜索引擎搜到我自己写的笔记来看看。（因为需要PHP写这两个功能的情况真的很少，我记性不好，免得忘了又重走一遍弯路）
遍历目录文件
网上关于这个方法的实现大多示例代码是glob或者opendir+readdir组合，在目录文件不多的情况下是没问题的，但文件一多就有问题了（这里是指封装成函数统一返回一个数组的时候），过大的数组会要求使用超大内存，不仅导致速度慢，而且内存不足的时候直接就崩溃了。
这时候正确的实现方法是使用yield关键字返回，下面是我最近使用的代码：
valid()){
yield$sub->current();
$sub->next();
}
if($include_dirs)
yield$rfile;
}else{
yield$rfile;
}
}
closedir($dh);
}
}
//使用
$glob=glob2foreach('/var/www');
while($glob->valid()){
//当前文件
$filename=$glob->current();
//这个就是包括路径在内的完整文件名了
//echo$filename;
//指向下一个，不能少
$glob->next();
}
yield返回的是生成器对象（不了解的可以先去了解一下PHP生成器），并没有立即生成数组，所以目录下文件再多也不会出现巨无霸数组的情况，内存消耗是低到可以忽略不计的几十kb级别，时间消耗也几乎只有循环消耗。
读取文本文件
读取文本文件的情况跟遍历目录文件其实类似，网上教程基本上都是使用file_get_contents读到内存里或者fopen+feof+fgetc组合即读即用，处理小文件的时候没问题，但是处理大文件就有内存不足等问题了，用file_get_contents去读几百MB的文件几乎就是自杀。
这个问题的正确处理方法同样和yield关键字有关，通过yield逐行处理，或者SplFileObject从指定位置读取。
逐行读取整个文件：
valid()){
//当前行文本
$line=$glob->current();
//逐行处理数据
//$line
//指向下一个，不能少
$glob->next();
}
通过yield逐行读取文件，具体使用多少内存取决于每一行的数据量有多大，如果是每行只有几百字节的日志文件，即使这个文件超过100M，占用内存也只是KB级别。
但很多时候我们并不需要一次性读完整个文件，比如当我们想分页读取一个1G大小的日志文件的时候，可能想第一页读取前面1000行，第二页读取第1000行到2000行，这时候就不能用上面的方法了，因为那方法虽然占用内存低，但是数以万计的循环是需要消耗时间的。
这时候，就改用SplFileObject处理，SplFileObject可以从指定行数开始读取。下面例子是写入数组返回，可以根据自己业务决定要不要写入数组，我懒得改了。
seek($offset);
$i=0;
while(!$fp->eof()){
//必须放在开头
$i++;
//只读$count这么多行
if($i>$count)
break;
$line=$fp->current();
$line=trim($line);
$arr[]=$line;
//指向下一个，不能少
$fp->next();
}
return$arr;
}
以上所说的都是文件巨大但是每一行数据量都很小的情况，有时候情况不是这样，有时候是一行数据也有上百MB，那这该怎么处理呢？
如果是这种情况，那就要看具体业务了，SplFileObject是可以通过fseek定位到字符位置（注意，跟seek定位到行数不一样），然后通过fread读取指定长度的字符。
也就是说通过fseek和fread是可以实现分段读取一个超长字符串的，也就是可以实现超低内存处理，但是具体要怎么做还是得看具体业务要求允许你怎么做。
复制大文件
顺便说下PHP复制文件，复制小文件用copy函数是没问题的，复制大文件的话还是用数据流好，例子如下：
最后
我这只说结论，没有展示测试数据，可能难以服众，如果你持怀疑态度想求证，可以用memory_get_peak_usage和microtime去测一下代码的占用内存和运行时间。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。