我可以配置Linux系统以获得更积极的文件系统缓存吗？

#1 楼

通常，提高磁盘缓存性能不只是增加文件系统缓存大小，除非整个系统都适合RAM，在这种情况下，您应该使用RAM驱动器（tmpfs很好，因为在某些情况下，如果需要RAM，它可以退回到磁盘）用于运行时存储（可能还有一个initrd脚本，用于在启动时将系统从存储复制到RAM驱动器）。这是我发现对我有用的东西（在我的情况下，sda是安装在/home上的硬盘驱动器，而sdb是安装在/上的SSD）。 -cache部分：

这是我的HDD设置（如果有切换，请确保在BIOS中启用AHCI + NCQ）：

echo cfq > /sys/block/sda/queue/scheduler
echo 10000 > /sys/block/sda/queue/iosched/fifo_expire_async
echo 250 > /sys/block/sda/queue/iosched/fifo_expire_sync
echo 80 > /sys/block/sda/queue/iosched/slice_async
echo 1 > /sys/block/sda/queue/iosched/low_latency
echo 6 > /sys/block/sda/queue/iosched/quantum
echo 5 > /sys/block/sda/queue/iosched/slice_async_rq
echo 3 > /sys/block/sda/queue/iosched/slice_idle
echo 100 > /sys/block/sda/queue/iosched/slice_sync
hdparm -q -M 254 /dev/sda

对于HDD情况，值得注意的是fifo_expire_async（通常为写入）较高且slice_sync较长，以允许单个进程获得高吞吐量（如果遇到多个进程正在并行等待磁盘中的某些数据的情况，请将slice_sync设置为较小的数字）。 slice_idle始终是HDD的一个折衷方案，但根据磁盘使用情况和磁盘固件，将其设置在3-20范围内应该可以。我更喜欢将目标值设置为较低，但将其设置得太低则会破坏您的吞吐量。 quantum设置似乎对吞吐量有很大影响，但请尝试将其保持在尽可能低的水平，以将延迟保持在合理的水平。将quantum设置得太低会破坏吞吐量。 3-8范围内的值似乎可以很好地与HDD配合使用。如果我已正确理解内核行为，则读取的最坏情况延迟是（quantum * slice_sync）+（slice_async_rq * slice_async）ms。异步通常由写入操作使用，并且由于您愿意延迟写入磁盘，因此请将slice_async_rq和slice_async都设置为非常低的数字。但是，将slice_async_rq的值设置得太低可能会导致读取停止，因为读取后无法再延迟写入。我的配置将在数据传递到内核后最多10秒后尝试将数据最多写入磁盘，但是由于您可以忍受掉电造成的数据丢失，因此请将fifo_expire_async设置为3600000可以告诉您，磁盘延迟时间为1小时是可以的。但是，只需将slice_async保持在较低的水平，否则可能会导致较高的读取延迟。如果您的磁盘发出太多噪音，请跳过此操作。

这是我的SSD（Intel 320系列）设置：

echo cfq > /sys/block/sdb/queue/scheduler
echo 1 > /sys/block/sdb/queue/iosched/back_seek_penalty
echo 10000 > /sys/block/sdb/queue/iosched/fifo_expire_async
echo 20 > /sys/block/sdb/queue/iosched/fifo_expire_sync
echo 1 > /sys/block/sdb/queue/iosched/low_latency
echo 6 > /sys/block/sdb/queue/iosched/quantum
echo 2 > /sys/block/sdb/queue/iosched/slice_async
echo 10 > /sys/block/sdb/queue/iosched/slice_async_rq
echo 1 > /sys/block/sdb/queue/iosched/slice_idle
echo 20 > /sys/block/sdb/queue/iosched/slice_sync

在此值得注意不同切片设置的较低值。 SSD的最重要设置是hdparm，必须将其设置为0-1。将其设置为零会将所有排序决定移至本机NCQ，而将其设置为1则允许内核对请求进行排序（但如果NCQ处于活动状态，则硬件可能会部分覆盖内核排序）。测试两个值以查看是否可以看到差异。对于Intel 320系列，似乎将slice_idle设置为slide_idle可以提供最佳的吞吐量，但是将其设置为0则可以提供最佳（最低）的总体延迟。 .kernel.org / doc / Documentation / block / cfq-iosched.txt。

2020年更新，内核版本5.3（cfq已死）：

modprobe bfq
for d in /sys/block/sd?
do
        # HDD (tuned for Seagate SMR drive)
        echo bfq > "$d/queue/scheduler"
        echo 4 > "$d/queue/nr_requests"
        echo 32000 > "$d/queue/iosched/back_seek_max"
        echo 3 > "$d/queue/iosched/back_seek_penalty"
        echo 80 > "$d/queue/iosched/fifo_expire_sync"
        echo 1000 > "$d/queue/iosched/fifo_expire_async"
        echo 5300 > "$d/queue/iosched/slice_idle_us"
        echo 1 > "$d/queue/iosched/low_latency"
        echo 200 > "$d/queue/iosched/timeout_sync"
        echo 0 > "$d/queue/iosched/max_budget"
        echo 1 > "$d/queue/iosched/strict_guarantees"

        # additional tweaks for SSD (tuned for Samsung EVO 850):
        if test $(cat "$d/queue/rotational") = "0"
        then
                echo 36 > "$d/queue/nr_requests"
                echo 1 > "$d/queue/iosched/back_seek_penalty"
                # slice_idle_us should be ~ 0.7/IOPS in µs
                echo 16 > "$d/queue/iosched/slice_idle_us"
                echo 10 > "$d/queue/iosched/fifo_expire_sync"
                echo 250 > "$d/queue/iosched/fifo_expire_async"
                echo 10 > "$d/queue/iosched/timeout_sync"
                echo 0 > "$d/queue/iosched/strict_guarantees"
        fi
done

设置非常相似，但是我现在使用1代替bfq，因为后者在现代内核中不可用。我尝试将cfq保持尽可能低，以使nr_requests可以更准确地控制调度。至少三星SSD驱动器似乎需​​要相当长的队列才能运行在高IOPS上。

我现在也使用bfq，但是我只将5％的RAM用于zram。这使Linux内核可以使用交换相关的逻辑，而无需接触磁盘。但是，如果您决定使用零磁盘交换，请确保您的应用程序不会泄漏RAM或在浪费金钱。性能，是时候调整缓存行为了：

根据我做过的基准测试，我根本不会理会通过linux-lowlatency-hwe-18.04-edge进行的预读。内核默认设置很好。

将系统设置为比应用程序代码更喜欢交换文件数据（如果您有足够的RAM来保持整个文件系统以及所有应用程序代码和应用程​​序分配的所有虚拟内存在RAM中，这无关紧要）。这样可以减少在不同应用程序之间进行交换的等待时间，而不是用于从单个应用程序访问大文件的等待时间：

设置为1。如果将其设置为零，除非绝对有必要避免OOM，否则内核将根本不会交换。如果您的内存有限并且要处理大文件（例如，高清视频编辑），那么将其设置为接近100可能是有道理的。您有足够的RAM。如果不进行交换，则在长时间运行的台式机上通常会丢失200-1000 MB的RAM。我愿意为此付出很多，以避免最坏情况下的延迟（在RAM满时交换应用程序代码）。实际上，这意味着我更喜欢OOM Killer而不是交换。如果允许/需要交换，则可能也想增加bfq以避免某些延迟。我建议使用介于100和500之间的值。您可以将此设置视为交易CPU使用率，以降低交换延迟。默认值是10，最大可能值是1000。更高的值（根据内核文档）应导致zram进程的CPU使用率更高，并且总体交换延迟较低。

接下来，告诉内核优先于在文件中保留目录层次结构而不是文件内容，以防万一需要释放一些RAM（同样，如果所有内容都适合RAM，则此设置不起作用）： br />

echo 15 > /proc/sys/vm/swappiness

将blockdev设置为较低的值很有意义，因为在大多数情况下，内核需要先了解目录结构，然后才能使用高速缓存中的文件内容，并且过早刷新目录高速缓存将使文件高速缓存几乎一文不值。如果您有很多小文件（我的系统大约有150K 10兆像素的照片，算作“很多小文件”系统），请考虑使用此设置将其降至1。永远不要将其设置为零，否则即使系统内存不足，目录结构也始终保留在内存中。仅当您只需要不断读取少量大文件时，才将此值设置为大值才有意义（同样，没有足够RAM的高清视频编辑就是一个例子）。官方内核文档说：“将vfs_cache_pressure显着增加到超过100可能会对性能造成负面影响。”高于100可能是明智的。仅当您没有足够的RAM并且无法将整个目录结构保留在RAM中并且仍然有足够的RAM用于常规文件缓存和进程时（例如，具有大量存档内容的公司范围的文件服务器），这才适用。如果您认为需要将/proc/sys/vm/watermark_scale_factor增加到100以上，则说明您的RAM不足。增加kswapd可能会有所帮助，但唯一的解决办法是获得更多的RAM。将vfs_cache_pressure设置为高数值会牺牲总体性能，因为它们总体上具有更稳定的性能（也就是说，您可以避免非常糟糕的最坏情况下的行为，但必须处理更差的总体性能）。将多达99％的RAM用作写缓存，并指示内核在减慢正在写入的进程之前使用多达50％的RAM（vfs_cache_pressure的默认值为vfs_cache_pressure）。警告：我个人不会这样做，但是您声称有足够的RAM并愿意丢失数据。


告诉1h的写延迟就可以开始在磁盘上写东西（同样，我不会这样做）：

echo 10 > /proc/sys/vm/vfs_cache_pressure

有关这些可调参数的信息，请参见https://www.kernel.org/doc/Documentation/sysctl/vm.txt

如果将所有这些都放在vfs_cache_pressure上并在末尾加上以下内容，则将引导后尽快进入缓存（仅在文件系统确实适合RAM时才这样做）：

仅vfs_cache_pressure和dirty_background_ratio，仅当您的10和/etc/rc.local确实适合RAM时才这样做）：

echo 99 > /proc/sys/vm/dirty_ratio
echo 50 > /proc/sys/vm/dirty_background_ratio

#2 楼

首先，我不建议您继续使用NTFS，因为在Linux中ntfs的实现随时都会带来性能和安全问题。

您可以执行以下几项操作：


使用一些新的fs，例如ext4或btrfs

尝试更改io调度程序，例如bfq

关闭swap
使用一些自动预载像preload

在引导时使用类似systemd的东西预加载
...以及更多

也许您想尝试一下：-）

#3 楼

预读：

在32位系统上：

blockdev --setra 8388607 /dev/sda

在64位系统上：

blockdev --setra 4294967295 /dev/sda

在高速缓存后面写：

echo 100 > /proc/sys/vm/dirty_ratio

这将占用您100％的可用内存作为写高速缓存。

或您可以全力以赴并使用tmpfs。仅在您有足够的RAM时才有意义。把它放在/etc/fstab中。用物理RAM量替换100G。

tmpfs /mnt/tmpfs tmpfs size=100G,rw,nosuid,nodev 0 0

然后：

mkdir /mnt/tmpfs; mount -a

然后使用/ mnt / tmpfs。

#4 楼

您可以使用blockdev --setra sectors /dev/sda1设置预读大小，其中扇区是您想要的512字节扇区大小。

#5 楼

我的杀手设置非常简单而且非常有效：

echo "2000" > /proc/sys/vm/vfs_cache_pressure

内核文档中的解释：


vfs_cache_pressure

控制内核趋向于回收用于缓存目录和inode对象的内存。

默认值为vfs_cache_pressure = 100时，内核将尝试
以相对于
页面缓存和swapcache回收的“合理”速率回收牙科和索引节点。减少vfs_cache_pressure会导致内核更喜欢保留dentry和inode缓存。当
vfs_cache_pressure = 0时，内核将永远不会由于内存压力而回收内存和
索引节点，这很容易导致内存不足的情况。将vfs_cache_pressure增加到100以上会导致内核更喜欢回收牙科和索引节点。


vfs_cache_pressure在2000年导致大多数计算发生在RAM中，并且非常晚磁盘写入。

#6 楼

与写入缓存无关，但与写入有关：



对于ext4系统，您可以完全禁用日记功能

这将减少数量任何特定更新的磁盘写入次数，但在意外关闭后可能会导致文件系统处于不一致状态，这需要fsck或更严重的操作。 br />


使用relatime或noatime选项进行安装

读取文件时，通常会更新该文件的“上次访问时间”元数据。 noatime选项将禁用该行为。这样可以减少不必要的磁盘写入，但是您将不再拥有该元数据。某些发行版本（例如Manjaro）已将其作为所有分区的默认设置（可能是为了延长早期型号SSD的寿命）。确实使用atime的应用程序。这是Red Hat Enterprise Linux上的默认设置。


其他选项：


在上面的评论中，Mikko分享了与nobarrier选项。但是Ivailo引用RedHat的警告。您多么想要那额外的3％？