显示rsync的总进度：是否可以？

#1 楼

现在，有一种正式的方法可以在rsync（版本3.1.0协议版本31，已在Ubuntu Trusty 14.04中进行测试）中。

#> ./rsync -a --info=progress2 /usr .
    305,002,533  80%   65.69MB/s    0:00:01  xfr#1653, ir-chk=1593/3594)

我尝试使用/usr文件夹因为我希望使用此功能来传输整个文件系统，而/usr似乎是一个很好的代表性示例。实际上，我的--info=progress2文件夹已超过6个演出：

#> du -sh /usr
6,6G    /usr/

，而/usr花费了很多时间对其进行扫描。因此，几乎所有时间我都已经完成了大约90％的百分比，但是仍然很高兴看到正在复制某些内容：)

参考文献：


https://stackoverflow.com/a/7272339/1396334
https://download.samba.org/pub/rsync/src/rsync-3.1.0-NEWS

#2 楼

以下内容适用于rsync 3.0.0及更高版本。下列说明的选项是在2008年3月1日的该版本中引入的。

与--info = progress2一起，您还可以使用--no-inc-recursive选项（或更短的--no- ir别名）以禁用增量递归。

这将在开始时构建整个文件列表，而不是随着传输的进行逐渐发现更多文件。由于它将在启动之前知道所有文件，因此它将为整体进度提供更好的报告。这适用于文件数量-它不会根据文件大小报告任何进度。

这需要权衡。提前构建整个文件列表会消耗更多的内存，并且会大大延迟实际传输的开始。如您所料，文件越多，延迟越长，所需的内存就越多。

以下摘自rsync手册（来源-http：//rsync.samba .org / ftp / rsync / rsync.html）：


-r，--recursive

这告诉rsync递归复制目录。另请参见--dirs（-d）。从rsync 3.0.0开始，现在使用的递归算法是增量扫描，它使用的内存比以前少得多，并且在完成对头几个目录的扫描后开始传输。这种增量扫描只会影响我们的递归算法，而不会更改非递归传输。仅当传输的两端都至少为3.0.0版本时，这也是可能的。

一些选项要求rsync知道完整的文件列表，因此这些选项禁用增量递归模式。其中包括：--delete-before，--delete-after，--prune-empty-dirs和--delay-updates。因此，当连接两端都至少为3.0.0时，指定--delete时的默认删除模式现在为--delete-during（请使用--del或--delete-during请求此改进的删除模式明确地）。另请参见--delete-delay选项，该选项比使用--delete-after更好。

可以使用--no-inc-recursive选项或其较短的--no-ir别名禁用增量递归。请参见https：/ /rsync.samba.org了解特定的版本差异（向下滚动并查看Release News链接）。

#3 楼

您可以使用“ pv”（与Debian和ubuntu一起使用apt-get install pv）。我建议监视传输的文件数，因为传输的数据量与文件大小无关，而与源和目标之间的增量有关。对文件进行计数将对一个大增量和另一个小增量进行相同的计数。这意味着在任何情况下ETA估计都可能相差甚远。基于大小的ETA仅在目标为空的情况下才有效，在这种情况下，delta ==源的大小。

一般的想法是从rsync'传输'的每个文件发出一行，并对这些行进行计数带有'pv'的行：文件（而不是df或du，它们将在rsync执行之后再遍历源层次结构）。 -x选项似乎可以确保rsync停留在相同的源文件系统上（并且不跟随其他内部安装）：

rsync -ai /source remote:/dest | pv -les [number of files] >/dev/null

如果要计算/中的文件一般情况下，请使用find（再次警告：可能会导致I / O缓慢而繁重）。

#4 楼

danakim是正确的。没有简单的方法可以添加总进度指示器。

原因是当rsync查看要同步的文件列表时，它不提前知道需要哪些文件更改。如果您要进行增量传输，则必须提前计算增量本身，以全面了解需要完成的工作。换句话说，最简单的方法是计算多少要做的工作实际上就是做。

#5 楼

对于长距离传输，我对在两侧都运行du -s很满意。如果我真的很着急，甚至watch -n1 du -s。

watch定期（这里每1秒）执行一条命令（这里du -s）并全屏显示输出。

#6 楼

基本上没有您只能使用--progress标志显示每个文件的进度，仅此而已。

我想您可以为它编写一个包装器，也可以使用已经找到的任何补丁，但是您必须问自己是否真的值得，您是否真的需要rsync的全面进步？

#7 楼

我还搜索了如何显示rsync的总进度，并从这篇文章中找到了有用的答案：https://stackoverflow.com/questions/7157973/monitoring-rsync-progress

基本上，您可以在rsync 3.1.0的开发版本中使用--info = progress2。文档说的是：


还有一个--info = progress2选项，它基于整个传输而不是单个文件输出统计信息。使用该标志而不输出文件名（例如，避免使用-v或指定--info = name0，如果您希望在不滚动具有很多名称的屏幕的情况下查看传输的情况。（您无需指定-进度选项以使用--info = progress2。）

#8 楼

我使用了Zerodeux的答案并编写了自己的小bash脚本：

#!/bin/bash

RSYNC="ionice -c3 rsync"
# don't use --progress
RSYNC_ARGS="-vrltD --delete --stats --human-readable"
SOURCES="/dir1 /dir2 /file3"
TARGET="storage::storage"

echo "Executing dry-run to see how many files must be transferred..."
TODO=$(${RSYNC} --dry-run ${RSYNC_ARGS} ${SOURCES} ${TARGET}|grep "^Number of files transferred"|awk '{print }')

${RSYNC} ${RSYNC_ARGS} ${SOURCES} ${TARGET} | pv -l -e -p -s "$TODO"

#9 楼

如果您没有最新的rsync（例如，OS X具有2.6.9）并且不能使用--info=progress2，则这是另一种方法，可以使自己免受正在进行的滚动文本页面的影响：

rsync -aPh <source> <destination> | xargs -L1 printf "[2K\rTransferring: %s"

将在一行上打印出要传输的最新文件的名称：

Transferring: the-latest.file

#10 楼

我使用了zerodeux的答案，并编写了自己的小BASH脚本：

#!/bin/bash

RSYNC="ionice -c3 rsync"
# don't use --progress
RSYNC_ARGS="-vrltD --delete --stats --human-readable"
SOURCES="/dir1 /dir2 /file3"
TARGET="storage::storage"

#echo "Executing dry-run to see how many files must be transferred..."
TODO=$(find ${SOURCES} | wc -l)

${RSYNC} ${RSYNC_ARGS} ${SOURCES} ${TARGET} | pv -l -e -p -s "$TODO"

我将TODO干运行更改为

TODO=$(find ${SOURCES} | wc -l)

查找文件数非常快！

#11 楼

使用

lsof -ad3-999 -c rsync

查看rsync当前打开的文件（将显示文件大小）
rsync本地复制到隐藏文件中

#12 楼

我会在此发表评论，但声誉不高。
作为对naught101对所选答案的评论的回应，--progress选项显示了要传输的文件总数中已传输了多少个文件。在看完这篇文章并更仔细地查看输出之前，我才意识到这一点。

“待检查”状态显示了总数中剩下多少文件。 rsync到新的目的地时，这是最常用的，因此您知道所有文件都将被完全复制。

从手册页：

#13 楼

请注意这里的警告，即使--info = progress2也不是完全可靠的，因为这是基于进度显示时rsync“知道”的文件数的百分比。这不一定是需要同步的文件总数（例如，如果它在深度嵌套的目录中发现了大量大文件）。确保--info = progress2在进度指示中不“跳回”的一种方法是强制rsync在开始同步之前以递归方式扫描所有目录（而不是执行增量递归扫描的默认行为），通过提供--no-inc-recursive选项。但是请注意，此选项还会增加rsync内存使用率和运行时间。

#14 楼

我使用了一个脚本，该脚本从/ proc // io中提取了rsync进程（或与此相关的任何其他进程）的信息，并且知道要转移的总数可以计算进度。

#!/bin/bash

usage()
{
   echo "usage: q4312078q PID BASEMSIZE [DELAY[s|m|h]]"
}

if [ $# -lt 2 ]; then
   usage
   exit 1
elif [ $# -eq 3 ]; then
   DELAY=
else
   DELAY=5s
fi

PID=
PBASE=`echo "scale=2; /1024"|bc`

R_PID=$PID
W_PID=$PID

R_SPEED_MAX=0
W_SPEED_MAX=0
R_SPEED_CUM=0
W_SPEED_CUM=0
R_SPEED_AVG=0
W_SPEED_AVG=0

ETA=0
ETA_H=0
ETA_M=0
ETA_S=0

while [ ! -r /proc/$PID/io ];
do
   clear
   echo "Waiting for process with PID=$PID to appear!"
   sleep 1
done

B_READ_PREV=`cat /proc/$R_PID/io|awk ' ~ /^read_bytes/ {print }'`
B_WRITE_PREV=`cat /proc/$W_PID/io|awk ' ~ /^write_bytes/ {print }'`
T1=`date +%s.%N`

count=0
while true
do
   [ ! -r /proc/$PID/io ] && break
   clear
   B_READ=`cat /proc/$R_PID/io|awk ' ~ /^read_bytes/ {print }'`
   B_WRITE=`cat /proc/$W_PID/io|awk ' ~ /^write_bytes/ {print }'`
   BL_READ=`echo "scale=2; ($B_READ-$B_READ_PREV)/1048576"|bc`
   BL_WRITE=`echo "scale=2; ($B_WRITE-$B_WRITE_PREV)/1048576"|bc`
   GB_DONE=`echo "scale=2; $B_WRITE/1073741824"|bc`
   PDONE=`echo "scale=2; $GB_DONE*100/$PBASE"|bc`
   T2=`date +%s.%N`
   TLOOP=`echo "scale=2; ($T2-$T1)/1"|bc`
   R_SPEED=`echo "scale=2; $BL_READ/$TLOOP"|bc`
   W_SPEED=`echo "scale=2; $BL_WRITE/$TLOOP"|bc`

   if [ $count -ge 1 ]; then
      R_SPEED_CUM=`echo "scale=2; $R_SPEED_CUM+$R_SPEED"|bc`
      R_SPEED_AVG=`echo "scale=2; $R_SPEED_CUM/$count"|bc`
      W_SPEED_CUM=`echo "scale=2; $W_SPEED_CUM+$W_SPEED"|bc`
      W_SPEED_AVG=`echo "scale=2; $W_SPEED_CUM/$count"|bc`
      [ `echo "scale=2; $W_SPEED > $W_SPEED_MAX"|bc` -eq 1 ] && W_SPEED_MAX=$W_SPEED
      [ `echo "scale=2; $R_SPEED > $R_SPEED_MAX"|bc` -eq 1 ] && R_SPEED_MAX=$R_SPEED
   fi

   if [ `echo "scale=2; $W_SPEED_AVG > 0"|bc` -eq 1 ]; then
      ETA=`echo "scale=2; (($PBASE-$GB_DONE)*1024)/$W_SPEED_AVG"|bc`
      ETA_H=`echo "scale=0; $ETA/3600"|bc`
      ETA_M=`echo "scale=0; ($ETA%3600)/60"|bc`
      ETA_S=`echo "scale=0; ($ETA%3600)%60"|bc`
   fi

   echo "Monitoring PID: $PID"
   echo
   echo "Read:       $BL_READ MiB in $TLOOP s"
   echo "Write:      $BL_WRITE MiB in $TLOOP s"
   echo
   echo "Read Rate:  $R_SPEED MiB/s ( Avg: $R_SPEED_AVG, Max: $R_SPEED_MAX )"
   echo "Write Rate: $W_SPEED MiB/s ( Avg: $W_SPEED_AVG, Max: $W_SPEED_MAX )"
   echo
   echo "Done: $GB_DONE GiB / $PBASE GiB ($PDONE %)"
   [ `echo "scale=2; $ETA > 0"|bc` -eq 1 ] && printf "ETA: %02d:%02d:%05.2f (%.2fs)\n" $ETA_H $ETA_M $ETA_S $ETA
   echo "Elapsed: `ps -p $PID -o etime=`"

   T1=`date +%s.%N`
   sleep $DELAY
   B_READ_PREV=$B_READ
   B_WRITE_PREV=$B_WRITE
   ((count++))
done
echo "----- Finished -------------------------------------------------------------------"

#15 楼

如果您的rsync版本不接受--info=progress2选项，则可以使用tqdm：

要安装：

pip install tqdm

要使用：

$ rsync -av /source /dest | tqdm --unit_scale | wc -l
10.0Mit [00:02, 3.58Mit/s]

#16 楼

也许您可以将pv与rsync结合使用。特别是参数--size可能会有所帮助。看一下文档，像pv --size $(du -sb . | awk '{print }') | rsync -av . host:/your/path这样的东西应该可以工作。

在这里您将找到文档和软件。

我自己没有尝试过。
/>

#17 楼

在这里可能会有点晚，但是将来的求职者可能会受益。

这也困扰着我，所以我以为自己会变得肮脏而写我的第一个脚本。必须安装zenity软件包（sudo apt-get install zenity），但我确定它可能已经存在。另外，我使用wmctrl（窗口管理器控件）在完成时更改进度对话框的标题，它易于安装，但如果没有的话，不会有所作为。我只想在面板中看到它完成的时间。

注意：这仅适用于完整的目录/文件同步（我通常使用它来备份apt缓存），因此没有--exclude = / file / in / Source-directory选项。 />如果目标目录中没有源目录中的文件/目录，也不会起作用。测试资源。

PS。该脚本可能写得很差或效率很低（此处为纯脚本），但至少可以达到目的，当然，欢迎您对其进行编辑和改进以适应您的需求。
PSS。另外，无法获得取消按钮来杀死rsync，因此我将其删除。

    #!/bin/bash
set -e;

WELC="Running RsyncP as $USER";

function echo_progress()
{
    while (($TRANSFER_SIZE > 1000));    
    do  
        DEST_SIZE=$(du -s $DEST_FOLDER | cut -d / -f 1); 
        ((TRANSFER_SIZE=$SOURCE_SIZE-DEST_SIZE)); 
        PROGRESS_PERC=$((DEST_SIZE*100/SOURCE_SIZE));
        echo $PROGRESS_PERC;
        sleep 0.1s;
    done;
    echo 100;
    zenity --info --width=250 --title=RsyncP --text="File syncing complete!";
}

function get_input()
{
    dirs=$(zenity --forms --width=500 --title="RsyncP" --text="Enter source And destination directories" --add-entry="Source: " --add-entry="Destination: " --separator=" ");

    SOURCE_FOLDER=$(echo $dirs | cut -d' ' -f 1);
    DEST_FOLDER=$(echo $dirs | cut -d' ' -f 2);

    OPTIONS=-$(zenity --list --title="RsyncP Options" --text="Select rsync options" --separator='' --height=470 --width=470 --checklist --column "activate" --column "Option" --column "Description" FALSE v "Verbose (Terminal only)" FALSE q "Quiet, supress non-error messages (Terminal only)" FALSE P "Progress (Terminal only)" FALSE a "Archive (lrpog)" TRUE r "Recurse into directories" FALSE p "Preserve permissions" FALSE o "Preserve owner" FALSE g "Preserve group" FALSE l "Copy symlinks as symlinks");

    zenity --question --no-wrap --title="RsyncP" --width=500 --text="rsync  $OPTIONS $SOURCE_FOLDER $DEST_FOLDER\nDo you want to continue?";

    SOURCE_SIZE=$(du -s $SOURCE_FOLDER | cut -d / -f 1); 
    DEST_SIZE=$(du -s $DEST_FOLDER | cut -d / -f 1); 
    PROGRESS_PERC=$((DEST_SIZE*100/SOURCE_SIZE)); 
    TRANSFER_SIZE=1001;
}

if [ "$(id -u)" != "0" ]; then
    zenity --question --title=RsyncP --text="$WELC, Continue?";
    get_input;
    rsync  $OPTIONS $SOURCE_FOLDER $DEST_FOLDER & 
    echo_progress | zenity --progress --title=RsyncP --no-cancel --auto-close --text="Copying from \n$SOURCE_FOLDER to \n$DEST_FOLDER" ;

else            
    zenity --question --title=RsyncP --text="$WELC, Continue?";
    get_input; 
    sudo rsync  $OPTIONS $SOURCE_FOLDER $DEST_FOLDER & 
    echo_progress | zenity --progress --title=RsyncP --no-cancel --auto-close --text="Copying from \n$SOURCE_FOLDER to \n$DEST_FOLDER" ;
fi

#18 楼

我在包装器中为rsync制作了一个进度条。使用新版rsync中的--info=progress2，无需修补。
用法-将rsync替换为rsyncy：

rsyncy -a FROM/ TO

在GitHub上的更多信息，请与pip3 install --user rsyncy安装