最佳系统管理员事故[关闭]

#1 楼

我发现linux“ killall”命令（杀死与指定名称匹配的所有进程，对于停止僵尸很有用）和solaris“ killall”命令（杀死所有进程并停止系统，对于停止生产服务器非常有用）之间的区别很有趣。高峰时段，让所有同事嘲笑您一周）。

#2 楼

我负责我们的公司Web代理，当时是Netscape的产品。在管理表单中玩耍时（这是一个基于Web的界面），有一个很大的按钮（我发誓是红色的），上面写着Delete User Database。没问题，我想。让我们看看当我点击它时给我的选择是什么。如果没有选项，肯定会出现确认提示。

是的，没有确认。没有选择。没有更多的用户。

因此，请Solaris Sysadmin先生说，我非常需要从磁带还原，他回答说：“我不备份那个盒子。

“呃，再来一次，”我反驳说。

“我不备份该框。它在我要添加到备份循环中的清单上，但是我还没有解决它。“

”该服务器已经投入生产了将近8个月！我尖叫。

耸耸肩，他回答。 “抱歉。”

#3 楼

很多年前，我工作的公司有一个客户端，该客户端每晚将其NT 4.0 Server备份到Jaz驱动器（例如大容量zip磁盘）中。

我们设置了一个批处理文件，该文件作为计划的工作在一夜之间运行。每天早上，他们从驱动器中收集昨晚的磁盘，然后在晚上离开之前，先按顺序插入下一个磁盘。

无论如何，批处理文件看起来像这样（ Jaz驱动器是驱动器F：）...

@echo off
F:
deltree /y *.*
xcopy <important files> F:

无论如何，有一天晚上，他们忘记将磁盘放入。驱动器F的更改：失败（没有磁盘驱动器），然后批处理文件继续运行。批处理文件的默认工作目录？ C：。我第一次见过备份例程会破坏正在备份的服务器。

那天我学到了一些有关sysadmining（和异常处理）的知识。

Jim 。

PS：解决方法？ “ deltree / y F：\ *。*”。

#4 楼

root @ dbhost＃find / -name core -exec rm -f {} \;

我：“您不能进入？确定。数据库名称是什么？”

铜：“核心”。

我：“哦。”

#5 楼

我喜欢每个人都以“我年轻/绿色的时候”来证明自己的故事的方式，就像他们永远不会再做那样。即使是经验最丰富的职业人士也可能发生事故。

我自己最糟糕的时刻太糟糕了，我仍然感到沮丧...

我们有一个存储生产数据的SAN。对公司至关重要。我的“导师”决定扩展分区以释放一些磁盘空间。您能看到前进的方向吗？他说，SAN软件可以在生产时间内实时完成此工作，没有人会注意到。警钟应该已经响起，但明显没有声音。他说他已经做到了“之前很多次”，没有问题。但这就是问题-他让我点击了“您确定吗？”按钮！当我刚进入公司时，我以为这个家伙知道他在说什么。大错。好消息是LUN扩展了。坏消息是...好吧，我知道当我开始在Windows盒子上看到磁盘写入错误时，就有一个坏消息。

很高兴我穿着棕色裤子。

我们不得不解释为什么午餐时间1TB的数据消失了。那真的是非常非常糟糕的一天。

实际上，这是一个好原则-在做您怀疑的事情之前，想象一下如果发生问题必须向管理层解释。如果您想不出一个好的答案来解释自己的行为，那就不要这样做。

#6 楼

当营业时间开始说Nagios无法连接到非关键服务器时，Nagios对我们进行了ping操作。好的，爬到服务器机房。这是一台旧服务器，是在02年购买的Dell 1650，我们知道1650一直存在硬件问题。 PFY按下电源按钮。没有。再次击中它并保持五秒钟以“强制打开电源”……这将覆盖BMC的错误保护，因为如果没有DRAC，就无法在不打开机箱电源的情况下检查BMC日志。

机器启动POST，然后再次死机。我站在上面，走了，“我闻到烟味。”我们将服务器从其导轨上拉出，其中一个电源感觉很热，因此PFY将其拉出并准备将箱子重新盖好。我说：“不，这不是电源烟雾，是主板烟雾。”

我们再次打开盒子，寻找燃烧气味的来源。结果是电感线圈和电容器从主板上的稳压器吹出，然后在所有物体上喷上熔融的铜和电容器胶，使一堆东西短路，基本上造成了很大的混乱。

对我来说，最糟糕的是认识到我抽了足够多的硬件来识别被烧主板和被烧电源气味之间的差异。

#7 楼

三天前（严重），我远程登录到学校服务器，在Windows Server 2008文件服务器上安装Service Pack2。

我决定将所需的重新启动安排在深夜，那时老师不会在他们的年终报告卡上完成登录。我输入的内容如下：

 at 23:59 "shutdown -r -t 0" 

...可能效果很好。

但是我第二次猜到了自己。我的“关机”语法正确吗？我尝试通过键入

 shutdown /h 

...查看使用帮助，但立即失去了RDP连接。惊慌失措，我用谷歌搜索语法。快速搜索显示，Server 2008版本的关机包含/ h开关，（您可能已经猜到了）它使计算机进入休眠状态。

老师在几分钟之内开始打电话给我，报告他们不再打开或保存他们一直在处理的报告卡。由于我不在现场并且服务器室被锁定，因此我不得不直接打电话给学校校长，并带领她完成重新启动机器的过程。

今天，我以各种形式带给大家自制饼干道歉。

#8 楼

在上一份工作中，我们有一个出色的本地系统，该系统可以记录并存档进入，离开或留在公司内部的每一封邮件。

删除整个邮箱？没问题！寻找某人一周/一个月/一年前发送给您的邮件，但您不记得是谁发送的或主题是什么？没问题！我们将把2月份的所有邮件重新分发到一个特殊的文件夹中。

有时，公司首席执行官需要监视在竞争对手和内部销售人员之间的邮件。因此，我们设置了一个脚本，而不是每天晚上运行，并将前一天的相关邮件发送给CEO。没问题！

大约一个月后，一个双重的紧急问题的声音从高处降下来。似乎首席执行官在阅读发送到$ OTHERCOMPANY的邮件列表时，遇到了以下邮件：

To: somebody@$OTHERCOMPANY
From: CEO
Subject: CEO has read your message (subject line here)

自然，首席执行官是重要人物，所有人，他太忙了，无法在Outlook中单击所有这些“发送已读回执”对话框，并且已将其客户端配置为仅发送所有这些。监视过滤器捕获的消息之一具有已设置的读取-接收请求。猜猜Outlook是做什么的？

我们的下一个任务是：在邮件过滤器中添加规则，以阻止CEO向该公司发送的已读回执。是的，这是最简单的方法。 :)

#9 楼

我的是大约10年前，那时我还没弄湿。我很高兴在所有程序员计算机上安装备用电池。他们还希望加载该软件以警告停电并正确关闭。

因此，我在计算机上进行了设置，以首先测试所有内容并确保一切正常。因此，我断开了电源线，屏幕上出现了该消息。 “外部电源中断，开始系统关闭”。

所以我想，嘿，很有效。但是出于某种奇怪的原因，我什至不记得了，它以网络消息的形式发送了该消息，因此公司中的所有200多台计算机都收到了该消息，其中有100多个用户是程序员。

是的，谈论大规模的怪胎！

我在那个地方低头了一段时间！

#10 楼

我经常在Solaris机器上使用“ sys-unconfig”命令来重置机器名称服务I.P。地址和root密码。我在用户系统上，登录到建筑物安装服务器并以root用户身份进行查找，然后忘记了我已登录另一台计算机（非描述性的“＃”提示），然后运行了“ sys-unconfig”命令。

# sys-unconfig     
        WARNING

This program will unconfigure your system.  It will cause it
to revert to a "blank" system - it will not have a name or know
about other systems or networks.

This program will also halt the system.

Do you want to continue (y/n) ? y

Connection closed

#

该“连接已关闭”消息慢慢变成了紧急情况...运行该命令时我登录的计算机。

最糟糕的部分不是我的同事给我带来的困难，而是一个月后我做了同样的事情。

#11 楼

我有一个很好的。诚然，这是我作为系统管理员之前的经历，但仍与技术有关，因此我想添加它。美国空军。我刚从技术学校毕业，后来发现自己定居在韩国。到达车站后不久，一个机会就出现了，与曾在这里住了一段时间并实际在某些实际（即“生产”）设备上工作的“大家伙”一起向南行驶。

我和机组人员一起摔倒了，作为一个急切的年轻技术，他感到不胜其烦，对将我的手拿到能够传递实时军事语音和数据流量的实际设备的前景感到非常兴奋。

为了让我慢慢起步，他们递给我一本手册，转到预防性维护部分，向我指出了四个装有几个大型数字多路复用器的机架的方向。这些设备非常简单，我们在技术学校学习了相同的设备。

阅读手册的第一页； “为数字多路复用器通电。将两个后部开关都转到ON位置，等待设备加电，然后开始测试。”我抬起头，已经有了力量！

我肯定陷入了困境。不知道如何进行，我尽了最大的努力，“嗯。金达迷失在这里了”看着大四学生。

他看着我笑着，“不，不，可以。你可以忽略清单的那部分。”然后，当他注意到我脸上的表情时（由于我们在学校里教过NEVER，所以永远不要忽略清单的任何部分，如果这样做一定会导致死亡和破坏），他认真看了看自己的脸。面对，说：“只剩下那一部分！跟随其余部分，直到写信！”

有幸地，我经历了多步的PM指示，作为蛤lam而高兴，并为他们为让如此低级的（尽管很聪明）技术来完成这项重要工作。

在这些大型多路复用器的第五和第六次预防性维护清单之间的某个地方，我开始注意到我周围的活动水平有所提高。电话在响，人们在迅速移动。最后，一群人朝我跑来，由一位使我失望的高级技术人员率领。

“嘿！我们“正在看到大量的数据流量中断，我们已经隔离/跟踪了您正在使用的机架的路径！您是否发现任何奇怪的东西。”

（那时他被另一位疑难解答人员切断，后者将我转到执行PM的第一组多路复用器。）

“ HONT NUTS！它们被关闭了！他已经把它们关掉了！！！！！“”

很快，我看着他们匆匆跑过手册的第一步，“将两个后部开关都转到ON位置...”高级技术完成了，他走了过来，通过关闭关键设备关闭了我的想法。

出于机智，我递给他清单一直在追随，发誓我并没有偏离一切。我按照他的指示去写信了。

过了一会，他笑了起来，指出问题出在哪里。

在手册中，预防性维护清单中的“最后”步骤是：

“记录最终的探头读数，擦拭前面板，清除所有灰尘和微粒，然后
将两个后部电源开关都转到OFF位置。 “

:)

#12 楼

这是一种系统管理员事故。.就系统管理员而言，偶尔不得不从A点到B点之间物理地拖运大量机器（其中A和B似乎总是在没有电梯的建筑物中被数个楼梯隔开）。在一天的第n次旅行中，我停了下来，从地下室的载物水平上飞了三个航班，与坠落的人聊天，支撑着我正站在空旷的楼梯间内部扶手上的全尺寸塔架/站而且...好吧，你猜到了...我对此失去了把握。它毫不费力地直接向下钻入井中，当到达底部时，呃……与其说是那个功能，不如说是！可维修的部件总数：两根RAM，一张软盘驱动器和一张ISDN卡（上帝保佑Hermstedt工程人员！）。其他所有东西都破裂，嘎嘎作响或粉碎成小块。

靠着上帝的恩典，没有人在下面走，但值得庆幸的是，这是我上司的第一任，所以我必须继续工作。感觉非常恶心一个小时左右。

道德：重力总是赢！

#13 楼

我正在为某人重新加载系统，在手动备份过程中，我问他一个问题：“您还使用其他程序吗？”和“您在计算机上还有其他重要的事情吗？”

他多次说“否”。

我被说服并格式化了该驱动器。

大约30分钟后，他说“哦，我的天哪”，双手放在头上。

原来，他已经在一个专门程序中从事了10多年的书本写作工作。这是当程序用来将用户数据保存在程序文件目录中的时候，我想念它了。

哇哦。

他并不生我的气，但那是一个清醒的感觉。

#14 楼

我个人最喜欢的不是我的，我对此感到非常高兴。在这里看看。

#15 楼

这不是我发生的事情，但是...

我在一家公司工作，该公司生产的软件可以在客户端提供的Linux机器上运行。实际上，我们将“接管”机器，将其完全配置为符合我们的规格，并进行所有管理和监视。本质上，我们是一个由10至15个系统管理员组成的团队，为数百个客户管理数千个服务器。错误肯定会发生。

我们的一个团队发现了服务器上的一些问题（我认为是备份），并决定他应该在该服务器上运行fsck。他停止了所有相关服务，确保系统最近进行了备份，然后运行fsck，但它抱怨文件系统已安装。由于我们是远程的并且没有远程访问权限（DRAC，ILO等），因此他无法执行fsck，但是如果您小心翼翼，他非常确定在安装了文件系统的情况下这样做是安全的。

他决定通过在根分区上运行fsck来自己尝试，结果可预期–他损坏了根分区，无法再启动。

困惑，他走了过去，与我们的团队负责人交谈。负责人说，他非常确定您无法做到这一点，团队成员说：“您一定可以！”，拿起了负责人的键盘，并告诉他您可以–通过在负责人的根分区上运行fsck。哪个完全损坏的HIS根分区。

最终结果是什么？由于团队成员的测试，没有丢失任何客户数据。员工的工作效率损失了两天，但价值却远远低于客户机器上的数据。并作记录？您可以在已安装的驱动器上运行fsck，但只能用于验证数据。不修。那是团队成员的错误。

-

要添加我自己的故事，我在同一家公司工作，并试图重置用户密码。我们的系统拒绝让我将其设置为他所需的密码，因为它跟踪了旧的密码哈希，并拒绝让您重复该密码。该机制很简单：它针对数据库中的最新哈希值验证了密码。

（出于记录的原因，它必须是旧密码，因为它是一个共享帐户，并确保每个人都知道新密码不切实际）

我决定只是进入用户数据库并删除新记录，以便使用较旧的记录。全部都是SQL（运行Sybase的旧版本），因此很容易。首先，我必须找到记录：

SELECT * FROM users_passwords WHERE username='someuser';

我找到了他想保留的旧记录；前面还有两个。我决定要聪明一些，只删除比旧唱片新的东西。查看结果集，我发现数据库中的旧密码为ID＃28，而新密码为ID＃数千（非常繁忙的系统）。很简单，所有旧行都大于28，所以：

DELETE FROM users_passwords WHERE id > 28;

没有什么比做一些简单的行修剪并看到'212,500行受影响'更糟糕的了。幸运的是，我们有两个主数据库服务器（具有用户ID），但是Sybase（至少是我们的版本）不支持自动复制，因此它不会自动清除旧记录。转储users_passwords表并重新导入它是一件微不足道的事情。不过，还有一个很大的“哦，天哪！”时刻。

#16 楼

我最喜欢的另一个：

在系统上安装计算机和本地激光打印机时，我有个绝妙的主意将它们都插入计算机的UPS中。您是否曾尝试将其插入台式机UPS中以打印到本地激光打印机？好吧，如果您不知道，它往往会拉动所有放大器...这将重新启动计算机...并且打印作业将永远无法完成...！

每次都能接到电话：每当我打印时，它都会重新启动计算机，并且不打印!!!'？

糟糕！

JFV

#17 楼

客户的实时顾客数据库上的不带WHERE子句的DELETE语句。

#18 楼

键入kill 1作为root。 init和她所有的孩子都死了。和他们所有的孩子。等等。哎呀。

我要打的是kill %1

当我意识到我要做什么之后，我跑到了BIG羊毛分拣机的控制面板上，然后打了一下。紧急停止按钮。
由于我刚刚杀死了控制它的软件，所以这停止了机器的运转。

#19 楼

在我职业生涯中的某个时候，我所在的公司进行了法律调查，要求我们从“今天”开始一直保留所有电子邮件，除非另行通知。在每天存储了交换环境的每日完整备份（每晚1TB）之后，我们开始出现空间不足的情况。

交换管理员建议我们仅保留每8封电子邮件。为此，我们让他们还原了一天的交易数据库，提取了他们需要的电子邮件（已标记要调查的特定人员）并重新存档。他们每隔8天发送一次电子邮件来备份所有备份。选择第8天是因为交换具有参数集，其中“已删除项目”在数据库中保留8天。

完成每个存档后，我将回顾并删除所有早于其存档的备份。

TSM没有简便的方法因此，您必须手动从备份数据库中删除对象。

我编写了一个脚本，该脚本将通过使用今天与当前日期之间的差值进行日期计算来删除所有早于某个日期的备份。有问题的日期。有一天，我不得不删除大约一个月的备份，除了进行日期计算时，我打了一个错字，输入日期为7/10/2007而不是6/10/2007，然后运行了脚本。我意外删除了整整一个月的数据，这是非常重要的诉讼的一部分。

之后，我向脚本添加了一些步骤，以确认您要删除数据并显示您将要删除的内容...

幸运的是，他们甚至从未使用过我们努力保存的任何数据，而我仍然有工作。

#20 楼

经过漫长的一天或性能跟踪并调整了大型主机（您知道野兽花了几个小时才能使所有备用备份站点都同意确实重新启动并完全同步了），我伸出了手指，键入了满意的关闭提示-p现在在我的笔记本电脑提示符中，合上盖子，将串行电缆从主机上拉出，这是因为期待有一个更大的冷玻璃杯。

突然我听到了旋转主机的震耳欲聋的声音。当我的笔记本电脑仍然快乐地显示X时。

在等待计算机再次完全联机时，我决定我有时间让我的ACPI在笔记本电脑上工作，所以我从来没有想过要关闭CLI我的笔记本电脑。

#21 楼

我们正处于停电之中，发现UPS以配置负载的112％运行。当时我们在发电机上运行，​​这不是什么大问题。

因此，我们四处拉动备用电源电缆以减少该UPS的电源使用（我们有两个，一个比其他更大）。我们到了运行服务器机房的网络交换机（这是该服务器机房，其中包含公司的所有内部服务器，而客户面对的服务器位于另一个服务器机房中）。该交换机是大型企业级交换机，其中装有三个电源。电源是N + 1，所以我们只需要两个电源就可以运行交换机。

我们选择了一根电缆并将其拔出。对于我们来说不幸的是，另外两个电源插头插入了一个电源板，当负载增加到插入的两个电源上时，该电源板迅速爆裂。然后，系统管理员惊慌失措并插入了第三根电缆。交换机试图启动，将交换机的全部负载分配给了单个电源。它没有关闭电源，而是在距离我不到12英寸的火花中爆炸，使我跳回到服务器机架中。

出于本能，我试图跳到侧面，但是不幸的是我的左边是一堵墙，我的右边有两个是一个6'4“的大型设施人员。我有些设法跳过了他，或者可能是通过他从Compaq机架上跳下来（网眼薄的那些）正面），而无需将整个装置放在机架上，也无需触摸设施人员。

#22 楼

这次事故没有发生……但是值得一提：

我被送到一个经常使用的数据中心，对新电路进行带宽测试。我到达了分界室/ IDF，在我的测试路由器的一个机架上找到一个位置，进行了连接，然后开始了测试。不幸的是，我完全没有注意到生产中的边界路由器不仅完全在下一机架上（几乎处于同一水平），而且与我的测试路由器具有相同的品牌和型号。

测试完成后，我开始将电源开关按到关闭位置（...以慢动作想象...），我发誓，正当我施加压力时，它突然将我发现路由器即将关闭的是生产中的那个。我的心停了下来，我几乎...好吧，用你的想象力。

我离开了数据中心的MDF，看上去吓坏了，脸色发白，但与此同时，我仍然有一份工作很高兴！

#23 楼

我误删了某人的帐户，把名字和我想删除的名字混在一起了。 Opps

最酷的部分是他们永远不知道发生了什么。接到他们无法登录的电话，关于我删除的帐户的一分钱掉了。

和他们通电话时，我迅速重新创建了他们的帐户，并重新连接了他们的旧邮箱。 （幸好Exchange不会立即删除邮箱）并将其指向他们的旧用户文件。

然后我责怪他们忘记了刚刚为他们重置的密码：)

#24 楼

在我的Gentoo Linux机器上意外地将tar.gz文件安装在错误的位置，并且到处都有文件。一定是在1999年左右，当时是19岁（感谢下面的评论）

作为我的怪胎，我决定尝试编写自己的脚本，以免自己手动完成每个任务文件。

所以我尝试了：


tar --list evilevilpackage.tar.gz | xargs rm -rf


我花了很长时间才注意到tar也列出了程序正在使用的所有目录，其中包括''/ usr，/ var，/等等”，还有一些我真的不想消失的东西。

CTRL-C！ CTRL-C！ CTRL-C！太晚了！一切都消失了，重新安装时间。幸运的是，盒子里没有任何重要的东西。

#25 楼

在我前世的一小部分时间里，我管理了公司的文件服务器，即网络软件4:11。几乎根本不需要任何输入，但是如果需要，则可以打开一个远程控制台窗口。

一直使用DOS，当我完成后，我自然会键入“ Exit” 。对于Netware，“退出”是关闭操作系统的命令。幸运的是，除非您先“关闭”服务器，否则它不会让您关闭。（使其无法用于网络/客户端）因此，当您在控制台中键入“退出”时，它会很有帮助地说：“您必须先键入”下”，然后退出”

请问我有多少次
1：在控制台会话中键入“退出”

2：顺从地键入“下” ”，然后“退出”，这样我就可以“完成我想做的事情”

然后电话开始响.....

LOL

#26 楼

另一个没有发生的故事（phe）：

我们每天都认真地对磁带驱动器进行增量备份。

我们碰巧写了一个包含要运送数据的磁带给别人。他们说：“我们看不清您的录音带”。实际上，我们也不能。或者实际上是任何磁带。

我们购买了另一个磁带驱动器并屏住呼吸，直到安装它为止。

故事的寓意。始终确保测试备份。

#27 楼

我工作的最后一个地方，我的同事在服务器机房里带了他的孩子们（为什么？我没有想法！）。

他确保距离服务器较远，并向5岁的孩子解释说，他不应该触摸任何服务器，尤其不要触摸任何电源开关。

实际上，他把它们放在门附近...（你能看到它要去哪里吗？？）

男孩没碰任何东西服务器电源按钮...不，这太容易解释了。取而代之的是，他击中了门附近的大红色按钮...关闭整个服务器房的电源的按钮！！！等不可用...想像一下要向CEO解释一下！

-JFV

#28 楼

我曾经与APC UPS监视软件进行过斗争。作为一家小公司，我们有几个小型UPS，并且安装了各种服务器来监视它们。大多数服务器是Linux，但是有些服务器运行Windows，因此它们被使用，因为APC软件仅是Windows。

但是，当时的APC软件被硬编码为假定它正在与之交谈的UPS也为正在运行的PC供电！该服务器不是这种情况，但是我发现为时已晚，无法停止运行。同样不幸的是，首席程序员向合作伙伴展示了该公司的产品-这是一个基于Web的应用程序，运行在我不希望APC软件关闭的同一服务器上...

#29 楼

我正在向新的系统管理员介绍Service Manager应用程序。我说：“如果您需要停止此服务，则可以单击此按钮，但白天绝对不要这样做。”您永远不会相信她的鼠标按钮多么敏感！

两分钟后，服务又重新启动了，似乎没人注意到。

#30 楼

在跌落在机架后面的塔式服务器上绊倒时，我的头撞到了主要Cisco路由器背面。这样可以揭示出电源线实际上在Catalyst 6500正面的电源中的松动程度。

是的。现在，我们在服务器机房中挂了一个安全帽。上面写着我的名字。