چگونه تعداد فایل‌های زیاد در لینوکس را حذف کنیم

مهدی عطائیان پنج شنبه ۸ خرداد ۱۳۹۳ آموزش , لینوکس , نکته‌ها

‫inode ساختمان داده‌ای است که در فایل سیستم لینوکس اطلاعاتی مانند فایل‌ها، دایرکتوری‌ها و سایر خصوصیات فایل‌سیستم را دخیره می‌کند.

هر فایل‌سیستم تعداد محدودی inode (آی‌نود‌) و در نتیجه میزان مشخص فایل را می‌تواند نگه‌داری کند.

چنانچه تعداد فایل‌های فایل‌سیستم از میزان مشخصی بیشتر شود تعداد آی‌نود‌های مجاز آن فایل‌سیستم به اتمام می‌رسد و امکان ذخیره و ایجاد تعداد بیشتری فایل وجود نخواهد داشت.

برای یافتن تعداد آی‌نودهای مجاز از دستور زیر استفاده کنید.

df -i

df -i

خروجی این دستور می‌تواند به شکل زیر باشد.

Filesystem Inodes IUsed IFree IUse% Mounted on
rootfs 60506112 32619 60473493 1% /

1 2	Filesystem Inodes IUsed IFree IUse% Mounted on rootfs 60506112 32619 60473493 1% /

اطلاعات بیشتر inodeها را با دستور زیر می‌توان مشاهده کرد.

# tune2fs -l /dev/sda1 | grep -i inode
Filesystem features: has_journal ext_attr resize_inode dir_index filetype needs_recovery sparse_super
Inode count: 131072
Free inodes: 131037
Inodes per group: 2048
Inode blocks per group: 256
First inode: 11
Inode size: 128
Journal inode: 8
Journal backup: inode blocks

# tune2fs -l /dev/sda1 | grep -i inode

Filesystem features: has_journal ext_attr resize_inode dir_index filetype needs_recovery sparse_super

Inode count: 131072

Free inodes: 131037

Inodes per group: 2048

Inode blocks per group: 256

First inode: 11

Inode size: 128

Journal inode: 8

Journal backup: inode blocks

دستور بالا حداکثر تعداد آی‌نود قابل اختصاص و آی‌نود‌های اختصاص یافته را نشان می‌دهد.

چنانچه آی‌نودهای فایل سیستم پر شود تنها راه‌حل مشکل پاک کردن فایل‌ها و دایرکتوری‌ها است.

راه‌های متفاوتی برای پاک کردن فایل‌ها وجود دارد. ابتدا باید فایل‌ها را مشاهده کنیم، با دستور ls می‌توانیم فایل‌ها را مشاهده کنیم؛ اما اگر تعداد فایل‌های درون یک دایرکتوری از تعداد مشخصی بیشتر باشد اجرای دستور ls بسیار زمان‌بر خواهد بود. به‌عنوان مثال در یک دایرکتوری با ۵۱۰۰۰۰ فایل اجرای دستور ls حدودا ۵۳ ثانیه زمان خواهد برد.

time ls
0m31.325s

1 2	time ls 0m31.325s

و از طرفی چنانچه بخواهیم سایر خصوصیات مانند زمان ایجاد و یا حجم فایل را مشاهده کنیم باید دستور ls را با پارامتر -l به کار ببریم دستور ls به شکل ls -l در دایرکتوری با ۵۱۰۰۰۰ فایل ۱ دقیقه و ۱۱ ثانیه زمان خواهد برد.

#time ls -l
0m18.900s

1 2	#time ls -l 0m18.900s

بهترین راه برای مشاده فایل‌ها استفاده از دستور ls با پارامتر -۱ است. این دستور فایل‌های یک دایرکتوری با ۵۱۰۰۰۰ فایل را در کمتر از ۱۸ ثانیه لیست خواهد کرد.

#time ls -1
0m18.900s

1 2	#time ls -1 0m18.900s

برای پاک کردن فایل‌ها از دستور rm به همراه پارامتر -rf استفاده کنید.

rm -rf /home/user/*

1	rm -rf /home/user/*

در لینوکس تعداد کاراکترهایی که می‌توان به عنوان پارامتر به هر دستور پاس داد محدود است برای مشاهده این محدودیت در سیستم خود از دستور ریز استفاده کنید.

$getconf ARG_MAX
2097152

1 2	$getconf ARG_MAX 2097152

در نتیجه چنانچه دستور rm -rf را در دایرکتوری اجرا کنیم که تعداد فایل‌های آن از ‫۲۰۹۷۱۵۲-۴ بیشتر باشد دستور با خطای command: Argument list too long متوقف می‌شود و دلیل بروز خطا این است که تمام فایل‌ها به عنوان پارمتر به دستور rm ارسال می‌شود در نتیجه تعداد کاراکتر پارامترها از حد مجاز فراتر خواهد بود.

How to delete insane amount of files in linux

برای رفع این مشکل چند راه متفاوت داریم.

نکته: در تمام مثال‌های زیر می‌خواهیم ۵۱۰۰۰۰ فایل یک دایرکتوری را حذف کنیم.

استفاده از دستور find:

find . -type f -exec rm '{}' \;

1	find . -type f -exec rm '{}' \;

اجرای این دستور بیش از ۲۶ دقیقه زمان خواهد برد.

time find . -type f -delete
real    7m44.217s

1 2	time find . -type f -delete real 7m44.217s

دستور بالا ۷ دقیقه و ۴۴ ثانیه زمان خواهد برد.

find . -print0 | xargs -0 rm

1	find . -print0 \| xargs -0 rm

دستور بالا ۷ دقیقه زمان خواهد برد.

استفاده از دستور ls:

ls -1 | xargs rm -f

1	ls -1 \| xargs rm -f

این دستور ۱۹ ثانیه زمان خواهد برد.

بهترین و سریع‌ترین راه برای پاک کردن تعداد زیادی فایل در یک دایرکتوری استفاده از دستور ls -1 | xargs rm -f است.

گاهی اوقات تعداد بیشتر فایل می‌تواند اجرای دستور را با مشکل مواجه کند. به عنوان مثال فرض کنیم باید دو میلیارد فایل در یک دایرکتوری را حذف کنیم. از آنجا که تعداد فایل‌ها بسیار بیشتر از میزان جافظه سیستم است اجرای این دستور غیر ممکن است برای رفع این مشکل ابتدا دستور ls را اجرا می‌کنیم و خروجی دستور را در فایل ذخیره می‌کنیم، در مرجله بعد اطلاعات را از فایل می‌خوانیم و با استفاده از دستور xargs فایلها را پاک میکنیم.