2.3التدفقات (Streams) والمخازن المؤقتة (Buffer): معالجة الأحجام الكبيرة
الأساسي في 30 ثانية
- قطعًا، لا دفعة واحدة: يعالج التدفق كل قطعة أولًا بأول — وتبقى الذاكرة ثابتة مهما كان الحجم.
- تصل .pipe(): تتدفق القراءة نحو الكتابة تلقائيًا، مع تدبير التدفق — قاعدة 80/20 للتدفقات في سطر واحد.
- الأحجام الكبيرة = التدفقات: الملفات الكبيرة والرفوع وتدفقات الشبكة — والملفات الصغيرة يكفيها readFile.
حالة مستمرة — ساليم ينسخ الأرشيف دون إسقاط الخادم
على ساليم أرشفة تقارير السنة: تصدير وحيد بحجم 2 Go. محاولته الأولى بـreadFile فجّرت ذاكرة خادم الفريق الصغير. فيتحوّل إلى التدفقات (Streams): قراءة قطعًا، ونسخ نحو الأرشيف عبر .pipe()، ثم خط أنابيب قراءة ← ضغط ← كتابة لتقسيم الحجم. لا تكاد الذاكرة تتحرك، وتبدأ المعالجة منذ القطعة الأولى. وفي 2.4، سيرسل خادمه الملفات الكبيرة للعملاء بالتدفق.
تتمة الخيط الرابط 2.2: تصبح تقارير ساليم حجمًا كبيرًا يجب معالجته — وتستمر في 2.4.
1. مشكلة الأحجام الكبيرة
تخيّل معالجة ملف بحجم 2 Go. فالمقاربة الساذجة تحمّله كاملًا في الذاكرة (يضع fs.readFile كل المحتوى في متغير) — لكن 2 Go في الذاكرة ضخم، بل مستحيل: فتتشبّع ذاكرة الوصول العشوائي. تحل التدفقات (Streams) هذه المشكلة: نعالج البيانات قطعًا (chunks)، أولًا بأول، كتيار ينساب. نقرأ قطعة ونعالجها ثم ننتقل للتالية — فلا تحوي الذاكرة أبدًا إلا قطعة صغيرة. فعّال في الذاكرة (أحجام أكبر من ذاكرة الوصول العشوائي) وفي الوقت (نبدأ منذ القطعة الأولى دون انتظار التحميل الكامل). وقد قاسها ساليم: تمرّ صادراته (2 Go) ببضعة Mo من ذاكرة الوصول العشوائي.
2. أنواع التدفقات والدالة .pipe()
أربعة أنواع: Readable (قراءة من مصدر: ملف، طلب شبكة)، وWritable (كتابة نحو وجهة)، وDuplex (الاثنان معًا، كمقبس)، وTransform (يحوّل أثناء المرور: ضغط، تشفير). والتدفقات (Streams) باعثات أحداث (EventEmitter) (القسم 2-2): نقرؤها عبر 'data' (قطعة مستلَمة) و'end' (النهاية) و'error' (مشكلة). لكن الأداة الأأنق هي .pipe(): إنها تصل القراءة بالكتابة، فتنساب البيانات تلقائيًا قطعةً قطعةً مع تدبير التدفق. ولنسخ ملف كبير: fs.createReadStream('source').pipe(fs.createWriteStream('destination')) — مهما كان الحجم. بل نتسلسل: lecture.pipe(compression).pipe(ecriture).
3. المخازن المؤقتة (Buffer) ومتى نستخدم التدفقات
مفهوم مرتبط: المخازن المؤقتة (Buffer) — يعالج Node البيانات الثنائية (الملفات، الشبكة) عبر مناطق ذاكرة خام من البايتات، لأن جافاسكربت لا تملك أصلًا نوعًا ثنائيًا؛ وغالبًا ما تنقل التدفقات مخازن مؤقتة (القطع). ومتى نستخدم التدفقات: عند الأحجام الكبيرة — الملفات الكبيرة والرفوع/التنزيلات (فرفع كبير في الذاكرة يشبع الخادم: ثغرة أداء وأمان)، وتدفقات الشبكة المستمرة، والمعالجة المكثّفة، وخطوط أنابيب التحويل، وإرسال الملفات الكبيرة عبر خادم. أما الملفات الصغيرة فيكفيها readFile التقليدي: بسيط ومقروء. وتتطلب التدفقات تعلّمًا، لكنها علامة كود Node الاحترافي.
🔎 مثال ملموس — 🔎 مثال ملموس — أرشيف ساليم المضغوط
خط الأنابيب 80/20: اقرأ، اضغط، اكتب — دون تحميل كل شيء:
const fs = require('node:fs');
const zlib = require('node:zlib');
fs.createReadStream('export-2026.csv')
.pipe(zlib.createGzip())
.pipe(fs.createWriteStream('export-2026.csv.gz'))
.on('finish', () => console.log('Archive prête'));القراءة: عولجت 2 Go ببضعة Mo من ذاكرة الوصول العشوائي، ومعالجة فورية.
الدرس: تسلسل التدفقات = خط أنابيب تحويل.
مفردات القسم
- التدفق (Stream)
- معالجة البيانات قطعًا (chunks)، أولًا بأول، بدل تحميل كل شيء في الذاكرة؛ فعّال للأحجام الكبيرة.
مثال بسيط: يؤرشف ساليم تصديره (2 Go) قطعةً قطعةً.
ما ليس كذلك: استدعاء readFile يحمّل الملف كاملًا في متغير.
رد فعل: حجم كبير = التفكير تدفقًا، لا تحميلًا كاملًا.
- أنواع التدفقات
- Readable (قراءة) وWritable (كتابة) وDuplex (الاثنان معًا، مثل المقبس) وTransform (يحوّل أثناء المرور: ضغط، تشفير).
مثال بسيط: إن gzip الخاص بساليم هو Transform بين القراءة والكتابة.
ما ليس كذلك: أربع صياغات قابلة للتبادل دون تمييز.
رد فعل: تحويل أثناء المرور = Transform.
- .pipe()
- تصل تدفق قراءة بتدفق كتابة: فتنساب البيانات تلقائيًا، قطعةً قطعةً، مع تدبير التدفق.
مثال بسيط: createReadStream('source').pipe(createWriteStream('archive')).
ما ليس كذلك: حلقة يدوية تكدّس كل شيء قبل الكتابة.
رد فعل: من مصدر إلى وجهة = .pipe() أولًا.
- المخزن المؤقت (Buffer)
- منطقة ذاكرة خام من البايتات للبيانات الثنائية (الملفات، الشبكة)، التي لا تملكها جافاسكربت أصلًا؛ وتنقلها التدفقات.
مثال بسيط: تصل كل قطعة من تصدير ساليم كمخزن مؤقت (Buffer).
ما ليس كذلك: سلسلة محارف عادية.
رد فعل: بيانات ثنائية = التفكير في المخزن المؤقت (Buffer).
- متى نستخدم التدفقات
- متى عالجنا أحجامًا كبيرة (ملفات كبيرة، رفوع/تنزيلات، تدفقات شبكة)؛ أما الملفات الصغيرة فيكفيها readFile.
مثال بسيط: يبثّ ساليم تصدير 2 Go بالتدفق لكنه يقرأ الجرد (بضعة Ko) بـreadFile.
ما ليس كذلك: بثّ منهجي، حتى لملف إعدادات.
رد فعل: حجم التدفق واستمراريته = معيار الاختيار.
في التطبيق — تطبيق عملي — معالجة الأحجام الكبيرة بالتدفقات
- انسخ ملفًا بتدفق: fs.createReadStream('source').pipe(fs.createWriteStream('dest')) — دون تحميل كل شيء في الذاكرة.
- اقرأ تدفقًا «يدويًا» بالأحداث: .on('data', chunk => ...) و.on('end', ...) و.on('error', ...).
- سلسل عدة تدفقات بـpipe (مثل قراءة ← ضغط gzip ← كتابة) لخط أنابيب معالجة.
- قارن: قِس الذاكرة المستخدمة لمعالجة ملف كبير بـreadFile (كل شيء في الذاكرة) مقابل التدفق (قطعًا).
نص جاهز — تبرير التدفق أمام الفريق (30 ثانية)
«محاولتي الأولى حمّلت التصدير كاملًا في الذاكرة فأشبعت الخادم. وبالتدفق، نعالج قطعةً قطعةً: لا تكاد الذاكرة تتحرك مهما كان الحجم، ونبدأ منذ القطعة الأولى. ويكفي سطر pipe واحد للنسخ، ونتسلسل في الضغط دون تخزين أي شيء بين المراحل.»
يُقال مع قياس الذاكرة أمام العين (readFile مقابل التدفق)؛ فالرقم يقنع أكثر من المبدأ.
نموذج نسخ ولصق — نسخ متين وخط أنابيب gzip
const fs = require('node:fs');
const zlib = require('node:zlib');
const { pipeline } = require('node:stream/promises');
async function copier(source, destination) {
await pipeline(
fs.createReadStream(source),
fs.createWriteStream(destination)
);
console.log('Copié : ' + destination);
}
async function compresser(source, destination) {
await pipeline(
fs.createReadStream(source),
zlib.createGzip(),
fs.createWriteStream(destination)
);
console.log('Compressé : ' + destination);
}
copier('export-2026.csv', 'archive-2026.csv').catch(console.error);ملف صغير
جرد ببضعة Ko: يكفي readFile — فالتدفق هنا تعقيد مجاني.
تصدير كبير للفريق
يضغط ساليم التصدير السنوي في خط أنابيب: قراءة ← gzip ← كتابة، بذاكرة ثابتة.
رفع مستخدم
استقبال ملف يرسله عميل بالتدفق: وإلا أشبع رفع كبير ذاكرة الخادم.
قراءة يدوية
الحاجة للتفاعل مع كل قطعة (عدّ الأسطر): .on('data'/'end'/'error') على Readable.
✓ ممارسات جيدة
- ابدأ بـ.pipe() (أو pipeline): قاعدة 80/20 للتدفقات في سطر واحد.
- استمع دائمًا لـerror على تدفق يُقرأ يدويًا.
- احفظ التدفقات للأحجام الكبيرة؛ وأبقِ readFile للملفات الصغيرة.
✗ أخطاء شائعة
- تحميل ملف كبير بـreadFile (ذاكرة مشبَعة، سقوط).
- نسيان مستمع error على تدفق يدوي.
- بثّ منهجي، حتى للملفات الصغيرة جدًا.
النقاط الأساسية
- تعالج التدفقات (Streams) البيانات قطعًا (chunks)، أولًا بأول، بدل تحميل كل شيء في الذاكرة — فعّالة للأحجام الكبيرة (ذاكرة ووقتًا).
- الأنواع: Readable (قراءة) وWritable (كتابة) وDuplex وTransform (يحوّل أثناء المرور: ضغط، تشفير). والتدفقات باعثات أحداث (.on('data'/'end'/'error')).
- تصل .pipe() تدفق قراءة بتدفق كتابة (تنساب البيانات تلقائيًا، قطعةً قطعةً): readStream.pipe(writeStream). ونتسلسل (قراءة←ضغط←كتابة).
- استخدم التدفقات متى عالجت أحجامًا كبيرة (ملفات كبيرة، رفوع، تدفقات شبكة)؛ أما الملفات الصغيرة فيكفيها readFile. علامة كود Node الفعّال.
تحدي 48 ساعة — طبّق غدًا
خذ ملفًا كبيرًا حقيقيًا (تصدير، سجل، فيديو) وانسخه بـ.pipe()، ثم اضغطه في خط أنابيب قراءة ← gzip ← كتابة. وقِس الذاكرة في الحالتين وقارن مع readFile.
- أستطيع شرح مبدأ القطع والذاكرة الثابتة.
- أعرف النسخ والضغط بـpipe/pipeline.
- قِست فرق الذاكرة بين التدفق وreadFile على ملف حقيقي.
أسئلة شائعة
متى يجب فعلًا استخدام التدفقات بدل readFile/writeFile التقليدي؟
متى اقتضى الحجم أو الاستمرارية: فيحمّل readFile الملف كاملًا في الذاكرة — مثالي لبضعة Ko أو Mo، لكنه كارثي لمئات Mo أو Go (ذاكرة مشبَعة، بل سقوط). استخدم التدفقات (Streams) للملفات الكبيرة (السجلات والصادرات والوسائط)، والرفوع/التنزيلات (وإلا أشبع رفع كبير الخادم)، والتدفقات المستمرة (ردّ ضخم، بيانات حيّة)، والمعالجة المكثّفة (ملف CSV ضخم سطرًا سطرًا) وخطوط الأنابيب (اقرأ ← اضغط ← اكتب دون تخزين وسيط). قاعدة ساليم: صغير وظرفي = readFile؛ وكبير أو مستمر = تدفق.
تبدو التدفقات معقّدة: من أين أبدأ لتعلّمها تدريجيًا؟
في 4 مراحل، من البسيط إلى الكامل. 1) المبدأ: المعالجة قطعًا تنساب (الأنبوب، لا الدلو) — وهو الجوهر. 2) الدالة .pipe() للحالات البسيطة: createReadStream('source').pipe(createWriteStream('dest')) — قاعدة 80/20، مع تدبير التدفق مشمولًا. 3) التسلسل: lecture.pipe(gzip).pipe(ecriture)، ثم pipeline() من وحدة stream لخطوط أنابيب متينة مع تدبير جيّد للأخطاء. 4) القراءة اليدوية: .on('data'/'end'/'error') عندما يجب التفاعل مع كل قطعة. وكساليم: ابدأ بالأنبوب، والباقي عندما تأتي الحاجة.
على ساليم نسخ تصدير 2 Go دون إشباع ذاكرة الخادم. ماذا يفعل؟