ملف باركيه هو ملف hdfs يجب أن يتضمن البيانات الوصفية للملف. يسمح ذلك بتقسيم الأعمدة إلى ملفات متعددة ، بالإضافة إلى وجود ملف بيانات وصفية واحد يشير إلى ملفات باركيه متعددة. تتضمن البيانات الوصفية مخطط البيانات المخزنة في الملف.
كيف أقوم بإنشاء مخطط لملف باركيه؟
لإنشاء مخطط بيانات عينة الباركيه ، قم بما يلي:
- سجل الدخول إلى مربع Haddop / Hive.
- يقوم بإنشاء المخطط في stdout على النحو التالي: -------------- [~]مخطط أدوات باركيه abc.parquet. رسالة hive_schema {…
- انسخ هذا المخطط إلى ملف بامتداد. ارضية خشبية/. ملحق الاسمي.
هل يدعم الباركيه تطور المخطط؟
دمج المخطط
مثل Protocol Buffer و Avro و Thrift يدعم باركيه أيضًا تطور المخططيمكن للمستخدمين البدء بمخطط بسيط وإضافة المزيد من الأعمدة تدريجيًا إلى المخطط حسب الحاجة. بهذه الطريقة ، قد ينتهي الأمر بالمستخدمين مع ملفات باركيه متعددة بمخططات مختلفة ولكنها متوافقة بشكل متبادل.
هل تحتوي ملفات الباركيه على أنواع بيانات؟
تعيين أنواع بيانات ملفات باركيه لأنواع بيانات التحويل التي تستخدمها خدمة تكامل البيانات لنقل البيانات عبر الأنظمة الأساسية. مخطط الباركيه الذي تحدده لقراءة أو كتابة ملف باركيه يجب أن يكون في حالة أصغر.
ما هي بنية ملف الباركيه؟
ملفات باركيه تتكون من مجموعات الصفوف والرأس والتذييل تحتوي كل مجموعة صفوف على بيانات من نفس الأعمدة. يتم تخزين نفس الأعمدة معًا في كل مجموعة صفوف: تم تحسين هذه البنية جيدًا لكل من أداء الاستعلام السريع ، وكذلك انخفاض الإدخال / الإخراج (تقليل كمية البيانات الممسوحة ضوئيًا).
