Moath Khaleel

Scraping Data from PDFs and Images In this lab, you will review different data formats that are available online and offline. Next, you will be introduced to tools that help convert data contained in PDFs and images into structured machine-readable formats. Getting Started Before we move forward, here is a refresher on data formats: Machine readable, structured: These are generated by a computer, and are organized in rows and columns. For example - CSV (comma-separated values), TSV (tab-separated values), Excel (.xls) Unstructured: These are sometimes generated by a computer, but are not organized as data tables by the computer. For example – some PDF, Word, and bitmap images (GIF, JPEG, PNG, BMP) As part of your day-to-day work, you must have come across data in these file formats: Portable Document Format (PDF): These files may include tables that contain data, but the data is saved in a unified document with text. Excel file (XLS): These files save data as tables, which are readable by Microsoft Excel Comma separated values (CSV): These are plain text files with each data point separated by a comma In order to analyze data that you find in a PDF, you will need to convert it in a format which is machine-readable and structured (for instance to XLS format). Task 1: Converting PDF to Excel Using Online Tools Several tools help you convert a data table within a PDF file to the Excel format. Each uses slightly different technology and it is worth it to try more than one and see which results in a cleaner data file rather than wasting a lot of time cleaning a messy file. One such tool that is available online is Cometdocs. It works especially well if your table has background shading in multiple colors instead of just being a black and white table. You can access it here: www.cometdocs.com تحصيل البيانات من ملفات بصيغة ال “pdf” والصور في هذا المختبر ، سوف تقوم بمراجعة الصيغ المختلفة للبيانات ، والمتوفرة سواء كنت متصلا بالانترنت أو لا. فيما يلي ، سوف يتم تعريفك إلى مختلف الأدوات التي يمكنها مساعدتك على تحويل البيانات الموجودة في ملفات ال “pdf” والصور إلى صيغ منسقة ويمكن قراءتها بشكل آلي. البداية: قبل البدء بالموضوع ، اليك بعض المعلومات لتذكيرك بصيغ البيانات المختلفة: مقروءة آليا ومنظمة: هذه الصيغة يتم إنشائها من قبل الكومبيوتر ويتم ترتيبها في أعمدة وصفوف. على سبيل المثال ، ‘CSV’ - القيم المفصولة بفاصلة ، ‘TSV’ – القيم المفصولة بالخانة التالية ، ال ‘excel’ وهي ملفات يرمز اليها ب (XLS) . غير منظمة: هذه الصيغة يتم إنشائها من قبل الكومبيوتر في بعض الأحيان ، لكن لا يتم ترتيبها كبيانات مجدولة. على سبيل المثال ، بعض ملفات ال ‘PDF’ ، وملفات الوورد ، والصور المنقوطة ذات الصيغ (GIF, JPEG, PNG, BMP). من خلال حياتك اليومية ، فإنك حتما مررت ببيانات ذات احدى الصيغ التالية: نسق المستند المنقول – المتعارف عليها ب “PDF”: هذه الملفات يمكن أن تحتوي على جداول بيانات ، لكن البيانات يتم حفظها بملف واحد مع النص. ملفات ال “excel” والمرموزة ب (XLS): هذه الملفات يتم حفظها على شكل جداول مقروءة من قبل برنامج ال Microsoft excel – مايكروسوفت اكسيل. القيم المفصولة بفاصلة ‘CSV’: هذه ملفات نصية مبسطة يتم فصل البيانات فيها عن بعضها البعض باستخدام الفاصلة. لكي يتم تحليل البيانات الموجودة بملفات النسق المستند المنقول ‘PDF’ ، يجب عليك تحويل الملفات الى صيغة يمكن قراءتها وترتيبها آليا (على سبيل المثال الى صيغة الاكسل ‘XLS’). المهمة الأولى: تحويل ملفات نسق المستند المنقول ‘PDF’ الى ملفات اكسل باستخدام أدوات متاحة على الانترنت هنالك العديد من الأدوات التي يمكنها مساعدتك على تحويل البيانات المجدولة من ملفات ال ‘PDF’ إلى ملفات بصيغة الاكسل. كل واحدة من هذه الأدوات تستخدم تكنلوجيا مختلفة قليلا ، لذلك فانه من المفيد القيام بتجربة أكثر من أداة لمقارنة النتائج والبحث عن الصيغة الأنسب عوضاً عن تضييع الوقت على ترتيب ملفات تم نقلها بشكل خاطئ. واحدة من هذه الأدوات متاحة عبر الانترنت وتدعى “Cometdocs”. يمكن لهذه الأداة أن تعمل بالشكل الأمثل إذا كانت جداولك لديها خلفية مظللة بألوان مختلفة ، عوضا عن كونها باللونين الأسود والأبيض. يمكنك الحصول على هذه الأداة من خلال الموقع التالي: www.cometdocs.com