web scraping:
شامل استخراج داده هایی خاص از یک صفحه وب یا وب سایت، قرار دادن آن در یک پایگاه داده می باشد. اگر چه در بیشتر موارد از ابزارهای خودکار برای استخراج داده استفاده می شود، اما به صورت دستی نیز امکان پذیر است. استخراج قیمت محصولات مختلف از سایت آمازون یا سایت های تجاری دیگر نمونه ایی از web scraping است.
web crawling:
فرآیند استفاده از بات ها برای خواندن و ذخیره همه محتوی یک سایت با هدف آرشیو یا ایندکس گذاری است. web crawling مانند کاری است که موتورهای جستجو انجام می دهند: وب را برای هر نوع اطلاعاتی جست و جو می کنند، بر روی هر لینکی کلیک می کند و هدف آن به دست آوردن حداکثر اطلاعات است. برای مثال موتورهای جست و جو مانند بینگ یا گوگل از web crawling برای استخراج اطلاعات یک وب سایت استفاده می کنند و آن را در موتورهای جست و جو ایندکس گذاری می کنند. با این روش گوگل می گوید کدام صفحات شامل اطلاعاتی است که جست و جو می کنیم.