پردازش سنگین (معرفی سرور مجازی اختصاصی یا ارائه راهکار برای کار با دیتاست حجیم) - هفت خط کد انجمن پرسش و پاسخ برنامه نویسی

پردازش سنگین (معرفی سرور مجازی اختصاصی یا ارائه راهکار برای کار با دیتاست حجیم)

0 امتیاز
با سلام و آرزوی بهروزی.

در خصوص کار با دیتاست های سنگین چهار سوال داشتم.  به هرکدام که صلاح دانستید پاسخ بدهید. . عرض شود که دیتاست های مذکور در دامنه حجمی 100 گیگ تا 1000 گیگ (حاوی ویدیو) هستند. طبق مشورتی که با یکی از متخصصین داشتم، پیشنهاد استفاده از سرورهای اختصاصی دادند منتهی در مورد کم و کیف و هزینه ها پیشزمینه ی محدودی دارم. معمولا گوگل کولب برای یک سری دیتاها با حجم متوسط مناسب است. اما قاعدتا و به احتمال بسیار زیاد پاسخگوی چنین حجم پردازشی نباشد مگر نسخه پرو . ابتدا میخواستم بپرسم که برای خرید نسخه پیشرفته ترِ گوگل کولب از ایران، دوستان راهکار ساده ای دارند؟  دوم اینکه به غیر این پلتفرم، آیا پلتفرمِ قدرتمندتری هست که پاسخگوی چنین لودینگ ها و  پردازش های سنگینی باشد؟ در مورد سرورهای مجازی، چه پیشنهادی دارید؟  چهارم، نظرتان در خصوص لپ تاپ های دسته دوم گیمینگ برای اینکار چیست  یا چه سخت افزار مقرون به صرفه ای سراغ دارید؟ لطفا دوستان مجرب و مطلع در این زمینه پاسخی مرقوم بفرمایند. سپاسگزارم از وقتی که میگذارید
سوال شده تیر 16, 1402  بوسیله ی question (امتیاز 18)   1 2 5

1 پاسخ

0 امتیاز
 
بهترین پاسخ
سلام
قبل از پاسخ به سوالات شما به این نکته توجه کنید که قرار نیست در هنگام آموزش مدل کل دیتاست به یکباره در حافظه یا حافظه gpu لود بشه .در واقع چیزهایی که رم gpu را اشغال می کنه  وزن های مدل شما و وضغیت  optimizer که دو برابر وزن های مدل است  و gradients و activations و متغیرهای موقتی که توسط توابع مدل شما استفاده شده.شما در واقع به اندازه یک batch_size اطلاعات مربوطه را در gpu لود می کنید.
 
 
در مورد سوال اول شما، شما می تونید از google colab pro+ استفاده کنید که شما محدود به 16 گیگ رم جی پی یو و 52 گیگ رم هستید که از سایت های ایرانی هم می تونید با مبلغ 2700000 تومان می تونید خریداریش کنید
 
در مورد سوال دوم شما، بستگی به نیازهای شما داره می‌تونید از سرویس‌های ابری دیگری مانند Amazon Web Services (AWS)، Microsoft Azure یا Google Cloud Platform (GCP) استفاده کنید.
 
در مورد سوال سوم شما، سرورهای مجازی (VPS) گزینه‌ای مناسب برای پردازش داده‌های حجیم هستند. شما می‌توانید از سرویس‌دهنده‌های مختلفی مانند DigitalOcean، Linode یا Vultr استفاده کنید.
 
در مورد سوال چهارم شما، لپ‌تاپ‌های گیمینگ معمولاً دارای پردازنده‌های قوی و کارت گرافیک مناسب هستند که می‌توانند برای پردازش داده‌های حجیم مناسب باشند. اما با توجه به حجم داده‌های شما، استفاده از یک سرور قدرتمندتر ممکن است بهتر باشد.
 
 
پاسخ داده شده تیر 16, 1402 بوسیله ی مصطفی ساتکی (امتیاز 21,998)   24 34 75
ویرایش شده تیر 16, 1402 بوسیله ی مصطفی ساتکی
سلام مجدد
جناب مهندس گرانقدر، واقعا ممنونم از راهنمایی جامع شما. امیدوارم با همان گزینه اول یعنی گوگل کولب پرو، به نتیجه برسم. در مورد این داده ها بهتر بود در پیام فوق اشاره ای میکردم که سازندگانش، اجازه دسترسی عمومی ندادند و در صورت تایید درخواست خصوصی، لینک دانلود را ایمیل می کنند. کمی این مسئله نیز به نظر چالش برانگیز میرسد که اگر گزینه ای برای انتقال مسیرِ دانلود فایل ها به گوگل درایو شخصی خود ندهند،، آنوقت چاره ای جز دانلود مستقیم چنین حجم داده ای آنهم با این سرعت اینترنت نخواهم داشت
...