- هل يمكنك استخدام مثال بدائي تمامًا لوصف كيفية عمل التعلم الآلي؟
علبة. هناك مثال على طريقة تعلم الآلة تسمى شجرة القرار ، وهي واحدة من أقدم الأشياء. لنفعل ذلك الآن. لنفترض أن شخصًا مجرد طلب منك الخروج في موعد. ما المهم بالنسبة لك؟
- اولا انا اعرفه ام لا ...
(يكتب فيكتور هذا على السبورة).
... إذا كنت لا أعرف ، فعندئذ يجب أن أجيب على السؤال ، هل هو جذاب أم لا.
وإذا كنت تعلم ، لا يهم؟ أعتقد أنني فهمت ، هذا فرع من منطقة الأصدقاء! بشكل عام ، أنا أكتب ، إذا كنت لا تعلم وغير جذاب ، فإن الإجابة هي "نعم لا ، على الأرجح". إذا كنت تعرف الجواب نعم.
- إذا كنت أعلم ، فمن المهم أيضًا!
لا ، سيكون هذا فرعًا من منطقة الأصدقاء.
حسنًا ، دعنا نظهر هنا ما إذا كانت مثيرة للاهتمام أم لا. ومع ذلك ، عندما لا تعرف شخصًا ما ، يكون رد الفعل الأول هو المظهر ، مع صديق نرى بالفعل ما يفكر فيه وكيف.
لنفعل ذلك بشكل مختلف. سواء كان طموحا أم لا. إذا كان طموحًا ، فسيكون من الصعب صداقته ، وسيريد أيضًا المزيد. وسيتسامح غير الطموح.
(يكمل فيكتور الشجرة الحاسمة).
مستعد. الآن يمكنك توقع الشخص الذي من المرجح أن تواعده. بالمناسبة ، تتنبأ بعض خدمات المواعدة بهذا النوع من الأشياء. بالقياس ، يمكنك التنبؤ بعدد المنتجات التي سيشتريها العملاء ، وأين سيكون الناس في هذا الوقت من اليوم.
تخيل الآن ما إذا كان من الصعب على الناس التوصل إلى مثل هذا المخطط قبل مائتي عام؟ بالطبع لا! هذا المخطط لا يحمل أي إحساس بالصواريخ. كظاهرة ، كان التعلم الآلي موجودًا منذ حوالي نصف قرن أو قرن. بدأ رونالد فيشر التنبؤ بناءً على البيانات في بداية القرن العشرين. أخذ قزحية العين ووزعها بطول وعرض الكبريت والبتلة ، وفقًا لهذه المعايير ، حدد نوع النبات.
في الصناعة ، تم استخدام التعلم الآلي بنشاط في العقود الأخيرة: ظهرت آلات قوية وغير مكلفة نسبيًا مطلوبة لمعالجة كميات كبيرة من البيانات ، على سبيل المثال ، لأشجار القرار هذه ، منذ وقت ليس ببعيد. لكنها لا تزال تحبس أنفاسنا: فنحن نرسم هذه الأشياء لكل مهمة ونستخدمها للتنبؤ بالمستقبل.
- حسنًا ، بالتأكيد ليس أفضل من أي أخطبوط يتنبأ بمباريات كرة القدم ...
لا ، حسنًا ، أين نحن من الأخطبوطات. على الرغم من أن لدينا المزيد من التباين. يمكن للتعلم الآلي الآن توفير الوقت والمال وتحسين الراحة في حياتنا. لقد تغلب التعلم الآلي على البشر في تصنيف الصور قبل بضع سنوات. على سبيل المثال ، يمكن لجهاز الكمبيوتر التعرف على 20 سلالة من الكلاب ، و شخص عاديلا.
- وعندما تقوم بتحليل المستخدمين ، هل لكل شخص مجموعة أرقام لك؟
تقريبًا ، نعم. عندما نعمل مع البيانات ، يتم وصف جميع الكائنات ، بما في ذلك سلوك المستخدم ، من خلال مجموعة معينة من الأرقام. وتعكس هذه الأرقام الخصائص المميزة لسلوك الناس: كم مرة يستقلون سيارة أجرة ، وما فئة سيارات الأجرة التي يستخدمونها ، والأماكن التي يذهبون إليها عادةً.
على سبيل المثال ، لدينا الآن خدمة - مقعدان للأطفال في سيارة أجرة. يمكننا إرسال هذه الأخبار بالبريد العشوائي إلى الجميع ، أو يمكننا إبلاغ دائرة معينة فقط من الأشخاص عنها. على مدار العام ، قمنا بتجميع عدد معين من المستخدمين الذين كتبوا في التعليقات أنهم بحاجة إلى مقعدين أطفال. وجدناهم وأشخاص مثلهم. تقليديا ، هؤلاء هم الأشخاص الذين تزيد أعمارهم عن 30 عامًا والذين يسافرون بانتظام ويحبون مأكولات البحر الأبيض المتوسط. على الرغم من وجود المزيد من الدلائل بالطبع ، هذا أنا على سبيل المثال.
- حتى هذه التفاصيل الدقيقة؟
هذه مسألة بسيطة. يتم حساب كل شيء باستخدام استعلامات البحث.
وفي التطبيق ، يمكن أن تعمل بطريقة ما؟ على سبيل المثال ، هل تعلم أنني متسول وأنا مشترك في مجموعات مثل "كيف أعيش على 500 روبل شهريًا" - لا يُعرض علي سوى سيارات رخيصة متضررة ، واشترك في أخبار SpaceX - وأحصل على Tesla من وقت إلى زمن؟
يمكن أن تعمل بهذه الطريقة ، لكن Yandex لا توافق على مثل هذه الأشياء ، لأنها تمييز. عندما تقوم بتخصيص خدمة ما ، فمن الأفضل ألا تقدم أفضل الخدمات المتاحة ، بل الأفضل المتاحة وما يحبه الشخص. والتوزيع وفقًا لمنطق "هذا يحتاج إلى سيارة أفضل ، وهذا يحتاج إلى سيارة أقل جودة" هو أمر شرير.
كل شخص لديه رغبات ضارة ، وأحيانًا لا تحتاج إلى العثور على وصفة لطبق البحر الأبيض المتوسط ، ولكن ، على سبيل المثال ، صور عن الكوبروفيليا. هل سيعمل التخصيص في هذه الحالة أيضًا؟
هناك دائما وضع خاص.
يمكنك أيضًا تحديد خدمة الشركة المراد استخدامها ، على سبيل المثال ، Yandex أو Google.
- هناك فرق؟
مسألة معقدة. لا أعرف شيئًا عن الآخرين ، لكن Yandex صعبة في حماية البيانات الشخصية. الإشراف على الموظفين بشكل خاص.
- هذا هو ، إذا انفصلت عن رجل ، فلن أتمكن من معرفة ما إذا كان قد ذهب إلى هذا البلد أم لا؟
حتى لو كنت تعمل لدى Yandex. هذا ، بالطبع ، محزن ، لكن نعم ، لن يكون من الممكن معرفة ذلك. معظم الموظفين لا يمكنهم حتى الوصول إلى هذه البيانات. كل شيء مشفر. الأمر بسيط: لا يمكنك التجسس على الناس ، فهذه معلومات شخصية.
بالمناسبة ، كانت لدينا قضية مثيرة للاهتمام حول موضوع الانفصال عن الرجال. عندما قمنا بالتنبؤ بالنقطة "B" - نقطة الوجهة في سيارة الأجرة ، قدمنا تلميحات. انظر هنا.
(يدخل فيكتور تطبيق Yandex.Taxi.)
على سبيل المثال ، تعتقد سيارة أجرة أنني في المنزل. لقد دعاني للذهاب إما إلى العمل أو إلى جامعة RUDN (قرأت محاضرات هناك كجزء من دورة التعلم الآلي الخاصة بالتعدين في البيانات). وفي مرحلة ما ، أثناء تطوير هذه النصائح ، أدركنا أنه لا يجب المساومة على المستخدم. يمكن لأي شخص أن يرى النقطة "ب". لهذه الأسباب ، رفضنا تقديم أماكن على أساس التشابه. ثم تجلس في مكان لائق به أشخاص لائقون ، وتطلب سيارة أجرة ، ويكتبون لك: "انظر ، لم تذهب إلى هذا الشريط بعد!"
- ماذا النقاط الزرقاءتومض على خريطتك؟
هذه نقاط الالتقاء. توضح هذه النقاط المكان الأكثر ملاءمة لاستدعاء سيارة أجرة. بعد كل شيء ، يمكنك الاتصال بمكان سيكون من غير المناسب تمامًا الاتصال به. لكن بشكل عام ، يمكنك الاتصال بأي نقطة.
- نعم أي. طرت بطريقة ما كتلتين مع هذا.
في الآونة الأخيرة ، كانت هناك صعوبات مختلفة مع نظام تحديد المواقع العالمي (GPS) ، مما أدى إلى مواقف مضحكة مختلفة. الناس ، على سبيل المثال ، في تفرسكايا ، يتنقلون عبر المحيط الهادئ. كما ترى ، أحيانًا تكون هناك أخطاء وأكثر من كتلتين.
- وإذا قمت بإعادة تشغيل التطبيق وكزته مرة أخرى ، فإن السعر يتغير ببضعة روبلات. لماذا ا؟
إذا تجاوز الطلب العرض ، تقوم الخوارزمية تلقائيًا بإنشاء معامل مضاعف - وهذا يساعد أولئك الذين يحتاجون إلى المغادرة بأسرع ما يمكن لاستخدام سيارة أجرة ، حتى خلال فترات ارتفاع الطلب. بالمناسبة ، باستخدام التعلم الآلي ، يمكنك التنبؤ بالمكان الذي سيكون فيه الطلب أكبر في غضون ساعة على سبيل المثال. يساعدنا هذا في إخبار السائقين بمكان وجود المزيد من الطلبات بحيث يتطابق العرض مع الطلب.
- ألا تعتقد أن Yandex.Taxi ستقتل قريبًا سوق سيارات الأجرة بالكامل؟
أعتقد لا. نحن من أجل المنافسة الصحية ولسنا خائفين منها.
- لقد تعاونت مع أوبر. لأي غرض؟
ليس من اختصاصي التعليق. أعتقد أن الوحدة قرار معقول للغاية.
في ألمانيا ، قام رجل بتركيب حوض استحمام على طائرته بدون طيار ، فطار ليحضر برغرًا. هل تعتقد أن الوقت قد حان للسيطرة على المجال الجوي؟
لا أعلم عن المجال الجوي. نتابع الأخبار بروح "أوبر أطلقت تاكسي على قوارب" ، لكن لا يمكنني قول أي شيء عن الهواء.
- وماذا عن سيارات الأجرة بدون طيار؟
هذه نقطة مثيرة للاهتمام. نقوم بتطويرها ، لكن علينا التفكير في كيفية استخدامها بالضبط. من السابق لأوانه عمل تنبؤات بأي شكل ومتى ستظهر في الشوارع ، لكننا نبذل قصارى جهدنا لتطوير تكنولوجيا لسيارة ذاتية القيادة بالكامل ، حيث لن تكون هناك حاجة لسائق بشري على الإطلاق.
- هل هناك مخاوف من اختراق برنامج الطائرات المسيرة للتحكم في السيارة عن بعد؟
المخاطر دائمًا وأينما وجدت التقنيات والأدوات. ولكن إلى جانب تطور التقنيات ، هناك اتجاه آخر يتطور - حمايتها وسلامتها. كل من يشارك في تطوير التقنيات بطريقة أو بأخرى يعمل على أنظمة الأمان.
- ما نوع بيانات المستخدم التي تجمعها وكيف تحميها؟
نقوم بجمع بيانات المستخدم المجهولة ، مثل مكان وزمان ومكان الرحلة. كل شيء مهم هو التجزئة.
- هل تعتقد أنه سيتم قطع عدد الوظائف بسبب الطائرات بدون طيار؟
أعتقد أنه سيزداد حجمه فقط. ومع ذلك ، فإن هذه الطائرات بدون طيار تحتاج أيضًا إلى الصيانة بطريقة ما. هذا ، بالطبع ، موقف مرهق بعض الشيء ، يغير تخصصك ، لكن ماذا يمكنك أن تفعل.
- في كل محاضرة من محاضراته ، يقول جريف أن الشخص سوف يغير مهنته بشكل جذري ثلاث مرات على الأقل.
لا أستطيع تسمية أي تخصص يدوم إلى الأبد. لا يعمل المطور طوال حياته بنفس اللغة وبنفس التقنيات. في كل مكان تحتاجه لإعادة البناء. من خلال التعلم الآلي ، يمكنني أن أشعر بوضوح كيف يفكر الرجال الذين تقل أعمارهم عني بست سنوات بشكل أسرع بكثير مني. في الوقت نفسه ، يشعر الأشخاص الذين يبلغون من العمر 40 أو 45 عامًا بذلك أكثر.
- لم تعد الخبرة تلعب دورا؟
يلعب. لكن الأساليب تتغير ، يمكنك الوصول إلى منطقة ، على سبيل المثال ، لم يتم فيها استخدام التعلم العميق ، حيث تعمل هناك لفترة من الوقت ، ثم يتم تنفيذ أساليب التعلم العميق في كل مكان ، ولا تفهم شيئًا عنها. و هذا كل شيء. يمكن أن تكون تجربتك مفيدة فقط في التخطيط لعمل الفريق ، وحتى في هذه الحالة ليس دائمًا.
- هل مهنتك عالم بيانات ، هل هي مطلوبة؟
الطلب على المتخصصين في علوم البيانات هو ببساطة خارج النطاق. من الواضح أن الآن هي فترة الضجيج الجنوني. الحمد لله ساعد blockchain على تهدئة هذه الضجة قليلاً. يتم تفكيك متخصصي Blockchain بشكل أسرع.
هناك أوقات يرغب فيها البنك في تقديم نظام توصية للخدمات للمستخدمين. نسأل: هل تعتقد أنه سيكون له ما يبرره اقتصاديا؟ يجيبون: "نعم ، نحن لا نهتم. افعلها. كل نفس أنظمة التوصية ، سنكون في الاتجاه ".
الألم هو أن الشيء المفيد حقًا للعمل لا يمكن القيام به في يوم واحد. تحتاج إلى مشاهدة كيف سيتعلم النظام. ودائما ما تتعامل مع الأخطاء في البداية ، فقد تفتقر إلى بعض البيانات أثناء التدريب. أنت تصلح الأخطاء ، ثم تصلحها مرة أخرى وحتى تعيد كل شيء. بعد ذلك ، تحتاج إلى التهيئة حتى يعمل النظام في الإنتاج ، بحيث يكون مستقرًا وقابلًا للتطوير ، فلا يزال الوقت قد حان. نتيجة لذلك ، يستغرق مشروع واحد ستة أشهر أو سنة أو أكثر.
إذا نظرت إلى طرق التعلم الآلي مثل الصندوق الأسود ، فيمكنك بسهولة أن تفوت كيف يبدأ حدوث بعض الهراء. هناك قصة ملتحية. طلب الجيش تطوير خوارزمية يمكن من خلالها تحليل ما إذا كانت هناك دبابة في الصورة أم لا. لقد أجرى الباحثون واختبروا الجودة ممتازة ، كل شيء رائع ، يُعطى للجيش. يأتي الجيش ويقول إن لا شيء يعمل. بدأ العلماء يفهمون بعصبية. اتضح أن جميع الصور مع الدبابة التي أحضرها الجيش كانت عليها علامة اختيار في الزاوية بقلم. لقد تعلمت الخوارزمية بشكل لا تشوبه شائبة العثور على علامة اختيار ، ولم يكن يعلم شيئًا عن الخزان. بطبيعة الحال ، لم تكن هناك علامات اختيار على الصور الجديدة.
لقد قابلت أطفالًا يطورون أنظمة الحوار الخاصة بهم. هل فكرت يومًا أنك بحاجة إلى التعاون مع الأطفال؟
لقد كنت أذهب إلى جميع أنواع الأحداث لأطفال المدارس لفترة طويلة ، وألقي محاضرات حول التعلم الآلي. وبالمناسبة ، علمني طالب بالصف العاشر أحد الموضوعات. كنت متأكدًا تمامًا من أن قصتي ستكون جيدة وممتعة ، كنت فخورة بنفسي ، وبدأت البث ، وكانت الفتاة مثل: "أوه ، نريد تقليل هذا الشيء." أنا أنظر وأفكر ، لكن في الحقيقة ، لماذا ، ويمكن التقليل من ذلك حقًا ، وخاصة لا يوجد شيء لإثباته. مرت عدة سنوات ، وهي الآن تستمع إلى محاضراتنا كطالبة في Phystech. بالمناسبة ، تمتلك Yandex موقع Yandex.Lece ، حيث يمكن للطلاب الحصول على المعرفة الأساسية بالبرمجة مجانًا.
- تقديم المشورة للجامعات والكليات حيث يتم تدريس التعلم الآلي الآن.
هناك كلية MIPT ، كليات FIVT و FUPM. يوجد في HSE أيضًا كلية علوم كمبيوتر رائعة ، وجامعة موسكو الحكومية لديها التعلم الآلي في VMK. حسنًا ، يمكنك الآن الاستماع إلى دورتنا في جامعة RUDN.
كما قلت ، هذه المهنة مطلوبة. لفترة طويلة جدًا ، كان الأشخاص الذين تلقوا تعليمًا تقنيًا يشاركون في أشياء مختلفة تمامًا. التعلم الآلي هو مثال رائع حيث كل الأشياء التي تعلم الناس منها التعليم التقني، الآن هناك حاجة إليها ، مفيدة وذات رواتب جيدة.
- كيف جيدة؟
اسم المبلغ.
- 500 الف شهر.
يمكنك ، فقط كونك عالم بيانات عادي. لكن في بعض الشركات ، يمكن للمتدرب جدًا جدًا أن يتلقى 50 ألفًا مقابل وظيفة بسيطة.هناك فارق كبير جدًا. بشكل عام ، يمكن مقارنة راتب عالم البيانات القوي براتب الرئيس التنفيذي لبعض الشركات المتوسطة. في العديد من الشركات ، بالإضافة إلى الراتب ، يقع الكثير من الكعك على الموظف ، وإذا كان من الواضح أن الشخص لم يأت لكتابة علامة تجارية جيدة في سيرته الذاتية ، ولكن للعمل حقًا ، فسيكون كل شيء على ما يرام. له.
لقد مر عام تقريبًا منذ أن بدأت FIVT موضوعًا غير عادي - ورشة عمل مبتكرة. جوهرها هو إنشاء شركات ناشئة في مجال تكنولوجيا المعلومات من قبل فرق الطلاب تحت إشراف الموجهين ذوي الخبرة. اتضح جيدًا: بفضل الدورة ، قضى شخص ما جزءًا من الصيف في وادي Kremievaya ، وتلقى شخص ما منحة قدرها 800000 روبل لتطوير المشروع ، وشخص آخر ABBYY جاهز لاسترداد المشروع بالكامل. وهذه ليست كل نتائج ورشة العمل!
في بداية عام 2011 ، اجتمع طلاب السنة الثالثة من الاتحاد الدولي للكرة الطائرة في قاعة الجمعية وقيل لهم: أثناء العام القادمسوف تحتاج إلى إنشاء شركة ناشئة خاصة بك. أدرك الطلاب هذه الفكرة بشكل غامض: لم يكن من الواضح كيفية القيام بها على الإطلاق ، وكانت المسؤولية غير عادية - بعد كل شيء ، كان من الضروري القيام بأعمال تقنية ، وليس مشروعًا تعليميًا آخر. إليكم ما يفكر فيه فيكتور كانتور ، الحائز على أولمبياد طلاب MIPT في الفيزياء ، طالب قسم Yandeska:
عندما اخترت FIVT عند القبول ، كنت آمل أن يكون لدينا شيء مشابه. لذلك أنا سعيد لأنني كنت أتمنى لسبب ما. خلال العام ، كان هناك شعور بأن الدورة التدريبية لا تزال قيد التكوين ، وكان الكثير منها جديدًا ، وتبين أن العديد من القضايا مثيرة للجدل ليس فقط للطلاب ، ولكن أيضًا للمنظمين ، ولكن بشكل عام ، أعتقد أن الاتجاهات كانت إيجابية. أحببت هذه الدورة.
لتسهيل عمل الطلاب ، تمت دعوة العديد من المنسقين الذين اقترحوا أفكارهم لبناء أعمال مبتكرة. كان من بينهم أشخاص مختلفون تمامًا: من الطلاب الكبار وطلاب الدراسات العليا في MIPT إلى مستشار إرنست ويونغ للابتكارات يوري بافلوفيتش أموسوف (كان رئيسًا للدورة بأكملها) وميخائيل باتين ، الذي يشارك في الطب التجديدي وقضايا تمديد الحياة. نتيجة لذلك ، اختار الفيزيائيون الأفكار الأكثر إثارة للاهتمام بالنسبة لهم ، وربط القيمون الفنيون أنفسهم بالفرق ، وبدأ العمل الشاق والمثير.
منذ ما يقرب من عام مضى منذ تلك اللحظة ، واجه الرجال العديد من المشاكل ، تم حل بعضها. الآن يمكنك تقييم نتائجهم - على الرغم من الصعوبات ، تعامل الرجال. تمكن طلاب MIPT (بالإضافة إلى FIVS ، انضم بعض طلاب FOPF وكليات أخرى إلى العملية) من إعداد العديد من المشاريع الشيقة والقابلة للتطبيق:
تطبيق خاص بنظام Android يتيح لك البحث بسهولة في عدد كبير من محركات البحث. أظهر بعض الخبراء اهتمامًا بالتطوير ، ونتيجة لذلك ، أمضت Anastasia الصيف الماضي بأكمله في واحدة من أشهر الحاضنات في Silicon Valley - Plug & Play. تعلم أساسيات ريادة الأعمال التكنولوجية والتحدث مع خبراء رأس المال الاستثماري الدولي.
يمكّن هذا المشروع أي شخص من القيام بالأعمال الخيرية ببساطة وسرعة وبشكل كامل مجانًا. النموذج بسيط: يقدم المعلنون مجموعة معينة من الأنشطة على الموقع ، ويشارك المستخدمون طواعية فيها ، ويتم تحويل جميع الأموال من الإعلانات إلى مؤسسة خيرية. في غضون أسبوع بعد الإطلاق ، جمع المشروع أكثر من 6500 مستخدم ولن يكون راضياً عما تم تحقيقه بالفعل. نتيجة لذلك ، وبفضل ليف وفريقه ، سيستقبل 600 طفل من دور الأيتام السنة الجديدةالهدايا العزيزة من سانتا كلوز. هل سبق لك أن قضيت دقيقة واحدة في عمل صالح ؟!
تطبيق يتيح لك الجمع بين إمكانات الكمبيوتر وإمكانية تنقل الهاتف في حالة واحدة - للغاية منتج مفيدللأشخاص المشغولين الذين غالبًا ما يكونون في رحلات عمل. يكفي تثبيته على هاتف ذكي ، وسيتمكن المستخدم من "الحصول" على جهاز الكمبيوتر الخاص به في أي فندق أو مكتب وفي كل مكان حيث يمكنك العثور على شاشة (جهاز تلفزيون مناسب أيضًا) ولوحة مفاتيح وجهاز الفأر. حصل المشروع على منحة لتطوير الفكرة وتم تقديمه في معرض كأس تكنوفيشن ، ويعمل الفريق بالفعل بنشاط على شراء المعدات مقابل الأموال المستلمة. تهتم شركة تصنيع المعالجات الأمريكية MIPS بشدة بالتنمية.
ماذا تفعل إذا كنت تتذكر ذلك في مكان ما في صندوق بريدكانت هناك رسالة مهمة للغاية ، تحدثت عن الحلقة الأخيرة من Big Bang Theory ، لكنك لا تتذكر أي كلمات رئيسية من النص؟ بحث ياندكس وجوجل ضعيفان. سيأتي تطوير Smart Tagger إلى الإنقاذ - فبرنامج "ذكي" يستخدم البحث الدلالي سيمنحك جميع النصوص ، التي يتشابك معناها مع المسلسل التلفزيوني الشهير. حصل المشروع على منحة من منظمة U.M.N.I.K. ما مجموعه 400000 روبل!
اقترح ABBYY مهمة مثيرة للاهتمام للتنفيذ - لإنشاء برنامج يتعرف على الصيغ الرياضية لأي تعقيد. طلاب FIVT ، بعد أن تعاونوا مع fopfs المهتمين ، أكملوا المهمة - تتعرف الوحدة حقًا على الصيغ الممسوحة ضوئيًا من الكتب المدرسية في matan أو الفيزياء. النتيجة: ABBYY جاهز لشراء هذا المنتج مقابل الكثير من المال.
في إطار مشروع ABC AI بالاشتراك مع MIPT ، كتبنا بالفعل عن ما يسمى تلك التي تسمح لك "بتنمية" البرامج وفقًا لمبادئ وقوانين التطور الدارويني. ومع ذلك ، في حين أن هذا النهج للذكاء الاصطناعي هو ، بالطبع ، "ضيف من المستقبل". لكن كيف الأنظمة الذكاء الاصطناعيخلق اليوم؟ كيف يتم تدريبهم؟ ساعدنا فيكتور كانتور ، المحاضر الأول في قسم الخوارزميات وتقنيات البرمجة في معهد موسكو للفيزياء والتكنولوجيا ، رئيس مجموعة تحليل سلوك المستخدم في Yandex Data Factory ، في اكتشاف ذلك.
وفقًا لتقرير صدر مؤخرًا عن شركة الأبحاث Gartner ، والتي تقوم بتحديث "دورة النضج التكنولوجي" بانتظام ، يحتل التعلم الآلي قمة توقعات تكنولوجيا المعلومات اليوم. هذا ليس مفاجئًا: على مدى السنوات القليلة الماضية ، انتقل التعلم الآلي من دائرة اهتمامات دائرة ضيقة من علماء الرياضيات والمتخصصين في نظرية الخوارزميات وتغلغل أولاً في مفردات رجال الأعمال في مجال تكنولوجيا المعلومات ، ثم إلى عالم الناس العاديين. الآن بعد أن أصبح هناك شيء مثل الشبكات العصبية مع "سحرها" الخاص ، يعرف أي شخص استخدم تطبيق Prisma أو بحث عن الأغاني باستخدام Shazam أو شاهد صورًا مرت عبر DeepDream.
ومع ذلك ، فإن استخدام التكنولوجيا شيء وفهم كيفية عملها شيء آخر. قد تساعد الكلمات الشائعة مثل "الكمبيوتر يمكن أن يتعلم إذا أعطيته تلميحًا" أو "تتكون الشبكة العصبية من خلايا عصبية رقمية ويتم ترتيبها مثل الدماغ البشري" شخصًا ما ، لكنها في كثير من الأحيان تربك الموقف فقط. أولئك الذين يرغبون في الانخراط بجدية في الرياضيات لا يحتاجون إلى نصوص شائعة: فهناك كتب مدرسية ودورات ممتازة عبر الإنترنت لهم. سنحاول أن نسير في منتصف الطريق: نشرح كيف يحدث التعلم فعليًا في أبسط مشكلة ، ثم نوضح كيف يمكن تطبيق نفس النهج لحل المشكلات الواقعية المثيرة للاهتمام.
بادئ ذي بدء ، من أجل فهم كيفية حدوث التعلم الآلي بالضبط ، دعنا نحدد المفاهيم. يُعرِّف آرثر صموئيل ، أحد رواد هذا المجال ، التعلم الآلي على أنه طرق "تسمح لأجهزة الكمبيوتر بالتعلم دون برمجتها مباشرةً". هناك فئتان عريضتان من أساليب التعلم الآلي: التعلم تحت الإشراف والتعلم غير الخاضع للإشراف. يتم استخدام الأول عندما نحتاج ، على سبيل المثال ، إلى تعليم جهاز كمبيوتر البحث عن صور فوتوغرافية بها صور قطط ، والثاني - عندما نحتاج إلى الآلة ، على سبيل المثال ، لتتمكن من تجميع الأخبار بشكل مستقل في مخططات ، كما يحدث في خدمات مثل Yandex.News أو أخبار Google. أي أننا في الحالة الأولى نتعامل مع مشكلة تدل على وجود إجابة صحيحة (القط سواء في الصورة أم لا) ، وفي الحالة الثانية ، لا توجد إجابة صحيحة فقط ، ولكن هناك طرق مختلفةحل مشكلة. سوف نركز على الفئة الأولى من المشاكل باعتبارها الأكثر إثارة للاهتمام.
لذلك نحن بحاجة إلى تعليم الكمبيوتر لعمل بعض التنبؤات. علاوة على ذلك ، من المستحسن أن تكون دقيقًا قدر الإمكان. يمكن أن تكون التنبؤات من نوعين: إما أنك تحتاج إلى الاختيار من بين عدة خيارات للإجابة (سواء كان هناك قطة في الصورة أم لا - هذا اختيار من بين خيارين ، والقدرة على التعرف على الحروف في الصور هي اختيار من خيار واحد من بين عدة عشرات ، وما إلى ذلك) ، أو قم بعمل تنبؤ رقمي ... على سبيل المثال ، توقع وزن الشخص بناءً على طوله وعمره وحجم حذائه وما إلى ذلك. يبدو نوعا هذه المهام مختلفين فقط ، في الواقع ، يتم حلهما بنفس الطريقة تقريبًا. دعنا نحاول معرفة كيف بالضبط.
أول شيء نحتاجه لعمل نظام تنبؤ هو جمع ما يسمى بعينة التدريب ، أي بيانات عن وزن الأشخاص بين السكان. والثاني هو تحديد مجموعة من العلامات التي يمكننا على أساسها استخلاص استنتاجات حول الوزن. من الواضح أن واحدة من "أقوى" هذه العلامات ستكون ارتفاع الشخص ، وبالتالي ، كأول تقدير تقريبي ، يكفي أن نأخذه فقط. إذا كان الوزن يعتمد على الارتفاع خطيًا ، فسيكون توقعنا بسيطًا جدًا: سيكون وزن الشخص مساويًا لارتفاعه مضروبًا في بعض العوامل ، بالإضافة إلى بعض القيمة الثابتة ، والتي تتم كتابتها بأبسط صيغة y = kx + b. كل ما يتعين علينا القيام به لتدريب الآلة على التنبؤ بوزن الشخص هو إيجاد القيم الصحيحة لـ k و b بطريقة ما.
يكمن جمال التعلم الآلي في أنه حتى لو كان الإدمان الذي ندرسه معقدًا للغاية ، في نهجنا ذاته ، في جوهره ، لن يتغير شيء تقريبًا. سنظل نتعامل مع نفس الانحدار.
لنفترض أن وزن الشخص يتأثر بارتفاعه ليس خطيًا ، بل من الدرجة الثالثة (وهو أمر متوقع عمومًا ، لأن الوزن يعتمد على حجم الجسم). لأخذ هذا الاعتماد في الاعتبار ، نقوم ببساطة بإدخال مصطلح آخر في معادلتنا ، وهو الدرجة الثالثة من النمو بمعاملها الخاص ، وبالتالي نحصل على y = k 1 x + k 2 x 3 + b. الآن ، من أجل تدريب الآلة ، لا نحتاج إلى إيجاد اثنين ، بل ثلاث كميات (ك 1 ، ك 2 ، ب). لنفترض أننا نريد أيضًا أن نأخذ في الاعتبار في توقعنا حجم حذاء الشخص ، وعمره ، والوقت الذي يقضيه في مشاهدة التلفزيون ، والمسافة من شقته إلى أقرب منفذ للوجبات السريعة. لا مشكلة: لقد وضعنا هذه الميزات كمصطلحات منفصلة في نفس المعادلة.
أهم شيء هو إنشاء طريقة عالمية لإيجاد المعاملات المطلوبة (ك 1 ، ك 2 ، ... ك ن). إذا كان موجودًا ، فسيكون غير مبالٍ تقريبًا بالنسبة لنا بالعلامات التي يجب استخدامها للتنبؤ ، لأن الآلة نفسها ستتعلم إعطاء وزن كبير للإشارات المهمة ، ومن الصغيرة إلى غير المهمة. لحسن الحظ ، تم اختراع مثل هذه الطريقة بالفعل ويعمل بها جميع التعلم الآلي بنجاح: من أبسط النماذج الخطية إلى أنظمة التعرف على الوجوه ومحللات الكلام. هذه الطريقة تسمى نزول التدرج. ولكن قبل شرح كيفية عملها ، تحتاج إلى إجراء استطالة صغيرة والتحدث عن الشبكات العصبية.
في عام 2016 ، دخلت الشبكات العصبية في أجندة المعلومات بإحكام شديد لدرجة أنها أصبحت تقريبًا مرتبطة بأي تعلم آلي وتكنولوجيا المعلومات المتقدمة بشكل عام. من الناحية الرسمية ، هذا ليس صحيحًا: لا تُستخدم الشبكات العصبية دائمًا في التعلم الرياضي ، وهناك تقنيات أخرى أيضًا. لكن بشكل عام ، بالطبع ، مثل هذا الارتباط مفهوم ، لأن الأنظمة القائمة على الشبكات العصبية هي التي تقدم الآن أكثر النتائج "سحرية" ، مثل القدرة على البحث عن شخص عن طريق الصورة ، وظهور التطبيقات التي تنقل نمط من صورة إلى أخرى ، أو أنظمة لتوليد نصوص بطريقة كلام شخص معين.
لدينا بالفعل كيفية عمل الشبكات العصبية. أريد هنا فقط التأكيد على أن قوة الشبكات العصبية مقارنة بأنظمة التعلم الآلي الأخرى تكمن في طبيعتها متعددة الطبقات ، لكن هذا لا يجعلها شيئًا مختلفًا اختلافًا جوهريًا في طريقة عملها. يسمح لك التصفيف حقًا بالعثور على صور مجردة جدًا الملامح العامةوالتبعيات في مجموعات معقدة من الميزات ، مثل وحدات البكسل في الصورة. لكن من المهم أن نفهم أنه من وجهة نظر مبادئ التدريب ، لا تختلف الشبكة العصبية اختلافًا جذريًا عن مجموعة صيغ الانحدار الخطي العادية ، لذا فإن طريقة الانحدار المتدرج نفسها تعمل بشكل رائع هنا أيضًا.
تكمن "قوة" الشبكة العصبية في وجود طبقة وسيطة من الخلايا العصبية ، والتي تجمع معًا قيم طبقة الإدخال. لهذا السبب ، يمكن للشبكات العصبية أن تجد ميزات مجردة جدًا للبيانات التي يصعب تقليلها إلى صيغ بسيطة مثل الاعتماد الخطي أو التربيعي.
دعونا نوضح بمثال. توقفنا عند توقع يعتمد فيه وزن الشخص على طوله وطوله في المكعب ، والذي يتم التعبير عنه بالصيغة y = k 1 x + k 2 x 3 + b. مع بعض الامتداد ، ولكن في الواقع ، حتى هذه الصيغة يمكن أن تسمى الشبكة العصبية. فيه ، كما هو الحال في الشبكة العصبية التقليدية ، توجد الطبقة الأولى من "الخلايا العصبية" ، وهي أيضًا طبقة من الميزات: هذه هي x و x 3 (حسنًا ، و "الخلية العصبية الوحيدة" التي نضعها في الاعتبار ولأجل المعامل ب هو المسؤول). يتم تمثيل الطبقة العليا ، أو الناتجة ، بواسطة "خلية عصبية" واحدة ، أي الوزن المتوقع للشخص. وبين الطبقة الأولى والأخيرة من "الخلايا العصبية" توجد وصلات ، يتم تحديد قوتها أو وزنها بواسطة المعامِلات k 1 و k 2 و b. لتدريب هذه "الشبكة العصبية" يعني ببساطة إيجاد هذه المعاملات نفسها.
الاختلاف الوحيد عن الشبكات العصبية "الحقيقية" هو أنه ليس لدينا طبقة وسيطة واحدة (أو مخفية) من الخلايا العصبية التي تتمثل مهمتها في الجمع بين ميزات الإدخال. إن إدخال مثل هذه الطبقات يجعل من الممكن عدم التفكير في التبعيات المحتملة بين الميزات الموجودة ، ولكن الاعتماد على مجموعاتها الموجودة بالفعل في الشبكة العصبية. على سبيل المثال ، يمكن أن يكون للعمر ومتوسط الوقت أمام التلفزيون تأثير تآزري على وزن الشخص ، ولكن بوجود شبكة عصبية ، لا يتعين علينا معرفة ذلك مقدمًا وإدخال منتجهم في الصيغة. في الشبكة العصبية ، سيكون هناك بالتأكيد خلية عصبية تجمع بين تأثير أي سمتين ، وإذا كان هذا التأثير ملحوظًا حقًا في العينة ، فبعد التدريب ، ستتلقى هذه الخلايا العصبية تلقائيًا قدرًا كبيرًا من الوزن.
لذلك ، لدينا مجموعة من الأمثلة التدريبية ببيانات معروفة ، أي جدول بوزن الشخص المقاس بدقة ، وبعض فرضيات الاعتماد ، في هذه الحالة الانحدار الخطي y = kx + b. مهمتنا هي العثور على القيم الصحيحة لـ k و b ، وليس يدويًا ، ولكن تلقائيًا. ويفضل أن تكون طريقة عالمية لا تعتمد على عدد المعلمات المضمنة في الصيغة.
بشكل عام ، هذا ليس بالأمر الصعب. الفكرة الرئيسية هي إنشاء دالة معينة تقيس معدل الخطأ الإجمالي الحالي و "تعديل" المعاملات بحيث ينخفض مستوى الخطأ الإجمالي تدريجيًا. كيف تجعل مستوى الخطأ ينخفض؟ نحن بحاجة إلى تحريف معاييرنا في الاتجاه الصحيح.
تخيل المعلمتين اللتين نبحث عنهما ، نفس k و b ، لاتجاهين على المستوى ، كمحور الشمال والجنوب والمحاور الغربية والشرقية. كل نقطة على هذا المستوى سوف تتوافق مع قيمة معينة للمعاملات ، وعلاقة معينة معينة بين الطول والوزن. ولكل نقطة من هذا المستوى على المستوى ، يمكننا حساب المستوى الإجمالي للأخطاء التي يقدمها هذا التوقع لكل من الأمثلة الموجودة في عينتنا.
اتضح شيئًا مثل ارتفاع معين على متن طائرة ، وتبدأ المساحة المحيطة بأكملها لتشبه منظر طبيعي للجبال. الجبال هي النقاط التي يكون فيها معدل الخطأ مرتفعًا جدًا ، والوديان هي الأماكن التي يوجد فيها عدد أقل من الأخطاء. من الواضح أن تدريب نظامنا يعني إيجاد أدنى نقطة على الأرض ، وهي النقطة التي يكون فيها مستوى الأخطاء ضئيلًا.
كيف يمكنك أن تجد هذه النقطة؟ عظم الطريق الصحيح- تحرك طوال الوقت إلى أسفل من النقطة التي انتهى بها الأمر في الأصل. عاجلاً أم آجلاً سوف نصل إلى الحد الأدنى المحلي - نقطة تحتها لا يوجد شيء في المنطقة المجاورة مباشرة. علاوة على ذلك ، يُنصح باتخاذ خطوات بأحجام مختلفة: عندما يكون المنحدر حادًا ، يمكنك المشي على نطاق أوسع ، وعندما يكون المنحدر صغيرًا ، فمن الأفضل التسلل إلى الحد الأدنى المحلي "على رؤوس الأصابع" ، وإلا يمكنك التسلل .
هذه هي الطريقة التي تعمل بها طريقة نزول التدرج اللوني: نقوم بتغيير أوزان المعالم في اتجاه أكبر هبوط في دالة الخطأ. نقوم بتغييرها بشكل متكرر ، أي بخطوة معينة ، تتناسب قيمتها مع انحدار المنحدر. ومن المثير للاهتمام ، أنه مع زيادة عدد الميزات (إضافة مكعب لطول الشخص ، وعمره ، وحجم حذائه ، وما إلى ذلك) ، في الواقع ، لا شيء يتغير ، فقط مناظرنا الطبيعية لا تصبح ثنائية الأبعاد ، بل متعددة الأبعاد.
يمكن تعريف دالة الخطأ على أنها مجموع مربعات جميع الانحرافات التي تسمح بها الصيغة الحالية فيما يتعلق بالأشخاص الذين نعرف وزنهم بالفعل على وجه اليقين. لنأخذ بعض المتغيرات العشوائية k و b ، على سبيل المثال 0 و 50. ثم سيتنبأ النظام بالنسبة لنا أن وزن كل شخص في العينة دائمًا 50 كيلوجرام y = 0 × x + 50 على الرسم البياني ، سيبدو هذا الاعتماد كخط مستقيم موازٍ إلى الأفقي. من الواضح أن هذا ليس تنبؤًا جيدًا للغاية. الآن لنأخذ الانحراف في الوزن عن هذه القيمة المتوقعة ، وقم بتربيعها (بحيث يتم أخذ القيم السالبة في الاعتبار أيضًا) ونجمعها - سيكون هذا خطأ في هذه المرحلة. إذا كنت معتادًا على بداية التحليل ، فيمكنك حتى توضيح أن اتجاه أكبر هبوط يتم توفيره من خلال المشتق الجزئي لوظيفة الخطأ فيما يتعلق بـ k و b ، والخطوة هي قيمة يتم اختيارها من اعتبارات عملية: تستغرق الخطوات الصغيرة وقتًا طويلاً لحسابها ، ويمكن أن تؤدي الخطوات الكبيرة إلى تخطي الحد الأدنى.
حسنًا ، ماذا لو لم يكن لدينا مجرد انحدار معقد مع العديد من الميزات ، ولكن شبكة عصبية حقيقية؟ كيف نطبق الانحدار في هذه الحالة؟ اتضح أن الانحدار المتدرج يعمل مع الشبكة العصبية بنفس الطريقة ، يحدث التدريب فقط 1) على مراحل ، من طبقة إلى طبقة و 2) تدريجيًا ، من مثال في العينة إلى آخر. الطريقة المستخدمة هنا تسمى خوارزمية الانتشار العكسي للخطأ وقد تم وصفها بشكل مستقل في عام 1974 من قبل عالم الرياضيات السوفيتي ألكسندر جالوشكين وعالم الرياضيات في جامعة هارفارد بول جون ويبروس.
على الرغم من أنه من أجل العرض التقديمي الدقيق للخوارزمية ، سيكون من الضروري كتابة مشتقات جزئية (على سبيل المثال ،) ، على المستوى الحدسي ، كل شيء بسيط للغاية: لكل مثال من الأمثلة في العينة ، لدينا تنبؤ معين عند إخراج الشبكة العصبية. بوجود الإجابة الصحيحة ، يمكننا طرح الإجابة الصحيحة من التوقع وبالتالي الحصول على خطأ (بتعبير أدق ، مجموعة من الأخطاء لكل خلية عصبية في طبقة الإخراج). نحتاج الآن إلى نقل هذا الخطأ إلى الطبقة السابقة من الخلايا العصبية ، وكلما ساهمت هذه الخلايا العصبية الخاصة بهذه الطبقة في الخطأ ، كلما احتجنا إلى تقليل وزنها (في الواقع ، نتحدث مرة أخرى عن أخذ مشتق جزئي ، حول التحرك على طول أقصى انحدار لمنظرنا الطبيعي الخيالي) ... عندما نقوم بذلك ، يجب تكرار نفس الإجراء للطبقة التالية ، متحركًا في الاتجاه المعاكس ، أي من خرج الشبكة العصبية إلى المدخلات.
بالمرور عبر الشبكة العصبية بهذه الطريقة مع كل مثال من عينة التدريب و "لف" أوزان الخلايا العصبية في الاتجاه الصحيح ، يجب أن نحصل أخيرًا على شبكة عصبية مدربة. طريقة الانتشار العكسي هي تعديل بسيط لطريقة نزول التدرج للشبكات العصبية متعددة الطبقات ، وبالتالي يجب أن تعمل مع الشبكات العصبية بأي تعقيد. نقول "ينبغي" هنا لأن هناك بالفعل حالات فشل فيها الانحدار المتدرج ولا تسمح بانحدار جيد أو تدريب الشبكة العصبية. قد يكون من المفيد معرفة أسباب مثل هذه الصعوبات.
اختيار خاطئ للحد الأدنى المطلق.تساعد طريقة النزول المتدرج في إيجاد الطرف المحلي الأقصى. لكن لا يمكننا دائمًا استخدامها لتحقيق الحد الأدنى أو الأقصى العالمي المطلق للوظيفة. يحدث هذا لأننا عندما نتحرك على طول المضاد نتوقف في اللحظة التي نصل فيها إلى الحد الأدنى المحلي الأول الذي واجهناه ، وتتوقف الخوارزمية عن العمل.
تخيل أنك تقف على قمة جبل. إذا كنت تريد النزول إلى أدنى سطح في المنطقة ، فقد لا يساعدك النزول المتدرج دائمًا ، لأن أول نقطة منخفضة في طريقك لن تكون بالضرورة هي أدنى نقطة. وإذا كنت في الحياة قادرًا على رؤية أن الأمر يستحق الصعود قليلاً ويمكنك بعد ذلك النزول إلى الأسفل ، فإن الخوارزمية في مثل هذه الحالة ستتوقف ببساطة. يمكن تجنب هذا الموقف غالبًا عن طريق اختيار الخطوة الصحيحة.
اختيار خاطئ للخطوة.طريقة الانحدار هي طريقة تكرارية. أي أننا أنفسنا بحاجة إلى اختيار حجم الخطوة - السرعة التي ننزل بها. باختيار خطوة كبيرة جدًا ، يمكننا تجاوز الحد الأقصى المطلوب وعدم إيجاد الحد الأدنى. يمكن أن يحدث هذا إذا وجدت نفسك أمام منحدر مفاجئ للغاية. ويهدد اختيار خطوة صغيرة جدًا بالتشغيل البطيء للغاية للخوارزمية إذا وجدنا أنفسنا نسبيًا سطح مستو... إذا تخيلنا مرة أخرى أننا على قمة جبل شديد الانحدار ، فقد نواجه موقفًا ، نظرًا لانحدار شديد الانحدار بالقرب من الحد الأدنى ، فإننا ببساطة نطير فوقه.
شلل الشبكة.يحدث أحيانًا أن طريقة النسب المتدرجة تفشل في إيجاد الحد الأدنى على الإطلاق. يمكن أن يحدث هذا إذا كانت هناك أقسام مسطحة على جانبي الحد الأدنى - الخوارزمية ، بعد أن وصلت إلى قسم مسطح ، تقلل الخطوة وتتوقف في النهاية. إذا قررت ، أثناء وقوفك على قمة جبل ، التحرك نحو منزلك في الأراضي المنخفضة ، فقد يكون المسار طويلًا جدًا إذا كنت تتجول بطريق الخطأ في منطقة مستوية للغاية. أو ، إذا كانت هناك "منحدرات" شديدة الانحدار على حواف المساحات المسطحة ، فإن الخوارزمية ، بعد أن اختارت خطوة كبيرة جدًا ، ستقفز من منحدر إلى آخر ، ولا تتحرك عمليًا إلى الحد الأدنى.
يجب أن تؤخذ كل هذه التعقيدات في الاعتبار عند تصميم نظام التعلم الآلي. على سبيل المثال ، من المفيد دائمًا تتبع كيفية تغير وظيفة الخطأ تمامًا بمرور الوقت - سواء كانت تسقط مع كل دورة جديدة أو ركود ، وكيف تتغير طبيعة هذا الخريف اعتمادًا على التغيير في حجم الخطوة. لتجنب الوصول إلى حد أدنى محلي سيئ ، قد يكون من المفيد البدء من نقاط عشوائية مختلفة على المنظر الطبيعي - عندها يكون احتمال التعطل أقل بكثير. هناك العديد من الأسرار الكبيرة والصغيرة للتعامل مع النسب المتدرج ، وهناك طرق تعلم أكثر غرابة لا تشبه إلى حد بعيد النسب المتدرج. هذا ، مع ذلك ، هو بالفعل موضوع لمحادثة أخرى ومقال منفصل في إطار مشروع "AI ABC".
من إعداد الكسندر إرشوف
