أوضح بيرت: ما تحتاج لمعرفته حول خوارزمية Google الجديدة

نشرت: 2020-12-12

أحدث تحديث خوارزمي من Google ، BERT ، يساعد Google على فهم اللغة الطبيعية بشكل أفضل ، لا سيما في البحث التخاطبي.

سيؤثر BERT على حوالي 10٪ من الاستفسارات. سيؤثر أيضًا على الترتيب العضوي والمقتطفات المميزة. لذلك هذا ليس تغيير بسيط!

لكن هل تعلم أن BERT ليس مجرد تحديث خوارزمي ، ولكنه أيضًا ورقة بحثية وإطار عمل لمعالجة اللغة الطبيعية للتعلم الآلي؟

في الواقع ، في العام الذي سبق تنفيذه ، تسبب BERT في عاصفة شديدة من النشاط في البحث عن الإنتاج.

في 20 نوفمبر ، قمت بالإشراف على ندوة عبر الإنترنت في مجلة محرك البحث قدمها داون أندرسون ، المدير الإداري في بيرتي.

أوضح أندرسون ما هو Google BERT حقًا وكيف يعمل ، وكيف سيؤثر على البحث ، وما إذا كان يمكنك محاولة تحسين المحتوى الخاص بك من أجله.

فيما يلي ملخص للعرض التقديمي عبر الويب.

العرض =

ما هو BERT في البحث؟

BERT ، التي تعني تمثيلات التشفير ثنائية الاتجاه من المحولات ، هي في الواقع أشياء كثيرة.

الإعلانات
أكمل القراءة أدناه

يُعرف بشكل أكثر شيوعًا باسم مكون / أداة / إطار عمل لخوارزمية بحث Google يسمى Google BERT والذي يهدف إلى مساعدة البحث في فهم الفروق الدقيقة وسياق الكلمات في عمليات البحث بشكل أفضل ومطابقة هذه الاستعلامات بشكل أفضل مع نتائج مفيدة.

BERT هو أيضًا مشروع بحثي مفتوح المصدر وورقة أكاديمية. نُشر لأول مرة في أكتوبر 2018 تحت عنوان بيرت: التدريب المسبق على المحولات ثنائية الاتجاه العميقة لفهم اللغة ، وقد تم تأليف الورقة من قبل جاكوب ديفلين ، مينج وي تشانغ ، كينتون لي ، كريستينا توتانوفا.

بالإضافة إلى ذلك ، BERT عبارة عن إطار عمل NLP لمعالجة اللغة الطبيعية أنتجته Google ومن ثم تم فتحه بحيث يمكن أن يتحسن مجال بحث معالجة اللغة الطبيعية بالكامل في فهم اللغة الطبيعية بشكل عام.

ستجد على الأرجح أن معظم إشارات BERT عبر الإنترنت لا تتعلق بتحديث Google BERT.

هناك الكثير من الأوراق الفعلية حول BERT التي يجريها باحثون آخرون لا يستخدمون ما قد تعتبره تحديث خوارزمية Google BERT.

لقد سرَّع BERT بشكل كبير فهم اللغة الطبيعية NLU أكثر من أي شيء آخر ، ومن المحتمل أن يكون تحرك Google لفتح المصدر BERT قد غير معالجة اللغة الطبيعية إلى الأبد.

الإعلانات
أكمل القراءة أدناه

إن مجتمعات تعلم الآلة ، ML و NLP متحمسة للغاية بشأن BERT لأنها تتطلب قدرًا كبيرًا من العبء الثقيل من قدرتها على إجراء البحوث في اللغة الطبيعية. لقد تم تدريبه مسبقًا على الكثير من الكلمات - وعلى إجمالي ويكيبيديا الإنجليزية 2500 مليون كلمة.

توفر Vanilla BERT طبقة نقطة انطلاق مُدربة مسبقًا للشبكات العصبية في التعلم الآلي ومهام متنوعة للغة الطبيعية.

بينما تم تدريب BERT مسبقًا على Wikipedia ، فقد تم ضبطه بدقة على مجموعات بيانات الأسئلة والأجوبة.

إحدى مجموعات بيانات الأسئلة والأجوبة التي يمكن ضبطها بدقة تسمى MS MARCO: مجموعة بيانات قراءة آلية من صنع الإنسان تم إنشاؤها ومفتوحة المصدر بواسطة Microsoft.

هناك أسئلة وإجابات حقيقية من Bing (استعلامات مجهولة المصدر من مستخدمي Bing حقيقيين) تم تضمينها في مجموعة بيانات مع أسئلة وإجابات لباحثي ML و NLP لتحسينها ثم يتنافسون مع بعضهم البعض لبناء أفضل نموذج.

يتنافس الباحثون أيضًا على فهم اللغة الطبيعية مع SQuAD (مجموعة بيانات الإجابة على الأسئلة في ستانفورد). حتى أن BERT الآن تتفوق على معيار التفكير البشري في SQuAD.

تقوم العديد من شركات الذكاء الاصطناعي الكبرى أيضًا ببناء إصدارات BERT:

  • تمدد Microsoft على BERT مع MT-DNN (شبكة عصبية عميقة متعددة المهام).
  • RoBERTa من Facebook.
  • تم إنشاء SuperGLUE Benchmark لأن معيار GLUE الأصلي أصبح سهلاً للغاية.

ما هي التحديات التي تساعد بيرت على حلها؟

هناك أشياء نفهمها نحن البشر بسهولة ولا تفهمها الآلات على الإطلاق بما في ذلك محركات البحث.

مشكلة الكلمات

مشكلة الكلمات هي أنها موجودة في كل مكان. المزيد والمزيد من المحتوى موجود هناك

الكلمات إشكالية لأن الكثير منها غامض ومتعدد المعاني ومترادف.

تم تصميم Bert للمساعدة في حل الجمل والعبارات الغامضة التي تتكون من الكثير والكثير من الكلمات ذات المعاني المتعددة.

الغموض وتعدد المعاني

تقريبًا كل كلمة أخرى في اللغة الإنجليزية لها معاني متعددة. في الكلمة المنطوقة ، هو أسوأ بسبب الهوموفون والعروض.

على سبيل المثال ، "أربعة شموع" و "مقابض شوكة" لمن يتحدثون بلكنة إنجليزية. مثال آخر: تستند نكات الكوميديين في الغالب على التلاعب بالكلمات لأن الكلمات من السهل جدًا تفسيرها بشكل خاطئ.

الإعلانات
أكمل القراءة أدناه

لا يمثل ذلك تحديًا كبيرًا بالنسبة لنا كبشر لأن لدينا الفطرة السليمة والسياق حتى نتمكن من فهم جميع الكلمات الأخرى التي تحيط بسياق الموقف أو المحادثة - لكن محركات البحث والآلات لا تفعل ذلك.

هذا لا يبشر بالخير لبحث المحادثة في المستقبل.

سياق الكلمة

"معنى الكلمة هو استخدامها في اللغة." - لودفيج فيتجنشتاين ، فيلسوف ، 1953

يعني هذا في الأساس أن الكلمة ليس لها معنى ما لم يتم استخدامها في سياق معين.

يتغير معنى الكلمة حرفيًا مع تطور الجملة بسبب الأجزاء المتعددة من الكلام التي يمكن أن تكون الكلمة في سياق معين.

ستانفورد بارسير

مثال على ذلك ، يمكننا أن نرى في الجملة القصيرة فقط "أحب الشكل الذي يبدو مثل الآخر." بمفردها باستخدام أداة تمييز جزء الكلام من ستانفورد أن كلمة "أعجبني" تعتبر جزئين منفصلين من الكلام (POS).

الإعلانات
أكمل القراءة أدناه

يمكن استخدام كلمة "like" كأجزاء مختلفة من الكلام بما في ذلك الفعل والاسم والصفة.

لذلك ، حرفياً ، كلمة "أعجبني" ليس لها معنى لأنها يمكن أن تعني كل ما يحيط بها. يتغير سياق "الإعجاب" بحسب معاني الكلمات التي تحيط به.

كلما كانت الجملة أطول ، كان من الصعب تتبع جميع أجزاء الكلام المختلفة داخل الجملة.

على NLR و NLU

التعرف على اللغة الطبيعية لا يُفهم

يتطلب فهم اللغة الطبيعية فهم السياق والمنطق المنطقي. يعد هذا تحديًا كبيرًا للآلات ولكنه مباشر إلى حد كبير بالنسبة للبشر.

فهم اللغة الطبيعية ليس بيانات منظمة

تساعد البيانات المنظمة في إزالة الغموض ولكن ماذا عن الفوضى الساخنة بينهما؟

لم يتم تعيين كل شخص أو شيء على الرسم البياني المعرفي

لا يزال هناك الكثير من الفجوات التي يتعين سدها. هنا مثال.

البرمجة اللغوية العصبية المعتمدة على علم الوجود

كما ترون هنا ، لدينا كل هذه الكيانات والعلاقات فيما بينها. هذا هو المكان الذي يأتي فيه NLU حيث تم تكليفه بمساعدة محركات البحث على سد الفجوات بين الكيانات المسماة.

الإعلانات
أكمل القراءة أدناه

كيف يمكن لمحركات البحث سد الفجوات بين الكيانات المسماة؟

توضيح اللغة الطبيعية

"يجب أن تعرف كلمة من الشركة التي تحتفظ بها." - جون روبرت فيرث ، لغوي ، 1957

الكلمات التي تعيش معًا مرتبطة بقوة:

  • التواجد المشترك.
  • يوفر التواجد المشترك السياق.
  • التواجد المشترك يغير معنى الكلمة.
  • الكلمات التي تشترك في جيران متشابهين مرتبطة بقوة أيضًا.
  • التشابه والارتباط.

يتم تدريب النماذج اللغوية على مجموعة نصية كبيرة جدًا أو مجموعات كبيرة من الكلمات لتعلم التشابه التوزيعي ...

تمثيلات المتجهات للكلمات (متجهات الكلمات) تمثيلات المتجهات للكلمات (متجهات الكلمات)

... وبناء نماذج فضاء متجهة لحفلات الزفاف.

نماذج الفضاء المتجهات لحفلات الزفاف كلمة

تتعلم نماذج البرمجة اللغوية العصبية NLP أوزان مسافات التشابه والارتباط. ولكن حتى لو فهمنا الكيان (الشيء) نفسه ، فنحن بحاجة إلى فهم سياق الكلمة

الإعلانات
أكمل القراءة أدناه

الكلمات الفردية ليس لها معنى دلالي ، لذا فهي بحاجة إلى تماسك النص. التماسك هو الارتباط النحوي والمعجمي داخل النص أو الجملة الذي يجمع النص معًا ويعطيه معنى.

السياق الدلالي مهم. بدون الكلمات المحيطة ، يمكن أن تعني كلمة "دلو" أي شيء في الجملة.

  • ركل الدلو.
  • لا يزال يتعين علي شطب ذلك من قائمة الجرافات الخاصة بي.
  • امتلأ الدلو بالماء.

جزء مهم من هذا هو وضع علامات على جزء من الكلام (POS):

وضع العلامات على نقاط البيع

كيف يعمل بيرت

قامت نماذج اللغات السابقة (مثل Word2Vec و Glove2Vec) ببناء عمليات تضمين كلمات خالية من السياق. من ناحية أخرى ، يوفر BERT "السياق".

الإعلانات
أكمل القراءة أدناه

لفهم كيفية عمل BERT بشكل أفضل ، دعنا نلقي نظرة على معنى الاختصار.

ب: ثنائي الاتجاه

في السابق ، كانت جميع نماذج اللغة (على سبيل المثال ، Skip-gram و Continuous Bag of Words) أحادية الاتجاه بحيث يمكنها فقط تحريك نافذة السياق في اتجاه واحد - نافذة متحركة من الكلمات "n" (إما يسار أو يمين الكلمة المستهدفة) لفهم سياق الكلمة.

نموذج لغة أحادي الاتجاه مصمم لغة أحادي الاتجاه

معظم مصممي اللغة أحادي الاتجاه. يمكنهم اجتياز نافذة سياق الكلمة من اليسار إلى اليمين فقط أو من اليمين إلى اليسار. في اتجاه واحد فقط ، ولكن ليس كلاهما في نفس الوقت.

الإعلانات
أكمل القراءة أدناه

بيرت مختلف. يستخدم BERT نمذجة لغة ثنائية الاتجاه (وهي الأولى).

بيرت يستطيع BERT رؤية الجانب الأيسر والأيمن للكلمة المستهدفة.

يمكن لبيرت رؤية الجملة بأكملها على جانبي نمذجة اللغة السياقية للكلمة وجميع الكلمات في وقت واحد تقريبًا.

ER: تمثيلات التشفير

ما يتم ترميزه يتم فك تشفيره. إنها آلية الدخول والخروج.

T: المحولات

يستخدم BERT "المحولات" و "نمذجة اللغة المقنعة".

كانت إحدى المشكلات الكبرى في فهم اللغة الطبيعية في الماضي هي عدم القدرة على فهم السياق الذي تشير إليه الكلمة.

الإعلانات
أكمل القراءة أدناه

الضمائر ، على سبيل المثال. من السهل جدًا عدم معرفة من يتحدث عنه شخص ما في محادثة. حتى البشر يمكن أن يكافحوا لتتبع من تتم الإشارة إلى شخص ما في محادثة طوال الوقت.

يشبه هذا نوعًا ما لمحركات البحث ، لكنهم يكافحون لتتبع الوقت الذي تقول فيه هو ، هم ، هي ، نحن ، وما إلى ذلك

لذا فإن جزء اهتمام المحولات من هذا يركز في الواقع على الضمائر وكل معاني الكلمات التي تتحد معًا لمحاولة ربط من يتم التحدث إليه أو ما يتم التحدث عنه في أي سياق معين.

نمذجة اللغة المقنعة تمنع الكلمة الهدف من رؤية نفسها. القناع ضروري لأنه يمنع الكلمة الموجودة تحت التركيز من رؤية نفسها بالفعل.

عندما يكون القناع في مكانه ، تخمن بيرت فقط ما هي الكلمة المفقودة. إنه جزء من عملية الضبط أيضًا.

ما أنواع مهام اللغة الطبيعية التي تساعد فيها BERT؟

سيساعدك BERT في أشياء مثل:

الإعلانات
أكمل القراءة أدناه
  • تحديد الكيان المسمى.
  • النص الذي يستلزم توقع الجملة التالية.
  • قرار Coreference.
  • إجابة السؤال.
  • توضيح معنى الكلمة.
  • تلخيص تلقائي.
  • قرار تعدد المعاني.

قامت BERT بتطوير أحدث معايير (SOTA) عبر 11 مهمة في البرمجة اللغوية العصبية.

كيف ستؤثر BERT على البحث

ستساعد BERT Google على فهم اللغة البشرية بشكل أفضل

سيحدث فهم BERT للفروق الدقيقة في لغة الإنسان فرقًا كبيرًا في كيفية تفسير Google للاستعلامات لأن الأشخاص يبحثون بوضوح باستخدام استعلامات استفهام أطول.

سوف تساعد BERT في توسيع نطاق البحث التحادثي

سيكون لـ BERT أيضًا تأثير كبير على البحث الصوتي (كبديل ل Pygmalion المبتلى بالمشاكل).

توقع قفزات كبيرة لتحسين محركات البحث الدولية

يمتلك BERT هذه القدرة اللغوية الأحادية إلى اللغات المتعددة لأن الكثير من الأنماط في لغة واحدة تترجم إلى لغات أخرى.

هناك إمكانية لنقل الكثير من الدروس المستفادة إلى لغات مختلفة على الرغم من أنها لا تفهم بالضرورة اللغة نفسها بشكل كامل.

ستفهم Google بشكل أفضل "الفروق الدقيقة في السياق" وطلبات البحث الغامضة

يشتكي الكثير من الناس من تأثر ترتيبهم.

الإعلانات
أكمل القراءة أدناه

لكنني أعتقد أن هذا ربما يكون أكثر لأن Google قد تحسنت بطريقة ما في فهم السياق الدقيق للاستعلامات والسياق الدقيق للمحتوى.

لذلك ربما تكون Google أكثر قدرة على فهم الفروق الدقيقة في السياق وطلبات البحث الغامضة.

هل يجب عليك (أو يمكنك) تحسين المحتوى الخاص بك لـ BERT؟

على الاغلب لا.

Google BERT هو إطار عمل لفهم أفضل. لا تحكم على المحتوى في حد ذاته. إنه يفهم بشكل أفضل ما هو موجود هناك.

على سبيل المثال ، قد يفهم Google Bert المزيد فجأة وربما هناك صفحات هناك مفرطة في التحسين والتي قد تتأثر فجأة بشيء آخر مثل Panda لأن BERT من Google أدرك فجأة أن صفحة معينة لم تكن ذات صلة بشيء ما.

هذا لا يعني أنك تقوم بالتحسين من أجل BERT ، فمن الأفضل لك أن تكتب بشكل طبيعي في المقام الأول.

[ملخص الفيديو] شرح بيرت: ما تحتاج لمعرفته حول خوارزمية Google الجديدة

شاهد ملخص الفيديو للعرض التقديمي عبر الويب.

الإعلانات
أكمل القراءة أدناه

أو تحقق من SlideShare أدناه.

أوضح بيرت: ما تحتاج لمعرفته حول خوارزمية Google الجديدة من مجلة محرك البحث

اعتمادات الصورة

تم التقاط جميع لقطات الشاشة بواسطة المؤلف ، نوفمبر 2019

انضم إلينا في ندوتنا التعليمية القادمة على الويب!

هل تتطلع إلى بناء المجموعة الصحيحة من موارد تحسين محركات البحث لشركتك؟ انضم إلى ندوتنا التعليمية التالية على الويب وتعرف على أوضح إطار عمل لإنشاء مجموعة موارد تحسين محركات البحث المثالية.

حسِّن حزمة موارد تحسين محركات البحث لديك: احصل على ما تحتاج إليه ، وتخلص مما لا تحتاج إليه