دو جہتی توجہ کا بہاؤ

دو طرفہ توجہ بہاؤ(انگریزی: (Bi-Directional Attention Flow (BiDAF) مشین سمجھنے کے لیے ایک تکنیک ہے ، یعنی غیر ساختہ متن کو پڑھنے اور سمجھنے کی صلاحیت اور پھر اس کے بارے میں سوالات کے جوابات جن کی تشکیل منجن سیئو ، انیرودھ کیمھاوی ، علی فرہادی ، ہنناح حاجیرزی نے کی ہے۔

اورینگل بائی ڈی اے ایف اسٹینفورڈ سوال جواب دینے والے ڈیٹاسیٹ (ایس کیو اے ڈی) اور سی این این / ڈیلی میل کلوز ڈیٹاسیٹس پر انجام دیا گیا۔

کارکردگی

جب بیدف شائع ہوا تو اس نے جدید ترین کارکردگی اس پر حاصل کی:

• اسٹینفورڈ سوال جواب دینے والا ڈیٹاسیٹ (ایس کیو اے ڈی)
• سی این این / ڈیلی میل کلوز ٹیسٹ

منطق

ٹوکنائزیشن: بائی ڈی اے ایف میں ، آنے والا سوال اور اس کے تناظر کو سب سے پہلے نشان زد کیا گیا ہے ، یعنی ان دو لمبی تاروں کو ان کے جزوگ الفاظ میں توڑ دیا گیا ہے۔

ورڈ ایمبیڈنگ: ٹوکنائزیشن کے نتیجے میں آنے والے الفاظ پھر سرایت کے عمل کے تابع ہوجاتے ہیں ، جہاں وہ اعداد کے ویکٹر میں تبدیل ہوجاتے ہیں۔

اصل بی ڈی اے ایف میں مستعمل امیجنگ الگورتھم کا لفظ گلو ویو ہے۔ بائی ڈی اے ایف نے استفسار اور سیاق و سباق میں الفاظ کی ویکٹر کی نمائندگی حاصل کرنے کے لیے پہلے سے تربیت یافتہ گلولو ایمبیڈنگز کا استعمال کیا ہے۔

لفظ سرایت کرنے والا مرحلہ سیاق و سباق کے ٹوکن اور سوالات کے ٹوکن کو میٹرک میں تبدیل کرتا ہے۔

یہ ویکٹر گرائمٹیکل فنکشن (نحو) اور الفاظ کے معنی (الفاظ) پر قبضہ کرتے ہیں اور ہمیں ان پر ریاضی کے مختلف عمل انجام دینے کے اہل بناتے ہیں۔

کریکٹر لیول ایمبیڈنگ: اس مرحلے میں الفاظ کی اعداد و شمار کی نمائندگی تلاش کرنے کے لیے ان کی خصوصیات کی سطح کے مرکبات کو دیکھ کر مجازی عصبی نیٹ ورک (سی این این) استعمال ہوتا ہے۔

◦ اس کی ضرورت ہے کیونکہ گلو وے الفاظ سے باہر الفاظ (OOV) کے ساتھ محض کچھ بے ترتیب ویکٹر اقدار تفویض کرکے معاملات انجام دیتا ہے۔ ہمیں ایک اور ایمبیڈنگ میکانزم کی ضرورت ہے جو OOV الفاظ کو سنبھال سکے۔ یہ وہ جگہ ہے جہاں کردار کی سطح امبیڈنگ ہوتی ہے۔

ہائی وے نیٹ ورک: عمودی طور پر گلو ویو (لفظ) سرایت کرنا اور دوسرا سی این این (کریکٹر) سے ملنے والی نمائندگی اور ایک ہائی وے نیٹ ورک سے گذرنا۔

ہائی وے نیٹ ورک کا کردار لفظ سرایت اور کردار کو سرایت کرنے والے اقدامات سے متعلقہ شراکت کو ایڈجسٹ کرنا ہے۔

لفظ ایمبیڈنگ سے کنکریٹڈ میٹرکس اور کردار کو سرایت کرنے کے مراحل ہائی وے نیٹ ورک میں گذر گئے ہیں۔

سیاق و سباق میں شامل ہونا: متعلقہ سرایت کرنے والی پرت لانگ شارٹ ٹرم میموری (LSTM) ترتیب پر مشتمل ہے جو دو طرفہ-LSTM (دوئ- LSTM) ہیں ، جو دونوں فارورڈ کے ساتھ ساتھ پسماندہ- LSTM تسلسل پر مشتمل ہے۔

مسئلہ یہ ہے کہ پچھلی لفظ کی نمائندگی کرنے والے الفاظ ’سیاق و سباق کے معنی‘ کو نہیں لیتے ہیں۔

سیاق و سباق کو شامل کرنے والا مرحلہ آؤٹ پٹ میٹرکس میں متعلقہ معلومات کو سرایت کرنے کے لیے دوئ LSTM کا استعمال کرتا ہے۔

توجہ بہاؤ پرت:

• مماثلت میٹرکس کی تشکیل - مماثلت میٹرکس ایس کی نسل کو مطابقت میٹرکس میں ہر کالم اور استفسار میٹرکس میں ہر کالم سے تقابلی فنکشن لگانے پر مشتمل ہے۔ میٹرکس S کی قطار t اور کالم J کی قدر t-th سیاق و سباق کے لفظ اور j-th سوال لفظ کی مماثلت کی نمائندگی کرتی ہے۔

• سیاق و سباق سے متعلق توجہ (C2Q) - اس مرحلے کا ہدف یہ ہے کہ کونسی سوال کے الفاظ ہر سیاق و سباق کے الفاظ کے ساتھ زیادہ مطابقت رکھتے ہیں۔

• استفسار سے متعلق حوالہ (Q2C) توجہ - ہمارا مقصد یہ ہے کہ کون سا سیاق و سباق لفظ کے کسی ایک لفظ سے ملتے جلتے ہیں لہذا سوال کا جواب دینے کے لیے اہم ہیں۔

آخر میں یہ مرحلہ استفسار اور سیاق و سبق کے جوہروں کو جوڑتا ہے اور سیاق و سباق میں ہر لفظ کے ل query استفسار سے آگاہ فیچر ویکٹرز کا ایک مجموعہ تیار کرتا ہے۔

ماڈلنگ پرت: استفسار کے لیے سیاق و سباق کی اہمیت ضم کردی گئی ہے۔ ہمیں آؤٹ پٹ کے طور پر دو عددی ویکٹر ملتے ہیں جو لفظ سے سوال کے مطابقت پزیر ہوتے ہیں۔ ماڈلنگ پرت نسبتا آسان ہے۔ اس میں دو ایل ایس ٹی ایم کی دو پرتیں ہیں۔ ماڈلنگ پرت میں ، مندرجہ بالا مرحلے سے میٹرکس دو ویکٹر تشکیل دینے کے لیے دو دو ایل ایس ٹی ایم پرتوں سے گزرتا ہے۔

آؤٹ پٹ پرت: ان دو عددی ویکٹرس کو جو لفظ کی مطابقت کو کووری سے دو امکانی اقدار میں تبدیل کرتی ہے تاکہ ہم تمام سیاق و سباق کے سوالات کی مطابقت کا موازنہ کرسکیں۔