پردازش زبان طبیعی (natural language processing) که به اختصار NLP خوانده می شود، یکی از شاخه های هوش مصنوعی است که به کامپیوترها در درک و فهم زبان انسان کمک می کند. زبان طبیعی همان زبانی است که انسان ها از طریق آن با یکدیگر صحبت می کنند. ما انسان ها به راحتی با همدیگر ارتباط برقرار می کنیم و منظور یکدیگر را می فهمیم اما کامپیوترها توان فهم و پردازش این زبان را ندارند. شما به عنوان یک انسان می توانید با زبان های مختلفی مانند اسپانیایی، چینی، انگلیسی و … با دیگر انسان ها ارتباط برقرار کنید. ولی زبان ماشین برای انسان نامفهوم است و این ارتباطات با صفر و یک ها انجام می شود. در نتیجه راهی برای پردازش زبان انسان باید وجود داشته باشد که همان پردازش زبان طبیعی نام دارد. پردازش زبان طبیعی، علم جدیدی نیست و با توجه به اهمیت ارتباط انسان با ماشین و همچنین افزایش قدرت پردازش و الگوریتم های پیشرفته به سرعت در حال رشد است.
حدود ۷۰ سال پیش، برنامه نویس ها از کارت هایی برای برقراری ارتباط با رایانه های اولیه استفاده می کردند. این زبان فقط توسط تعداد اندکی از افراد قابل درک بود. اما هم اکنون یک فرد می تواند درخواست خود را به صورت صوتی و با زبان خود به یکی از دستیاران تشخیص گفتار مانند Alexa بدهد و او هم با استفاده از فناوری تبدیل صوت به متن فرمان را اجرا کند. در واقع چنین ابزارهایی با صحبت کردن فعال می شوند، صحبت شما را درک کرده و دستورات شما را اجرا می کنند. این کار با پردازش زبان طبیعی یا همان NLP به همراه فناوری های دیگری مانند یادگیری ماشین و یادگیری عمیق انجام می شود. پردازش زبان طبیعی برای پردازش زبان انسان در قالب نوشتار یا صوت انجام می شود.
پردازش زبان طبیعی و متن کاوی
باید توجه کنیم که پردازش زبان طبیعی همان متن کاوی نیست. متن کاوی در واقع سعی در کاوش و تحلیل متن دارد تا اطلاعات ارزشمندی را از آن استخراج کند. اما پردازش زبان طبیعی سعی در فهم و درک زبان انسان ها توسط ماشین دارد و این قابلیت را با ماشین ها و رایانه ها می دهد که زبان طبیعی انسان ها را درک کنند. البته نمی توان مرز مشخصی بین این دو در نظر گرفت و در واقع این دو فناوری با هم همپوشانی هایی دارند. در متن کاوی عموما ساختار متن در نظر گرفته نمی شود و متن به صورت تعدادی از این کلمات دیده می شود.
علت اهمیت پردازش زبان طبیعی چیست؟
حجم زیاد داده ها
NLP امکان ارتباط انسان با کامپیوتر را از طریق زبان انسان فراهم می کند. برای مثال NLP به کامپیوترها امکان خواندن متن و درک صحبت های افراد را می دهد، می تواند آن را پردازش کند، عواطف آن ها را اندازه گرفته و تعیین کند کدام قسمت مهم تر است.
با وجود داده های زیادی که روزانه در بخش های مختلف مانند گزارشات پزشکی تا شبکه های اجتماعی تولید می شود، اهمیت پردازش این اطلاعات ضروری است. بدون روشهای خودکار این کار مشکل و زمان بر خواهد بود. با استفاده از تکنیک های پردازش زبان طبیعی می توان این حجم از اطلاعات را به خوبی مدیریت کرد.
ساختاردهی داده های بدون ساختار
زبان انسان پیچیده و متنوع است. ما نظر خود را با روشهای متفاوت به صورت کلامی یا نوشتاری بیان می کنیم. صدها زبان در دنیا وجود دارد که هر کدام قواعد و اصول، ضرب المثل ها و گرامرهای مخصوص به خود را دارند. در هنگام نوشتن، کلمات اشتباه یا به صورت خلاصه نوشته می شوند، علائم نگارشی حذف می شود. در هنگام صحبت کردن نیز، لهجه های محلی وجود دارد، لکنت زبان و مسائل دیگری نیز در صحبت کردن وجود دارد که پیچیدگی زبان را افزایش می دهد.
در حال حاضر از روش های یادگیری بدون نظارت و با نظارت برای مدل سازی زبان انسان استفاده می شود، اما نیاز به روشهایی بر درک معنایی زبان نیز وجود دارد. NLP به کمک این مسئله می آید.
کارکردهای اصلی پردازش زبان طبیعی
فناوری پردازش زبان طبیعی کارکردهای مختلفی برای تفسیر زبان انسان دارد. این کارکردها از روش های آماری و یادگیری ماشین گرفته تا روشهای مبتنی بر قاعده و الگوریتمی استفاده می کنند. تحلیل معنایی (semantic analysis) و تحلیل دستور زبان (Syntactic analysis) از جمله کارکردهای پردازش زبان طبیعی هستند و زبان طبیعی با تکنیک های خود به تحلیل این موارد می پردازد.
- تحلیل معنایی: از تحلیل معنایی برای درک معنای درست یک متن استفاده می شود.
- تحلیل نحوی: از تحلیل نحوی برای بررسی دستور زبان یا همان گرامر زبان طبیعی استفاده می شود.
همان طور که در بالا اشاره شد، روش های متفاوتی برای پردازش زبان طبیعی وجود دارد که در ادامه به تعدادی از آن ها که مربوط به تحلیل دستوری و معنایی است، اشاره می کنیم:
تکنیک های تحلیل نحوی
- برچسب زنی نقش کلمات: برچسب گذاری نقش کلمات، به تعیین نقش همه ی کلمات در جمله می پردازد. هر کلمه می تواند نقش های مختلفی با توجه به جمله ای که در آن بکار می رود داشته باشد. برای مثال کلمه ی “سعید” در یک جمله اسم است (سعید به مدرسه رفت) در جمله ای دیگر صفت است (فردا عید سعید فطر است). برخی زبان ها دارای ابهام بیشتری هستند و تعیین نقش کلمه در آن ها دشوارتر می شود.
- تجزیه: تجزیه، در واقع یک درخت تجزیه از جملات می سازد. این کار بر اساس دستور زبان جمله انجام می شود. دستور زبان جملات زبان طبیعی پیچیده و مبهم است و یک جمله می تواند گرامرهای متفاوتی داشته باشد. البته این تجزیه برای ماشین ها سخت است و یک انسان به راحتی می تواند گرامر موجود در زبان طبیعی را تشخیص دهد.
- ریشه یابی: ریشه ی کلمات را پیدا می کند. برای مثال کلمه ی “زیبا” ریشه ی کلمات زیباتر و زیباترین است.
- یافتن جملات: یک متن را به جملات آن تجزیه می کند.
تکنیک های تحلیل معنایی
- تشخیص موجودیت های نامدار:شناسایی موجودیت های نام دار، به شناسایی موجودیت هایی مانند افراد، تاریخ و مکان ها و نوع آن (افراد، مکان ، سازمان) می پردازد. در زبان انگلیسی، بزرگ نوشتن حرف اول کلمات می تواند به شناسایی اسامی کمک کند، اما این کافی نیست چون در برخی مواقع حرف اول جملات هم بزرگ نوشته می شود و علاوه بر این، بزرگ نویسی حرف اول کلمات در برخی زبان های دیگر مانند عربی و فارسی وجود ندارد.
- ترجمه ماشینی:ترجمه ی ماشینی، متن مورد نظر را به زبان های دیگر ترجمه می کند. یکی از سخت ترین مسائل، ترجمه ی ماشین است.
- تولید زبان طبیعی: به معنای تولید عبارات یا جملاتی به صورت زبان طبیعی است. در واقع از این طریق داده ها به صورت داستان وار و در قابل جملات و به صورتی که توسط انسان بیان می شود، تولید خواهد شد.
- یافتن معنای کلمات: به شناسایی معنای هر کلمه در جمله می پردازد.
- پرسش و پاسخ : یک پرسش در زبان طبیعی مطرح می شود و کامپیوتر پاسخی برای آن می یابد. برخی پرسش ها دارای جوابی مشخص هستند. مانند این پرسش که “پایتخت ایران کجاست؟” اما در مقابل پرسش هایی وجود دارند که دارای پاسخی نامشخص اند مانند “معنای زندگی چیست؟” که پاسخگویی به آن مشکل است.
- تحلیل احساسات : تحلیل احساسات به تحلیل احساسات در نظرات افراد می پردازد. این نظرات در جاهای گوناگون از جمله شبکه های اجتماعی یافت می شوند. با تحلیل این موارد می توان به نظر افراد در مورد مسائل گوناگون پی برد و همچنین احساسات آن ها را شناسایی کرد. این احساسات می تواند مثبت، منفی و خنثی باشد.
کاربردهای پردازش زبان طبیعی
پردازش زبان طبیعی در دو حوزه ی گفتار و نوشتار کاربرد دارد. کاربردهای نوشتاری شامل ترجمه ی متن، تحلیل احساسات، خلاصه سازی متون و موارد این چنینی است. دستیارهای صوتی و ربات هایی که به گفتارهای انسان پاسخ می دهند، از جمله کاربردهای گفتاری آن است.
- بررسی و تحلیل محصولات و برند شرکت: شرکت ها می توانند با بررسی متن هایی که در شبکه های اجتماعی وجود دارد، نظر مردم را در مورد برند و محصولات خود بررسی کنند.
- یافتن ایمیل های اسپم: شرکت هایی مانند گوگل و یاهو با استفاده از پردازش زبان طبیعی قبل از اینکه ایمیلی وارد اینباکس شما بشود، آن را بررسی می کنند و در صورت اسپم بودن آن، از ارسال آن به شما جلوگیری می کنند.
- تشخیص اخبار جعلی: گروه پردازش زبان طبیعی در دانشگاه MIT سیستمی را توسعه داده اند که می توانند اخبار جعلی را تشخیص دهد.
- دستیارهای صوتی: دستیارهای صوتی مانند الکسا برای آمازون و سیری برای از پردازش زبان طبیعی برای پاسخ گویی به سوالات و درخواست های کاربران خود استفاده کرده اند. مثلا درخواست خرید یک محصول یا پیش بینی آب هوا و حتی پیشنهاد مسیر بهتر هنگام سفر و رانندگی از جمله درخواست هایی است که این دستیاران می توانند به آن ها پاسخ دهند.
- چت بات: چت بات های هوشمند برای پاسخ دهی به درخواست ها و سوالات افراد نیاز به پردازش زبان و فهم آن دارند تا پاسخ مناسبی برای آن ها تولید کنند. پردازش زبان طبیعی می تواند برای توسعه ی انواع چت بات های هوشمند مورد استفاده قرار بگیرد.
- برنامه های اصلاح گرامر: این برنامه ها برای تحلیل متن و اصلاح گرامر از پردازش زبان طبیعی بهره می برند. حتما تا به حال وقتی با برنامه ی ورد کار کرده اید، متوجه یافتن خطاهای گرامری در این نرم افزار شده اید. این کار با NLP انجام می شود.
- موتورهای جستجو: وقتی چیزی را در یک موتور جستجو مانند گوگل سرچ می کنید، صفحاتی از نتایج مربوطه به شما نشان داده می شود. این کار اتفاقی نیست! در گوگل الگوریتم های هوشمندی وجود دارد که محتوای سایت های مختلف را بررسی می کند تا مرتبط ترین سایت با عبارت مورد جستجوی شما را نشانتان دهد.
در ادامه چند مثال از بکار گیری پردازش زبان طبیعی در دنیای واقعی را بررسی می کنیم:
بررسی املای کلمات در یک فرم
بررسی املای کلمات یکی از امکاناتی است که NLP آن را میسر کرده است. دیگر نیازی است که افراد زمان زیادی را صرف درست نوشتن درخواست خود کنند، می توانند با استفاده از چنین امکاناتی به سرعت اشتباهات خود را تصحیح کنند. Salesforce یکی از شرکت هایی است که از این قابلیت در سایت شرکت خود در فرم ارتباط با مشتریان استفاده کرده است.
تکمیل خودکار جستجو
تکمیل خودکار عبارت مورد جستجو یکی دیگر از امکانات پردازش زبان طبیعی است که بسیاری از افراد در هنگام جستجو انتظار دارند که آن را در اختیار داشته باشند. حتما شما در هنگام جستجو در گوگل این قابلیت را مشاهده کرده اید. این ویژگی برای وبسایت شرکت ها نیز مفید است.
این قابلیت به افراد کمک می کند تا اطلاعات مورد نظر خود را سریع تر پیدا کنند که همین امر سبب افزایش رضایت آن ها و کاهش ترک وب سایت می شود.
تصحیح خودکار در جستجو
تایپ اشتباه کلمات امری رایج هنگام جستجو است. اگر موتور جستجوی سایتی املای غلط عبارت مورد جستجو را متوجه نشود، نتیجه ای برای کاربر نشان نمی دهد. در نتیجه مشتری فکر می کند شما محصول او را ندارید و سایت شما را ترک کرده و به سایت رقیب شما مراجعه می کنند.
HubSpot سایت شرکت خود را به این قابلیت مجهز کرده است. به این صورت که غلط هایی املایی را تشخیص داده و نتایج را با توجه به املای درست کلمات به او نشان می دهد.
جستجوی هوشمند
داشتن یک موتور جستجو با توانایی تکمیل خودکار به تنهایی کافی نیست. Klevu یکی از شرکت های ارائه دهنده ی جستجوی هوشمند است که از NLP برای این کار استفاده کرده و علاوه بر این توانایی یادگیری نیز دارد. این سرویس می تواند با مشاهده ی نحوه ی تعامل خریداران با جستجوها، فرایند یادگیری خود را انجام دهد.
ترجمه ی ماشینی
امروزه سازمانهای زیادی به صورت جهانی کسب و کار خود را انجام می دهند و مشتریانی از سراسر دنیا دارند. همین امر فرصت قابل توجهی برای رشد کسب و کارها فراهم می کند. یکی از چالش هایی که در این زمینه وجود دارد برقراری ارتباط با مشتریان از طریق زبان های مختلف است.
Lilt یک ابزار ترجمه است که همراه پلتفرم های مختلفی مورد استفاده قرار می گیرد تا مشکل ترجمه به زبان های مختلف از این طریق حل شود. این ابزار که توسط دو نفر از مهندسان سابق گوگل ترنزلیت توسعه یافته به صورت کامل خودکار نمی باشد و همراه با یک مترجم انسانی کار کرده و از او یاد می گیرد.
پشتیبانی پایگاه دانش
تا به حال شده چت باکسی را در سایتی مشاهده کنید و سوالات خود را مطرح کنید؟ چت باکس ها می توانند همانند یک انسان عمل کنند و به کاربر در یافتن در پاسخ درخواست هایش یاری رسانند.
Zendesk یک شرکت ارائه دهنده ی چت باکس است که خود نیز از همین سرویس چت باکس در سایتش استفاده می کند. این چت باکس، کاربران را در یافتن مقاله های مرتبط به سوالشان کمک کرده و هم چنین آن ها را در پایگاه دانش شرکت مورد نظر هدایت می کند. اگر کاربر از پاسخ ارائه شده راضی نبود، چت باکس او را به یک اپراتور انسانی هدایت می کند.
تحلیل نظرسنجی ها
NLP به شناخت احساس مردم نسب به سازمانشان کمک کند. IBM SPSS Text Analytics for Surveys یک ابزار برای تحلیل هر گونه متنی است و توانایی ترجمه هم دارد. با وجود اینکه این ابزار برای بسیاری از سازمان ها مفید است ولی خیلی کاربر پسند نیست.
نظارت بر شبکه های اجتماعی
دانستن اینکه مشتری ها در شبکه ی اجتماعی درباره ی شرکت شما چه چیزهایی می گویند می تواند شرکت شما را در ایجاد محصولات و سرویس های بهتری یاری رساند. پردازش زبان طبیعی نظارت بر این بازخوردها را تسهیل و تسریع می کند.
Sprout Social یک ابزار برای نظارت بر شبکه های اجتماعی است که فعالیت های شبکه ی اجتماعی که در مورد شرکت شما انجام می شود را تحلیل می کند. بر خلاف IBM SPSS Text Analytics for Surveys این ابزار کاربرپسندتر است و نیازی به داده های ورودی برای تحلیل ندارد.
تحلیل توصیفی
بازخوردهای مشتریان نه تنها اطلاعات مهمی را در اختیار دیگر مشتریان جهت اطمینان در مورد محصولات شرکت مورد نظر، می گذارند بلکه حاوی اطلاعات ارزشمند دیگری هم هستند. راضی نگه داشتن مشتریان یکی از چالش های بزرگ هر سازمانی است. پردازش زبان طبیعی کمک زیادی در فرایند خدمت رسانی به مشتریان انجام می دهد و یک ابزار قدرتمند در زمینه ی شناخت سلیقه، ترجیحات و ادراک مشتری است.
Wonderflow’s Wonderboard ابزاری است که تعداد دفعات تکرار ویژگی های مثبت و منفی محصول شما را هم نشان می دهد. این ابزار تنها برای تحلیل بازخوردها استفاده نمی شود، می تواند انواع داده ها از جمله نظرسنجی ها، اطلاعات داخلی و دیگر داده ها را تحلیل کند. در نتیجه شرکت ها از ویژگی های مثبت محصولات خود آگاه شده و علاوه بر این به رفع نقاط ضعف خود می پردازند.
آگاهی خودکار
این ویژگی نه تنها می تواند ترند را از بین حجم زیادی از داده ها پیدا کند بلکه توانایی مشخص کردن عملکرد یک محصول یا سرویس را در بین این داده ها نیز دارد.
Wonderboard برای ایجاد آگاهی در مورد محصولات و خدمات، زبان انسان را شبیه سازی کرده و یک دیدگاه بی طرفانه در مورد محصول ارائه می دهد. مثلا اگر فردی سوال کند که منفی ترین نظر در مورد این محصول چیست، این ابزار، پاسخ مورد نظر را تولید می کند.
بات های پیام رسان
چت بات ها روشی برای پاسخ گویی به سوالات ساده ی کاربران هستند. ربات های هوشمندتری در حال توسعه هستند تا بتوانند کاربران را برای سوال های سخت تری یاری رسانند.
پیام رسان فیسبوک یکی از روشهایی اتصال مشتری ها با شرکت هاست. در سال ۲۰۱۵ شرکت Uber ، بات پیام رسان فیسبوک را راه اندازی کرد. با استفاده از این بات ها کاربران می توانند به راحتی ماشینی را از داخل پیام رسان سفارش دهند. اگر کاربران به آدرس مقصد در داخل برنامه دسترسی داشتند باشند، سفارش ماشین برای آن ها راحت تر هم خواهد بود.
پالایش هوشمند متن
پالاش هوشمند متن به منظور بررسی متن و کشف و شناسایی قسمت هست هایی که حاوی کلمات و عبارت نامناسب است انجام می شود. مثلا اگر در متنی عباراتی دارای ناسزا و کلمات غیراخلاقی باشند امکان شناسایی آن ها وجود دارد.
منابع: منبع یک، منبع دو، منبع سه، منبع چهار
