বায়ো ইটস ওয়ার্ল্ড: বায়োকে আরও এগিয়ে নিতে AI ব্যবহার করা

এই পর্বে, বিজয় পান্ডে ইনসেপটিভ-এর সহ-প্রতিষ্ঠাতা এবং সিইও জ্যাকব উসকোরিটের সাথে কথা বলেছেন। একসাথে, তারা এআই নিয়ে সমস্ত কিছু নিয়ে আলোচনা করে।

আপনি যদি পড়তে চান তাহলে আমরা নীচে সম্পূর্ণ ট্রান্সক্রিপ্টটি প্রকাশ করছি।

***

অলিভিয়া ওয়েব: হ্যালো, এবং বায়ো ইটস ওয়ার্ল্ডে স্বাগতম, বায়ো, স্বাস্থ্যসেবা এবং প্রযুক্তির সংযোগস্থলে একটি পডকাস্ট৷ আমি অলিভিয়া ওয়েব, a16z এ Bio + Health এর সম্পাদকীয় প্রধান। এই পর্বে, আমরা জ্যাকব উসকোরিতের সাথে কথা বলেছি, যিনি আগে Google ব্রেইনের ছিলেন, এবং ইনসেপটিভ-এর সহ-প্রতিষ্ঠাতা। জ্যাকব সেমিনাল AI গবেষণা পত্রের লেখকদের মধ্যে একজন হলেন অ্যাটেনশন ইজ অল ইউ নিড, যা আমরা শো নোটে লিঙ্ক করব। জ্যাকব বিজয় পান্ডের সাথে বসেছিলেন, a16z Bio + Health-এর প্রতিষ্ঠাতা অংশীদার, AI: Google Brain-এ তাঁর সময় থেকে শুরু করে, মানুষ এবং কম্পিউটার কীভাবে ভাষা প্রক্রিয়া করে, RNA-এর প্রতিশ্রুতিতে Inceptive-এর বিশ্বাস, এবং জ্যাকব কীভাবে আমাদের বিশ্বাস করে। AI এর সাথে ইনফ্লেকশন পয়েন্ট টেরিটরিতে প্রবেশ করছি।

এটি এমন একটি পর্ব যা আপনি মিস করতে চান না—কিন্তু এটি AI-তে একটি স্নাতক স্তরের আলোচনা, তাই আমরা পর্বের পাশাপাশি একটি প্রতিলিপি প্রকাশ করব৷ চল শুরু করি.

প্রযোজ্য অ্যালগরিদম

বিজয় পান্ডে: তাই জ্যাকব, বায়ো ইটস ওয়ার্ল্ডে থাকার জন্য আপনাকে অনেক ধন্যবাদ। তোমাকে পেয়ে খুব ভালো লাগছে।

জ্যাকব উসকোরেইট: এখানে এসে দারুণ। আমার থাকার জন্য আপনাকে ধন্যবাদ.

বিজয় পান্ডে: বিশেষ করে যেহেতু আপনার কাছে একজন কম্পিউটার বিজ্ঞানী এবং উদ্যোক্তা এবং প্রতিষ্ঠাতা হিসাবে এমন একটি আকর্ষণীয় গল্প রয়েছে, তাই আমি আপনার ক্যারিয়ারের যাত্রার মধ্য দিয়ে আমাদের নিয়ে যেতে চাই, যেখানে আপনি চান শুরু করুন, কিন্তু যা আপনাকে গুগল ব্রেইনে পৌঁছে দিয়েছে তা সম্ভবত শুরু করার জন্য একটি চমৎকার জায়গা। .

জ্যাকব উসকোরেইট: আমি সত্যিই কিছু পরিমাণে মনে রেখেছি, উহ, মেশিন লার্নিং এর এই সমস্যাটির সম্মুখীন হয়েছি, সম্ভবত বিস্তৃত অর্থে, [এবং] ভাষা বোঝার ক্ষেত্রে, কিছুটা আরও নির্দিষ্টভাবে, একটি সমস্যা যা পরিবারে চলে। তাই আমার বাবা একজন কম্পিউটার বিজ্ঞানী এবং কম্পিউটেশনাল ভাষাবিদ এবং আপনি জানেন, ট্যুরিং মেশিনের মতো বড় হওয়া জিনিসগুলি একেবারে প্রথম দিকে সম্পূর্ণ বিদেশী ধারণা ছিল না।

বিজয় পান্ডে: হ্যাঁ, এটা মনে হচ্ছে এটা হতে পারে ডিনার টেবিল কথোপকথন, আসলে.

জ্যাকব উসকোরেইট: তারা ডিনার টেবিল কথোপকথন ছিল. এবং তাই বিশেষ করে সীমিত অটোমেটা, এবং কিভাবে তারা আসলে ভেন্ডিং মেশিনের সাথে সম্পর্কিত, আপনি জানেন, সাধারণ বিষয়। আমি যত বড় হয়েছি, ততই আমি নিশ্চিত করতে চেয়েছিলাম যে আমি আসলে অন্য কিছু করতে পেরেছি। এবং তাই আমি সেখানে বিশুদ্ধ গণিত এবং সম্পর্কিত ক্ষেত্রগুলির মধ্যে বেশ খানিকটা সন্ধান করেছি। [আমি] সত্যিই অপ্টিমাইজেশানে, অপ্টিমাইজেশান অ্যালগরিদম, সামগ্রিকভাবে অ্যালগরিদম, আরও বিস্তৃত জটিলতা তত্ত্বের উপর বেশ খানিকটা ফোকাস করেছি, বুঝতে পারার আগে যে এটি সম্ভবত সবচেয়ে ব্যবহারিক জিনিস এবং সবচেয়ে প্রযোজ্য জিনিস ছিল না, যা আপনি জানেন, এক ধরণের হয়ে গেছে আমার কর্মজীবন জুড়ে একটি লাল থ্রেড একটি বিট. এবং তারপরে আক্ষরিক অর্থে 2005 সালে একটি গুগল ইন্টার্নশিপ ফিরে আসে।

আমাকে কয়েকটি ভিন্ন বিকল্প দেওয়া হয়েছিল [যেমন] কোন ধরনের গবেষণা প্রকল্পে যোগ দিতে হবে, [এবং] তাদের মধ্যে বিভিন্ন কম্পিউটার দৃষ্টি প্রচেষ্টা ছিল, কিন্তু এছাড়াও মেশিন অনুবাদ প্রকল্প যা মূলত Google অনুবাদে পরিণত হয়েছিল। ঠিক সেই সময়ের কাছাকাছি, বা তার একটু আগে, [অনুবাদ] তার প্রথম পণ্যটি চালু করেছিল যা সত্যিই Google অভ্যন্তরীণ সিস্টেম দ্বারা চালিত ছিল যা তৈরি করা হয়েছিল এবং একটি নির্দিষ্ট অর্থে, আমার হতাশায়, এটি দেখা যাচ্ছে যে Google অনুবাদ এখানে এখন পর্যন্ত সবচেয়ে আকর্ষণীয় বড় স্কেল অ্যালগরিদম সমস্যা ছিল.

সেই সময়ে, এটি দেখতে সত্যিই আকর্ষণীয় ছিল, কারণ যেটি আমাকে আমার পিএইচডি বাতিল করতে এবং সেই ইন্টার্নশিপের পরে গুগলে ফিরে আসতে রাজি করেছিল, তা সত্যিই আমার সময়ে এটি স্পষ্ট হয়ে গিয়েছিল যে আপনি যদি কিছুতে কাজ করতে চান মেশিন লার্নিং যেটি শুধুমাত্র আকর্ষণীয় ছিল না এবং বুদ্ধিবৃত্তিক এবং বৈজ্ঞানিকভাবে বলা যাক, উত্তেজনাপূর্ণ, চ্যালেঞ্জিং এবং উদ্দীপক, কিন্তু এটি শিল্পে এবং পণ্যগুলিতে সরাসরি সুচ সরানোর সত্যিই উচ্চ আশা ছিল। সেখানে সত্যিই, সেই সময়ের কাছাকাছি, পৃথিবীতে খুব বেশি জায়গা ছিল না। এবং সেগুলি অবশ্যই সেই সময়ে একাডেমিক ল্যাব ছিল না, তবে গুগলের মতো অনেক জায়গা ছিল। এবং গুগল সেখানে এবং তারপর আসলে অনেক এই অগ্রভাগে ছিল. এবং তাই, আপনি জানেন, সেই সময়ে আমি ভেবেছিলাম এক হাজার মেশিনে আমার প্রথম বৃহৎ-স্কেল ক্লাস্টারিং অ্যালগরিদম চালানো আশ্চর্যজনক ছিল, এবং অন্য কোথাও তা করা একেবারেই অসম্ভব ছিল।

বিজয় পান্ডে: আপনি যখন আমাদের সিনিয়র সহকর্মীদের সাথে কথা বলেন, তখন বেল ল্যাবসের অত্যধিক রোমান্টিকতা আছে, এবং আমি সর্বদা ভাবি যে Google ব্রেইন আজকের একটি ঘনিষ্ঠ রূপ হতে পারে কিনা। পরিবেশটা কেমন ছিল?

জ্যাকব উসকোরেইট: তাই আমি অনুভব করি সেই সময় এবং যখন গুগল ব্রেন সত্যিই শুরু হয়েছিল, যা প্রায় পাঁচ বছর পরে, সেখানে একটি উল্লেখযোগ্য পরিবর্তন হয়েছিল। ব্রেইন এবং ট্রান্সলেট শুরু হওয়ার আগে, এটি অনেক বেশি পণ্য দ্বারা চালিত ছিল যা আমি বিশ্বাস করি যে বেল ল্যাবস ছিল তার চেয়ে সত্যই একটি পার্থক্য তৈরি করেছে। এবং আমাদের মধ্যে অবশ্যই ভাল সংখ্যক বেল ল্যাব প্রাক্তন ছাত্র ছিল, কিন্তু এটি সরাসরি প্রযোজ্যতার দ্বারা অনেক বেশি অনুপ্রাণিত ছিল।

যা আমার কাছে সত্যিই আশ্চর্যজনক ছিল সাক্ষী, কীভাবে মেশিন অনুবাদ পরিণত হয়েছিল [এমন কিছু থেকে যা] একটি পার্টিতে হাসির জন্য ভাল ছিল, বেশ আক্ষরিক অর্থেই। তারা যদি আপনাকে জিজ্ঞাসা করে, আপনি কোথায় কাজ করেন? এবং আপনি বলেছেন, গুগল. এবং তারপর তারা বলল, আপনি সেখানে কি করেন? এবং তারা প্রথমে মুগ্ধ হয়েছিল। এবং তারপর আপনি বললেন, ওহ, আমি গুগল ট্রান্সলেটে কাজ করি। এবং তারপর তারা হেসে জিজ্ঞাসা করল, এটা কি কখনও কাজ করবে? আমি তাই মনে করি না. কিন্তু তারপরে একই সময়ে, আমি বলব যে মেশিন লার্নিংয়ের তরঙ্গ, মেশিন লার্নিংয়ের প্রাক-গভীর শিক্ষার রেনেসাঁ তরঙ্গ, মালভূমিতে শুরু হয়েছিল। আপনি জানেন, গভীর শিক্ষা এমন কিছু ছিল যা আমি আগে স্কুলে করতাম, এবং আমি এটি পছন্দ করতাম, কিন্তু এটি এমন কিছু ছিল না যা আপনি সত্যিই সেই দিনগুলিতে প্রয়োগ করতে পারেন।

বিজয় পান্ডে: হ্যাঁ, বিশেষত কারণ আপনার কাছে একাডেমিয়ায় এমন স্কেল ছিল না যা আপনাকে করতে হবে।

জ্যাকব উসকোরেইট: অবশ্যই একাডেমিয়ায় নয়, এমনকি গুগলেও। যদিও সেই সময়ে, অনুবাদে, আসলে, সবচেয়ে আকর্ষণীয় আলাদা বৈশিষ্ট্য ছিল, আমি বলব, আমরা সত্যিই দিনের শেষে ডেটার পরম শক্তিতে বিশ্বাস করতাম।

তাই আমরা আরও জটিল, আরও পরিশীলিত অ্যালগরিদম তৈরি না করার চেষ্টা করছিলাম, বরং তার পরিবর্তে যতটা সম্ভব সেগুলিকে সরলীকরণ এবং স্কেল করার চেষ্টা করছিলাম এবং তারপরে তাদের আরও বেশি ডেটাতে প্রশিক্ষণ দিতে সক্ষম করব। কিন্তু আমরা সেখানে শুধু একটি ছাদ আঘাত. Google-এর স্কেল যা ছিল সেগুলিকে স্কেল করার জন্য আপনাকে যে সরলীকরণগুলি করতে হয়েছিল, সেটাই ছিল আমাদের লক্ষ্য। কিন্তু তারপর, এবং এটি ছিল এই পেন্ডুলাম আন্দোলনগুলির মধ্যে একটি, একাডেমিয়ার বাইরে, একগুচ্ছ জিপিইউ সহ একগুচ্ছ লোক - গভীর শিক্ষা একটি প্রতিশোধের সাথে একটি নির্দিষ্ট অর্থে ফিরে এসেছিল। এবং হঠাৎ পরিবেশ মানিয়ে নিয়েছিল, কারণ এটি স্পষ্ট ছিল না যে উৎপাদনে সরাসরি পথটি কী হবে।

এবং তাই পুরো পরিবেশটি আরও বেশি প্রয়োগ এবং পণ্য ভিত্তিক হওয়া থেকে এমন কিছুতে স্থানান্তরিত হয়েছে যা অন্তত কয়েক বছর ধরে অনুভূত হয়েছে, অনেক বেশি একাডেমিক। এটি এখনও একাডেমিক ল্যাবগুলির থেকে একটু আলাদা কারণ আমরা আরও বেশি জিপিইউ সামর্থ্য করতে পারি, তবে আরও অনেক বেশি লাইনে, একটি নির্দিষ্ট অর্থে, এই ধারণার সাথে, প্রকাশনা দ্বারা চালিত, পদক্ষেপের পরিবর্তে লাফ দিয়ে চালিত। [এটি] একটি খুব, খুব উত্পাদনশীল-এবং সত্যিই আশ্চর্যজনক-কিন্তু অনেক বেশি উন্মুক্ত [পরিবেশে] পরিণত হয়েছে।

মনোযোগ আপনার প্রয়োজন সব

বিজয় পান্ডে: ঠিক আছে, আপনি জানেন, প্রকাশনাগুলির কথা বলতে গেলে, আপনার এবং টিম যখন প্রকাশ করেছে তখন চিন্তা করার একটি স্বাভাবিক জায়গা হল মনোযোগ আপনার প্রয়োজন। এবং, আপনি জানেন, ট্রান্সফরমার অ্যালগরিদম যখন প্রথম স্থাপিত হয়েছিল তখন থেকেই জেনারেটিভ এআই-এর জন্য এটি একটি গুরুত্বপূর্ণ কাগজ ছিল।

জ্যাকব উসকোরেইট: সেই কাগজটি প্রকাশের দুই বছর আগে, আমরা বুঝতে পেরেছিলাম যে মেশিন অনুবাদের মতো সমস্যাগুলির জন্য তখন কী অত্যাধুনিক ছিল, বা [কী] অত্যাধুনিক হিসাবে আবির্ভূত হচ্ছে, যথা LSTM বা RNN-ভিত্তিক , Seq2Seq সামগ্রিকভাবে একটি প্রশিক্ষণের দৃষ্টান্ত এবং একটি সেটআপ হিসাবে, কিন্তু একটি নেটওয়ার্ক স্থাপত্য হিসাবেও - ডেটার পরিপ্রেক্ষিতে স্কেলিং করার সময়, সেই সময়ে সবচেয়ে আধুনিক GPU-তেও অবিশ্বাস্য সমস্যা ছিল৷

উদাহরণস্বরূপ, গুগল চালু করা প্রথম নিউরাল মেশিন ট্রান্সলেশন সিস্টেম, GNMT, আসলে আমার জানামতে, আমাদের কাছে উপলব্ধ সমস্ত প্রশিক্ষণ ডেটার উপর সত্যিই প্রশিক্ষিত ছিল না, যা আমরা পূর্বে বাক্যাংশ-ভিত্তিক পরিসংখ্যান ব্যবস্থার জন্য খনন করেছিলাম। এবং এটি ছিল কারণ অ্যালগরিদমগুলি ডেটা পরিমাণের পরিপ্রেক্ষিতে ভালভাবে স্কেল করেনি। সুতরাং, সংক্ষেপে, আমরা সেই সময়ে মেশিন অনুবাদে নয়, বরং সমস্যাগুলির দিকে তাকিয়েছিলাম যেখানে, অভ্যন্তরীণভাবে Google-এ, আমাদের কাছে আরও বেশি পরিমাণে প্রশিক্ষণ ডেটা উপলব্ধ ছিল। সুতরাং এগুলি ছিল অনুসন্ধান থেকে বেরিয়ে আসা সমস্যাগুলি, যেখানে আপনার কাছে মূলত আরও তিন বা চারটি মাত্রা রয়েছে। আপনি জানেন, এখন আর কোটি কোটি শব্দ নেই, কিন্তু ট্রিলিয়ন সহজে, এবং হঠাৎ করেই আমরা এই প্যাটার্নের সম্মুখীন হলাম যেখানে সহজ ফিডফরওয়ার্ড নেটওয়ার্কগুলি, যদিও তারা হাস্যকর সরলীকরণ অনুমান করেছে যেমন, এটি কেবল শব্দের একটি ব্যাগ, বা এটি কেবলমাত্র বিগগ্রামের একটি ব্যাগ। , এবং আপনি তাদের গড় করেন এবং আপনি তাদের একটি বড় MNLP-এর মাধ্যমে পাঠান, তারা আসলে RNN এবং LSTM-কে ছাড়িয়ে গেছে, অন্তত যখন আরও ডেটাতে প্রশিক্ষণ দেওয়া হয়।

[এবং তারা ছিল] n-গুণ দ্রুত, সহজে 10, 20 গুণ দ্রুত, প্রশিক্ষণের জন্য। এবং তাই আপনি পথ আরো তথ্য তাদের প্রশিক্ষণ দিতে পারে. কিছু ক্ষেত্রে, [তারা] প্রশিক্ষণের জন্য একশত গুণ দ্রুত ছিল। এবং তাই আমরা ধারাবাহিকভাবে এমন মডেলগুলির সাথে শেষ করেছিলাম যা সহজ ছিল এবং যা কিছু নির্দিষ্ট ঘটনাকে প্রকাশ করতে বা ক্যাপচার করতে পারে না যা আমরা জানি যে ভাষাতে অবশ্যই সাধারণ।
এবং এখনও, আপনি জানেন, নীচের লাইন, তারা প্রশিক্ষণের জন্য সস্তা ছিল এবং [তারা] আরও ভাল পারফর্ম করেছে।

বিজয় পান্ডে: আসুন শুধুমাত্র পরিচিত নয় এমন লোকদের জন্য একটি উদাহরণ দেওয়া যাক। তাই, এক ব্যাগ শব্দের জন্য, যদি আমি বলি, আমাকে ইতালীয় ছাড়া আশেপাশের সব রেস্তোরাঁ দেখান, এটা আপনাকে সব ইতালিয়ান রেস্টুরেন্ট দেখাবে, তাই না?

জ্যাকব উসকোরেইট: হুবহু। প্রকৃতপক্ষে, আপনি যা বলেছেন তা সম্ভবত আশেপাশের বাদে সমস্ত ইতালীয় রেস্তোরাঁ দেখাতে পুনরায় সাজানো যেতে পারে। এটি কেবলমাত্র শব্দের একটি স্যুপ এবং আপনি এটিকে এমন কিছুতে পুনরায় সাজাতে পারেন যার অর্থ অবশ্যই আলাদা কিছু।

বিজয় পান্ডে: হ্যাঁ.

জ্যাকব উসকোরেইট: এবং তারপরে আপনি আনুমানিক কাঠামোতে পৌঁছেছেন এবং বিগগ্রামে স্থাপন করে আরও বিশ্বব্যাপী ঘটনাটি পেতে পারেন। তাই মূলত দুটি পরপর শব্দের গ্রুপ এবং যে মত জিনিস. কিন্তু এটা স্পষ্ট যে, অবশ্যই জার্মানির মতো ভাষায়, যেখানে আপনি মূলত একটি বাক্যের একেবারে শেষে ক্রিয়াপদটিকে রাখতে পারেন...

বিজয় পান্ডে: এবং এটি পুরো অর্থ পরিবর্তন করে, তাই না?

জ্যাকব উসকোরেইট: সমস্ত অর্থ পরিবর্তন করে, ঠিক, হ্যাঁ। আপনার এন-গ্রামের আকার-বা আপনার ছোট শব্দ গোষ্ঠীর আকার যাই হোক না কেন, আপনি শেষ পর্যন্ত সফল হবেন না। এবং এটি আমাদের কাছে স্পষ্ট হয়ে গেছে যে একটি ভিন্ন উপায় থাকতে হবে যার জন্য RNN এর দৈর্ঘ্যের পুনরাবৃত্তির প্রয়োজন হয় না, বা শব্দ বা পিক্সেলের ক্রমানুসারে পুনরাবৃত্তির প্রয়োজন হয় না, তবে এটি আসলে আরও সমান্তরাল উপায়ে ইনপুট এবং আউটপুট প্রক্রিয়া করে এবং সত্যিই শেষ পর্যন্ত আধুনিক এক্সিলারেটর হার্ডওয়্যারের শক্তিগুলি পূরণ করে।

বিজয় পান্ডে: এটি সম্পর্কে চিন্তা করুন, শব্দের ব্যাগের মতো এলোমেলো ক্রমে শব্দ। LSTM, বা দীর্ঘ স্বল্পমেয়াদী মেমরি, হয়ত আপনাকে কিছুটা অতীতের দিকে তাকানোর [ক্ষমতা] দেয়, তাই না? কিন্তু ট্রান্সফরমার আমূল ভিন্ন কিছু করে। কিভাবে ট্রান্সফরমার পরবর্তী স্তরে নিয়ে যায়?

জ্যাকব উসকোরেইট: এটি দেখার জন্য সর্বদা দুটি উপায় রয়েছে। একটি হল দক্ষতার লেন্সের মাধ্যমে, তবে আরেকটি উপায় যা হয়তো একটু বেশি স্বজ্ঞাত তা হল এটিকে পরিপ্রেক্ষিতে দেখা, আপনি জানেন, আপনি কতটা প্রসঙ্গ বজায় রাখতে পারেন। এবং আপনি যেমন বলেছেন, LSTM, বা পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি সাধারণভাবে, তারা তাদের ইনপুটগুলির মাধ্যমে ধাপে ধাপে, বিস্তৃতভাবে বলতে গেলে, এবং যখন তারা, তত্ত্বগতভাবে, ইনপুটগুলিতে নির্বিচারে দীর্ঘ প্রসঙ্গ উইন্ডোগুলি বজায় রাখতে সক্ষম হয় - অতীত - কি বাস্তবে ঘটে যে ঘটনাগুলি সনাক্ত করা, শব্দ বা পিক্সেল বলুন, যা অতীতে খুব দূরবর্তী যা সত্যিই দিনের শেষে অর্থকে প্রভাবিত করে তা তাদের পক্ষে সত্যিই খুব কঠিন। তারা আশেপাশে থাকা জিনিসগুলিতে ফোকাস করার প্রবণতা রাখে।

অন্যদিকে, ট্রান্সফরমারটি মূলত এটিকে তার মাথায় ঘুরিয়ে দেয় এবং বলে, না, প্রতিটি ধাপে আমরা যা করছি তা ইনপুটের মধ্য দিয়ে যাচ্ছে না। প্রতিটি ধাপে, আমরা ইনপুট বা আউটপুটের সম্পূর্ণতা দেখছি, এবং আমরা মূলত প্রতিটি শব্দ বা প্রতিটি পিক্সেল বা প্রতিটি প্যাচ বা একটি ভিডিওর প্রতিটি ফ্রেমের উপস্থাপনাকে ক্রমবর্ধমানভাবে সংশোধন করছি, যেমন আমরা মূলত সরানো, ইনপুট স্পেসে নয় , কিন্তু প্রতিনিধিত্ব স্থান.

বিজয় পান্ডে: হ্যাঁ.

জ্যাকব উসকোরেইট: এবং সেই ধারণাটির কিছু ত্রুটি ছিল আপনি কীভাবে এটিকে আধুনিক হার্ডওয়্যারের সাথে মানানসই করবেন, তবে পৌনঃপুনিক নিউরাল নেটওয়ার্কের তুলনায়, এটির প্রাথমিকভাবে সুবিধা ছিল কারণ এখন আপনি আসলে ক্রমানুসারে উপস্থাপনা গণনা করতে বাধ্য ছিলেন না, বলুন, শব্দের জন্য শব্দ। আপনি কি দ্বারা আবদ্ধ ছিল, সত্যিই, তারা কিভাবে ভাল হওয়া উচিত? সমস্ত অবস্থানের সমান্তরাল প্রক্রিয়াকরণের এই ধরণের কতগুলি স্তর যেখানে সবকিছু, যেখানে সমস্ত জোড়া শব্দ বা সমস্ত জোড়া ইমেজ প্যাচ সরাসরি যোগাযোগ করতে পারে? এই উপস্থাপনাগুলির কতগুলি সংশোধন আমি আসলে "সামর্থ্য" করতে পারি?

বিজয় পান্ডে: যা সত্যিই আকর্ষণীয় তা হল যে স্পষ্টতই অনুপ্রেরণা হল প্রাকৃতিক ভাষা, কিন্তু এমন অনেক কাঠামো রয়েছে যা আপনি ইনপুট করতে চান যেখানে আপনি এটিকে ক্রমানুসারে অধ্যয়ন করতে চান না, যেমন একটি ডিএনএ সিকোয়েন্স—এবং আমরা জীববিজ্ঞানে প্রবেশ করব শীঘ্রই যথেষ্ট - যে আপনি পুরো জিনিসটির একটি মডেল পেতে চান।

এটা ভাষার সঙ্গে মজার ধরনের. যখন আমি কথা বলছি বা যখন আমি আপনার কথা শুনছি, আমি প্রতিটি শব্দ প্রক্রিয়া করছি, কিন্তু শেষ পর্যন্ত আমাকে কেবল শব্দগুলিকে পৃথক অর্থে টোকেনাইজ করতে হবে না, তবে আমাকে এই উপস্থাপনাটি তৈরি করতে হবে। হ্যাঁ? আমি চাই যে আমরা ট্রান্সফরমারগুলির মতো করে এটি করতে পারতাম। এবং হতে পারে যে কৌশলটি হল যে LSTMগুলি আমরা মানুষ যেভাবে করি তার কাছাকাছি, এবং ট্রান্সফরমারগুলি হয়ত আমাদের এটি করার মতোই, বা আমি আশা করি আমরা এটি করতে পারতাম।

জ্যাকব উসকোরেইট: আপাতদৃষ্টিতে, আমি মনে করি এটি সত্য, যদিও দিনের শেষে - এই ধরনের অন্তর্মুখী যুক্তিগুলি সূক্ষ্ম এবং চতুর।

তাই আমি অনুমান করি যে আমাদের মধ্যে অনেকেই এই ঘটনাটি জানেন যেখানে আপনি একটি ব্যস্ত রাস্তায় কিছু যোগাযোগ করার চেষ্টা করছেন এমন কারও সাথে চিৎকার বা চিৎকার করছেন। এবং তাই আপনি কিছু শুনতে পাচ্ছেন যা তারা বলে, এবং এটি শব্দের একটি সংক্ষিপ্ত ক্রম নয়, এবং আপনি মূলত কিছুই বুঝতে পারেন নি। কিন্তু তারপর এক অর্ধ সেকেন্ডের মতো, আপনি হঠাৎ পুরো বাক্যটি বুঝতে পেরেছিলেন। এটি আসলে ইঙ্গিত দেয় যে যখন আমরা একটি অনুক্রমিক পদ্ধতিতে ভাষা লিখতে এবং উচ্চারণ করতে বাধ্য হই - শুধুমাত্র সময়ের তীরের কারণে - এটি এতটা স্পষ্ট নয় যে আমাদের গভীর উপলব্ধি সত্যিই সেই অনুক্রমিক পদ্ধতিতে চলে।

একটি দল গঠন

বিজয় পান্ডে: যদি কেউ অধ্যয়ন করে তবে শুধু মনোযোগই আপনার কাগজের দরকার বা একটি ট্রান্সফরমার কীভাবে কাজ করে, এতে অনেক অংশ রয়েছে। এবং মনে হচ্ছে এটি সম্ভবত এখন সেই বিন্দু অতিক্রম করেছে যেখানে একজন ব্যক্তি কার্যকরভাবে যে কোনও স্বল্প সময়ের মধ্যে নিজেরাই সেই কাজটি করতে পারে।

জ্যাকব উসকোরেইট: একেবারে।

বিজয় পান্ডে: তাই এখন এই ধরনের জিনিসগুলি করার জন্য আপনার সত্যিই একটি দল দরকার। এর সমাজবিজ্ঞান কী? কিভাবে যে ভালো কিছু সম্পর্কে আসা?

জ্যাকব উসকোরেইট: এই বিশেষ ক্ষেত্রে, আমি ব্যক্তিগতভাবে অনুভব করি, এমন কিছুর একটি সত্যিই বিস্ময়কর উদাহরণ যা আরও বেশি মানানসই, ধরা যাক, বৈজ্ঞানিক গবেষণার জন্য শিল্প পদ্ধতি, ব্যতিক্রমীভাবে ভাল। কারণ আপনি ঠিক ঠিক। এটি কল্পনা এবং সৃজনশীলতার একটি বড় স্ফুলিঙ্গ ছিল না যা এটিকে বন্ধ করে দেয়।

এটি সত্যিই অবদানের একটি সম্পূর্ণ গুচ্ছ ছিল যা শেষ পর্যন্ত প্রয়োজনীয় ছিল। একটি পরিবেশ থাকা, একটি লাইব্রেরি—যা পরে টেনসর টু টেনসর নামে ওপেন সোর্স করা হয়েছিল—যা আসলে বাস্তবায়ন অন্তর্ভুক্ত করে। এবং শুধুমাত্র কোন বাস্তবায়ন নয়, কিন্তু ব্যতিক্রমীভাবে ভাল বাস্তবায়ন, গভীর শিক্ষার সব ধরণের কৌশলের দ্রুত বাস্তবায়ন।
কিন্তু তারপরও এই মনোযোগের প্রক্রিয়াগুলির সমস্ত উপায় যা পূর্ববর্তী প্রকাশনাগুলি থেকে বেরিয়ে এসেছে - যেমন পচনশীল মনোযোগ মডেল [যেটি] আগে প্রকাশিত হয়েছিল - কিন্তু তারপরে আসলে উন্নতি এবং উদ্ভাবনের সাথে মিলিত হয়েছিল, অপ্টিমাইজারগুলির আশেপাশে উদ্ভাবনগুলি। আপনি এমন লোকদের খুঁজে পাবেন না, আমি মনে করি, যারা সত্যিই একই সাথে এই সমস্তগুলির মধ্যে বিশ্বের শীর্ষস্থানীয় বিশেষজ্ঞদের মধ্যে রয়েছেন এবং যারা এই সমস্ত দিকগুলি সম্পর্কে সত্যিই একইভাবে উত্সাহী৷

বিজয় পান্ডে: এবং বিশেষ করে প্রাথমিক ধারণা আছে, এটির বাস্তবায়ন আছে, এটির স্কেলিং আছে। একটি বড় কোম্পানি ছাড়া অন্য কোথাও এই ধরনের স্কেল পৌঁছানোর জন্য, এই মুহূর্তে, সম্ভবত শুধুমাত্র খরচের কারণে সম্ভব নয়।

জ্যাকব উসকোরেইট: আমি মনে করব আসলে হয়তো বড় কোম্পানির দিকটা তেমন গুরুত্বপূর্ণ নয়।

বিজয় পান্ডে: হ্যাঁ?

জ্যাকব উসকোরেইট: কোম্পানির দিকটি এমন একটি যা আমি উচ্চতর মূল্য দিব। আপনার হাজার হাজার টিপিইউ বা জিপিইউ বা আপনার কাছে যা আছে তার প্রয়োজন হলে বড় কোম্পানি অবশ্যই ক্ষতি করে না। এই ধরনের জিনিসের জন্য গভীর পকেট কখনও আঘাত করে না। কিন্তু একই সময়ে, আমি বিশ্বাস করি যে শিল্পে এই ধরণের অনুসন্ধানমূলক গবেষণার চারপাশে উদ্দীপক কাঠামো এই ধরণের প্রকল্পগুলির জন্য আরও উপযুক্ত। এবং আমি মনে করি এটি আসলে এমন কিছু যা আমরা দেখছি, বোর্ড জুড়ে জেনারেটিভ এআই প্রকল্পগুলি দেখছি।

বিজয় পান্ডে: হ্যাঁ। এবং আপনার পয়েন্ট, এটি একটি স্টার্টআপ হতে পারে.

জ্যাকব উসকোরেইট: এটি অবশ্যই একটি স্টার্টআপ হতে পারে। এবং আমি মনে করি আমরা এখন দেখছি যে এক্সিলারেটর হার্ডওয়্যার ব্যবহার করা অন্তত আরও সাশ্রয়ী হয়ে উঠছে। আর এমন কিছু স্টার্টআপ আছে যেগুলো ইমেজ জেনারেশন বা টেক্সট জেনারেশনের লক্ষ্যে জেনারেটিভ এআই-এর ক্ষেত্রে খুব বেশি প্রতিযোগিতা করে।

জীবন বিজ্ঞানে ঝাঁপিয়ে পড়া

বিজয় পান্ডে: আপনি এখন যা করছেন তাতে আমি রূপান্তর করতে চাই। আপনি ইনসেপটিভের সিইও, এমন একটি কোম্পানি যেটি আরএনএ থেরাপিউটিকসের জন্য আরএনএ জীববিজ্ঞানে AI প্রয়োগ করে। আপনি কীভাবে জীবন বিজ্ঞানে রূপান্তর করেছেন? আপাতদৃষ্টিতে, ডিনার [টেবিল] এবং তারপরে গুগল ক্যাফেটেরিয়ার আশেপাশে ভাষার মডেলগুলি সম্পর্কে কথা বলা…মনে হচ্ছে এটি থেরাপিউটিকসের পরবর্তী প্রজন্মের জন্য একটি লাফ হতে পারে। কিভাবে যে সব সম্পর্কে আসা?

জ্যাকব উসকোরেইট: আমি আর একমত হতে পারলাম না। এটা আমার শেষ থেকে একটি আশ্চর্যজনক শেখার অভিজ্ঞতা. এখন বেশ কিছুদিন ধরে, জীববিজ্ঞান আমাকে এমন একটি সমস্যা হিসাবে আঘাত করেছে যেখানে এটি অকল্পনীয় বলে মনে হয় না যে আমরা কীভাবে ওষুধের বিকাশ এবং প্রথাগত জীববিজ্ঞানের সাথে সরাসরি নকশার ক্ষেত্রে আমরা কতদূর যেতে পারি তার সীমাবদ্ধতা রয়েছে। ভবিষ্যতের ওষুধের ডিজাইন বা ডিজাইন করার পদ্ধতি আবিষ্কার করুন।

মনে হচ্ছে গভীর শিক্ষা, বিশেষ করে, অ্যাট-স্কেল, একগুচ্ছ কারণে, সম্ভাব্যভাবে এখানে একটি উপযুক্ত টুল। এবং সেই কারণগুলির মধ্যে একটি আসলে এমন কিছু যা প্রায়শই অগত্যা একটি সুবিধা হিসাবে বিল করা হয় না, যা সত্য যে এটি এই বড় ব্ল্যাক বক্স যা আপনি কিছুতে নিক্ষেপ করতে পারেন। এবং এটি সত্য নয় যে আপনি এটি নিক্ষেপ করতে পারেন। এটি এমন কিছু যা আপনাকে এটি নিক্ষেপ করতে জানতে হবে।

বিজয় পান্ডে: এবং এটি ঠিক কালোও নয়। আমরা পরে এটা নিয়ে তর্ক করতে পারি।

জ্যাকব উসকোরেইট: হ্যাঁ অবশ্যই. হুবহু। কিন্তু, দিনের শেষে, ভাষার সাদৃশ্যে ফিরে এসে, আমরা কখনই সম্পূর্ণরূপে, সেই অর্থে, ভাষা বুঝতে এবং ধারণা করতে পারিনি যে পরিমাণে আপনি দাবি করতে পারেন, ওহ, আমি এখন গিয়ে আপনাকে বলব। ভাষার পিছনে এই তত্ত্ব, এবং তারপরে আপনি একটি অ্যালগরিদম বাস্তবায়ন করতে সক্ষম হবেন যা এটি "বোঝে"। আমরা কখনোই সেই বিন্দুতে পৌঁছাইনি। পরিবর্তে, আমাদের গর্ভপাত করতে হয়েছিল এবং একধাপ পিছিয়ে যেতে হয়েছিল এবং আমার মতে, কিছুটা হলেও, নিজেদের কাছে স্বীকার করতে হয়েছিল যে এটি সবচেয়ে বাস্তবসম্মত পদ্ধতি নাও হতে পারে। পরিবর্তে, আমাদের এমন পদ্ধতির চেষ্টা করা উচিত যাতে ধারণাগত বোঝার সেই স্তরের প্রয়োজন হয় না। এবং আমি মনে করি জীববিজ্ঞানের অংশগুলির জন্যও এটি সত্য হতে পারে।

জৈব আরও দূরে নিতে AI ব্যবহার করা

বিজয় পান্ডে: এটা আকর্ষণীয়, আমরা আগে এই মত জিনিস সম্পর্কে কথা বলেছি. আপনি গত শতাব্দীর কথা চিন্তা করেন, [যা ছিল] পদার্থবিদ্যা এবং ক্যালকুলাসের শতাব্দী। সেখানে একটি নির্দিষ্ট মানসিকতা আছে যেখানে আপনি জিনিসগুলির একটি খুব মার্জিত সরলীকরণ করতে পারেন যা আপনার কাছে আইনস্টাইনের ক্ষেত্র সমীকরণের মতো একটি একক সমীকরণ থাকতে পারে যা অনেক বেশি বর্ণনা করে এবং এটি একটি খুব জটিল ভাষায় একটি খুব সাধারণ সমীকরণ। আপনি কীভাবে সেই ফাইনম্যানের দৃষ্টিভঙ্গি, প্রায় পদার্থবিজ্ঞানের সমাজবিজ্ঞানের মতো, জীববিজ্ঞানে এখানে প্রয়োগ নাও হতে পারে তা নিয়ে কথা বলেছেন, তাই না?

জ্যাকব উসকোরেইট: এটি প্রযোজ্য নাও হতে পারে, অন্তত দুটি কারণে আমি এই সময়ে দেখতে পাচ্ছি। এক নম্বরে অনেক খেলোয়াড় জড়িত। এবং যদিও এটা সত্য যে আমরা হয়তো শ্রোডিঞ্জারের সমীকরণে এটিকে কমিয়ে দিতে পারি এবং কেবল এটি সমাধান করতে পারি, এটি ঠিক তাই ঘটতে পারে, শুধুমাত্র গণনাগতভাবে জটিল নয়, আমাদের এই সমস্ত বিভিন্ন খেলোয়াড় সম্পর্কেও জানতে হবে, এবং আমরা বর্তমানে তা করি না। . কাছেও নেই। তাই যে একটি দিক.

এবং তারপরে দ্বিতীয়টি মূলত গণনাগতভাবে জটিলতা, যেখানে হ্রাস, একটি নির্দিষ্ট অর্থে, এতদূর চলে গেছে যে এটি সমস্ত কিছুকে একটি একক জিনিসে ফিরিয়ে আনে, এটি আমাদের সাহায্য করে না কারণ আমাদের গণনামূলক পদ্ধতিগুলি মূলত ব্যবহার করার জন্য ভবিষ্যদ্বাণী করার জন্য এই মৌলিক বিষয়গুলি সত্যিই জীবনের জন্য গুরুত্বপূর্ণ সিস্টেমগুলির জন্য সেই ভবিষ্যদ্বাণীগুলি তৈরি করতে খুব ধীর।

বিজয় পান্ডে: হ্যাঁ। সুতরাং এটি একটি এন-বডি সমীকরণ নয়, তবে এখনও আনুষ্ঠানিকতার একটি ধারনা রয়েছে - হতে পারে এটি আরও ডেটা-চালিত আনুষ্ঠানিকতা বা আরও বেয়েসিয়ান আনুষ্ঠানিকতা। আপনি কি করতে চান তা কিভাবে যে ফিড করে? কীভাবে এটি এআই এবং অন্যান্য ধরণের নতুন অ্যালগরিদম প্রয়োগে ফিড করে?

জ্যাকব উসকোরেইট: আমি মনে করি বিভিন্ন দিক একটি দম্পতি আছে. দিনের শেষে, আমরা বর্তমানে জেনারেটিভ এআই-তে যা দেখছি তা থেকে আমার মতে একটি বড় টেকওয়ে হল যে আমাদের আর এমন ডেটার উপর প্রশিক্ষণ নিতে হবে না যা কেবল পুরোপুরি পরিষ্কার নয়, ডোমেন থেকেও সঠিকভাবে এবং আপনি পরে যে ধরনের কাজগুলি মোকাবেলা করতে চান তা থেকে। কিন্তু এর পরিবর্তে এটি আসলে আরও উপকারী হতে পারে বা এমনকি একমাত্র উপায় যা আমরা এখনও পর্যন্ত খুঁজে পেয়েছি বাস্তবিকভাবে আপনি যা খুঁজে পান তা এমনকি দূরবর্তীভাবে সম্পর্কিত সবকিছুর প্রশিক্ষণ দেওয়ার চেষ্টা করার জন্য। এবং তারপরে তথাকথিত ফাউন্ডেশন মডেলগুলির সাথে শেষ করার জন্য সেই ডেটাগুলি থেকে কার্যকরভাবে সংগ্রহ করা তথ্যগুলি ব্যবহার করুন, যাতে আপনি অনেক ছোট, অনেক বেশি সংক্ষিপ্ত পরিমাণে ক্লিনার ডেটা ব্যবহার করে সমস্ত ধরণের নির্দিষ্ট কাজের জন্য সূক্ষ্ম সুর করতে পারেন৷

আমি মনে করি আমরা বৃহত্তরভাবে ঘটনাটি সম্পর্কে আমাদের যা জানা দরকার তা কিছুটা অবমূল্যায়ন করি। একটি খুব ভাল বড় ভাষার মডেল তৈরি করার জন্য, আপনাকে বুঝতে হবে যে ইন্টারনেট নামক এই জিনিসটি রয়েছে এবং এতে প্রচুর পাঠ্য রয়েছে। আপনাকে বেশ কিছুটা বুঝতে হবে, আসলে, এই পাঠ্যটি কীভাবে খুঁজে বের করা যায়, পাঠ্য কী নয় এবং আরও অনেক কিছু, যাতে আপনি তারপরে যে প্রশিক্ষণ ডেটা ব্যবহার করেন তা মূলত এটি থেকে ডিস্টিল করার জন্য।

আমি বিশ্বাস করি জীববিজ্ঞানের চারপাশে খুব সরাসরি সাদৃশ্যপূর্ণ চ্যালেঞ্জ থাকবে। বড় প্রশ্ন হল: এমন কি পরীক্ষাগুলি যা আমরা এমনভাবে পরিমাপ করতে পারি যাতে আমরা যথেষ্ট বিশ্বস্ততার সাথে পর্যাপ্ত পরিসরে জীবনকে পর্যবেক্ষণ করতে পারি—কিন্তু আপনি যে সমস্যাগুলি শেষ পর্যন্ত সমাধান করার চেষ্টা করছেন সেগুলিকে মাথায় রেখে অনেক কম নির্দিষ্টতা—যেমন আমরা পারি মূলত এই ফাউন্ডেশন মডেলগুলি তৈরি শুরু করার জন্য আমাদের যে ডেটা দরকার তা থেকে আমরা যা তারপরে ব্যবহার করতে পারি, সূক্ষ্ম সুরযুক্ত এবং বিশেষভাবে ইঞ্জিনিয়ারড, আমরা যে সমস্যাগুলি মোকাবেলা করতে চাই সেগুলির কাছে সত্যিই যোগাযোগ করতে পারি।

ডেটা জেনারেশন অংশ অবশ্যই তাদের মধ্যে একটি। আর্কিটেকচার এবং কার্যকরীভাবে মডেল এবং নেটওয়ার্ক আর্কিটেকচার রয়েছে যা আমরা যা জানি, তার নীচের পদার্থবিদ্যাকে অনুকরণ করে, এখনও প্রকৃতপক্ষে গণনা সংরক্ষণের একটি অবিশ্বাস্যভাবে শক্তিশালী উপায় হয়ে থাকবে এবং ডেটার জন্য এখনও বিপুল ক্ষুধা হ্রাস করবে যা এই মডেলগুলির থাকতে হবে। , একটি সম্ভাব্য স্তরে। এবং তাই একটি জিনিস যা আমি বিশ্বাস করি যেটি আসলে লক্ষ্য করা আকর্ষণীয় তা হল যে মডেলের বর্তমান অ্যাপ্লিকেশনগুলির অনেকগুলি, ট্রান্সফরমার বলে, যেগুলি অন্যান্য পদ্ধতি, অন্যান্য ডোমেন, ভাষা, দৃষ্টি, চিত্র তৈরি, ইত্যাদি। সময়ের সাথে সাথে

একটি প্রোটিন ভাঁজ করার প্রক্রিয়া, এই সত্যটিকে উপেক্ষা করে যে এখানে টন এবং টন প্লেয়ার রয়েছে - চ্যাপেরোনস এবং হোয়াটনোট - আসলে একটি নির্দিষ্ট অর্থে, প্রোটিন গতিবিদ্যার অবশিষ্ট থেকে একটি মোটামুটি নির্বিচারে আলাদা করা সমস্যা। এটি গতিবিদ্যার অবশিষ্টাংশের মতোই গতিবিদ্যা, বা সেই অণুর প্রোটিনের জীবনের অবশিষ্টাংশ। এবং তাই কেন আমরা একটির জন্য বিশেষভাবে মডেলগুলিকে প্রশিক্ষণ দেওয়ার চেষ্টা করি এবং সম্ভাব্যভাবে অন্ততপক্ষে, অন্যটির সম্পর্কে আমাদের কাছে থাকা ডেটা উপেক্ষা করি? এই ক্ষেত্রে, সম্ভবত আরো নির্দিষ্টভাবে, কিছু প্রোটিন গঠন ভবিষ্যদ্বাণী মডেল যে আমরা আজ আছে, তারা কি ইতিমধ্যেই গতিবিদ্যা সম্পর্কে কিছু শিখেছে অন্তর্নিহিত কারণ যে তারা ধীরে ধীরে আলিঙ্গন করতে শুরু করে, আপনি জানেন, সময়ের অস্তিত্ব?

নতুন স্থাপত্যের বিকাশ

বিজয় পান্ডে: আপনি এই মুহূর্তে কোথায় দাঁড়িয়ে আছেন সে সম্পর্কে আমার মনে হয় একটি মজার বিষয় হল, কিছু বিরল ব্যতিক্রম ছাড়া, বেশিরভাগ ডিপ নিউরাল নেটওয়ার্ক বা জীববিজ্ঞানের অন্যান্য ধরনের এআই মনে হয় যে এটি অন্য কোথাও উদ্ভাবিত কিছু নিয়ে যাচ্ছে এবং এটি বহন করছে। যেমন আমরা ছবির জন্য কনভোল্যুশনাল নিউরাল নেট ব্যবহার করব। হতে পারে ছোট অণুর জন্য...স্ট্যানফোর্ডে আমার ল্যাবে, আমরা গ্রাফ নিউরাল নেটওয়ার্ক এবং বেশ কিছু কনভোল্যুশনাল নিউরাল নেটওয়ার্ক ব্যবহার করেছি। কিন্তু জৈবিক সমস্যার জন্য স্পষ্টভাবে একটি অ্যালগরিদম তৈরি করা খুবই বিরল। এবং আমি সর্বদা ধরে নিয়েছি এটি ছিল কারণ জীববিজ্ঞানের ডোমেনে এবং কম্পিউটার বিজ্ঞানের ডোমেনে শক্তিশালী দলের দক্ষতা থাকা কঠিন। কিন্তু আমি আপনার গ্রহণ পেতে আগ্রহী. নাকি প্রথম স্থানে নতুন স্থাপত্য বিকাশ করা কি বিরল?

জ্যাকব উসকোরেইট: ঠিক আছে, আমি মনে করি, দিনের শেষে, আমরা যা দেখছি তা হল যে নতুন স্থাপত্যগুলি, নির্দিষ্ট সমস্যার দ্বারা অনুপ্রাণিত হয়ে, যদি তারা সত্যিই একটি পার্থক্য তৈরি করে, তবে সেগুলি অন্যত্রও প্রযোজ্য হতে থাকে। অন্যদিকে, এর অর্থ এই নয় যে, সেখানে যাওয়ার পথে, অনুপ্রেরণাদায়ক অ্যাপ্লিকেশন এবং ডোমেনগুলি কী তা সাবধানতার সাথে বেছে নিলে তা বিশাল পার্থক্য তৈরি করবে না। এবং আমি মনে করি এটি অবশ্যই করে।

আমি মনে করি এখানে মূল চ্যালেঞ্জগুলির মধ্যে একটি হল যে আমরা এখনও জীববিজ্ঞানের এমন একটি শাসনামলে নই যেখানে আমাদের কাছে প্রচুর পরিমাণে ডেটা রয়েছে, যদিও কিছুক্ষণ আগে আমাদের যা ছিল তার তুলনায় এটি আশ্চর্যজনক। কিন্তু আমরা এখনও সেই শাসনের মধ্যে নেই যেখানে এটি কেবল ওয়েবের সমতুল্য হয়ে বসে আছে, এবং আমরা এটিকে কিছুটা ফিল্টার করতে পারি, এটি ডাউনলোড করতে পারি এবং এটি দিয়ে সম্পন্ন করতে পারি। কিন্তু পরিবর্তে, আমি মনে করি আমাদের এটি একটি যুক্তিসঙ্গতভাবে বড় পরিমাণে তৈরি করতে হবে। এবং এটি গভীর শিক্ষার বিশেষজ্ঞদের দ্বারা করা হবে না, অন্তত তাদের অধিকাংশ দ্বারা না।

এবং আমি বিশ্বাস করি যে লকস্টেপে ঘটতে হবে তারপরও সত্যিই বলা ডেটার অদ্ভুততা বোঝা, তাই না? আপনি সেখানে সম্মুখীন যে ধরনের গোলমাল. সত্য যে এইগুলি আসলে খুব বড় স্কেল করা পুল, উচ্চ থ্রুপুট পরীক্ষায় তৈরি করা হয়েছে, তবে এখনও, পরীক্ষাগুলি যা বিভিন্ন পরীক্ষার্থীদের দ্বারা বিভিন্ন দিনে চালানো হয় এবং আরও অনেক কিছু। এবং যেখানে গভীর শিক্ষার ব্যাকগ্রাউন্ডের লোকেরা জীববিজ্ঞানের পটভূমির লোকদের সাথে যথেষ্ট ঘনিষ্ঠভাবে কাজ করে, আমরা অন্তর্নিহিত ঘটনা সম্পর্কে যা জানি সে সম্পর্কে যথেষ্ট শিখে, [তারা] মূলত আকর্ষণীয় নতুন পদ্ধতির চেষ্টা করার জন্য অনুপ্রাণিত হবে।

বিজয় পান্ডে: ঠিক আছে, আমি পছন্দ করতাম যখন আপনি মনোযোগ ইজ অল ইউ নিড পেপারের উদাহরণের কথা বলেছিলেন, আপনি কীভাবে এই বিচিত্র গোষ্ঠীর লোকেদের পেতে চেয়েছিলেন যাদের আবেগ, আপনি জানেন, একে অপরের থেকে মোটামুটি অর্থোগোনাল। এবং এক অর্থে, আপনি যখন জীববিজ্ঞানে এটি করছেন এবং বিশেষ করে আপনি ইনসেপটিভ এ যা করছেন তার জন্য, আপনাকে ডেটা তৈরিতেও এই সমস্ত কাজ করতে হবে। এবং ডেটা জেনারেট করা মানে, খুব স্পষ্ট হওয়া, স্কেলে জৈবিক পরীক্ষা চালানো। ইনপুট অংশ নিজেই খুব ব্যয়বহুল এবং খুব প্রযুক্তিগত, এবং আপনি যেমন বলেছেন, ভুল হওয়ার অনেক উপায় রয়েছে। কিন্তু মনে হচ্ছে আপনি সেই সংস্কৃতির উপর ভিত্তি করে গড়ে তুলছেন যা আপনি আগে করেছেন এবং এখন এটি কেবলমাত্র আরও বিশেষজ্ঞদের সাথে বিভিন্ন আবেগের সাথে সাদৃশ্যপূর্ণ উপায়ে সমন্বয় করে।

জ্যাকব উসকোরেইট: আমার সত্যিই প্রয়োজন, [এবং] লোকেদের এটি প্রয়োজন। এটি, যতদূর আমি বলতে পারি, সবচেয়ে প্রতিশ্রুতিশীল উপায়। [এটি] একটি নির্দিষ্ট অর্থে, একটি পাইপলাইন মডেলের লক্ষ্য নয়, যেখানে জীবনের অন্তর্নিহিত দিকগুলি সম্পর্কে আমাদের সর্বোত্তম জ্ঞান দেওয়া হয়েছে এমন ল্যাবে নির্দিষ্ট ডেটা যেখানে তারা তৈরি করা হয়েছিল। এবং তারপরে এটিতে বিদ্যমান গভীর শিক্ষার পদ্ধতিগুলি চালানো শুরু করুন এবং তারপরে সেগুলিকে টুইক করুন। কিন্তু এর পরিবর্তে প্রকৃতপক্ষে এমন লোকদের থাকতে হবে যারা, একটি নির্দিষ্ট অর্থে, তারা এমন প্রথম ব্যক্তিদের মধ্যে হতে পারে যারা সত্যিই এমন একটি শৃঙ্খলায় কাজ করছে যা বর্তমানে সত্যিই একটি দুর্দান্ত নাম নেই।

হতে পারে সর্বনিম্ন সাধারণ হরক হল কৌতূহল যা আপনি যা জানেন, আপনি আগে যা শিখেছেন এবং যা করতে আপনার বেশিরভাগ সময় ব্যয় করেছেন তার বাইরে প্রসারিত। আমরা দেখতে পাই যে অন্যান্য অনেক ক্ষেত্রের মতোই, আমরা আসলেই কিসের পিছনে রয়েছি তা হল খুব বৈচিত্র্যময় ব্যাকগ্রাউন্ডের লোকদের একটি সেট, কিন্তু যারা কৌতূহল ভাগ করে নেয়।

AI কোথায় যাচ্ছে?

বিজয় পান্ডে: ড্রাগ ডিজাইন, স্বাস্থ্যসেবা ইত্যাদির জন্য এই কঠিন সমস্যাগুলির জন্য AI এখন কোথায় আছে বলে আপনি মনে করেন? কি করতে হবে? এটা সেখানে পেতে হবে কখন?

জ্যাকব উসকোরেইট: আমি আশা করব-এবং ভবিষ্যৎ সম্পর্কে ভবিষ্যদ্বাণী করা সবসময়ই খুব বিপজ্জনক-আমি খুব অবাক হব যদি আগামী তিন বছরের মধ্যে আমরা বাস্তবে বাস্তব জগতের প্রভাবের ক্ষেত্রে একটি [বিক্ষেপ] বিন্দু ঘটতে না দেখি। মেশিন লার্নিং, ড্রাগ ডেভেলপমেন্টে বড় আকারের গভীর শিক্ষা, ড্রাগ ডিজাইন। তারা ঠিক কোথায় প্রথম হবে, অবশ্যই, আমি বিশ্বাস করি যে তাদের অনেকগুলি RNA, RNA থেরাপিউটিকস এবং ভ্যাকসিনের আশেপাশে ঘটবে। এটি অবশ্যই এর দ্বারা প্রভাবিত একমাত্র এলাকা হবে না, তবে আমি অবশ্যই মনে করি আমরা ইনফ্লেকশন পয়েন্ট টেরিটরিতে চলেছি।

বিজয় পান্ডে: আপনি একটি আকর্ষণীয় পয়েন্ট করেছেন. আরএনএ সম্পর্কে আলাদা কি? কারণ আমি মনে করি এটি বিশেষভাবে আকর্ষণীয়, শুধু যে আপনি গুগল ব্রেইন থেকে জীববিজ্ঞানে গেছেন তা নয়, আপনি বিশেষভাবে আরএনএ-তে গিয়েছিলেন। কি আপনাকে আরএনএ-তে আকর্ষণ করে, বিশেষ করে এআই বা এমএল দৃষ্টিকোণ থেকে?

জ্যাকব উসকোরেইট: আরএনএ সম্পর্কে একটি আকর্ষণীয় বিষয় হল, যেমনটি আমরা দেখেছি, খুব বিস্তৃত প্রযোজ্যতার মধ্যে সমন্বয়—যদিও এটি এখনও একটি একক ইঙ্গিতের অর্থে সংকীর্ণ—কিন্তু কেবলমাত্র অনুমোদন প্রক্রিয়ার এই তরঙ্গের দিকে তাকালে যা শুরু হচ্ছে এবং শুরু হয়েছে, এটি বেশ সুন্দর স্পষ্ট যে প্রযোজ্যতা খুব, খুব বিস্তৃত, এর সাথে মিলিত-এটি একটু অস্পষ্ট-একটি কাঠামোগতভাবে সহজ সমস্যা। এবং এটি কাঠামোগতভাবে সহজ বাক্যে নয় যে RNA কাঠামোগত ভবিষ্যদ্বাণী সহজ, তবে এটি কাঠামোগতভাবে সহজ এই অর্থে যে এটি চারটি ভিন্ন বেস সহ একটি বায়োপলিমার। আমরা 20 টিরও বেশি অ্যামিনো অ্যাসিড সম্পর্কে কথা বলছি না। এটি এমন কিছু যা মোটামুটি কার্যকরভাবে উত্পাদিত হতে পারে।

সেখানে কিছু চ্যালেঞ্জ আছে, কিন্তু সংশ্লেষণ এমন একটি জিনিস যা স্কেল করতে পারে এবং দ্রুত স্কেলিং করছে, এবং এই জিনিসগুলি এই দ্রুত প্রতিক্রিয়া লুপকে সক্ষম করার জন্য সত্যিই একত্রিত হয় যা আমি অনুমান করি প্রায়শই ইঙ্গিত করা হয়, কিন্তু খুব কমই, অন্তত আমি যা জানি, বাস্তবে বাস্তবায়িত হয় এবং দিনের শেষে বাস্তবায়নযোগ্য।

বিজয় পান্ডে: হ্যাঁ, যুক্তিযুক্তভাবে সম্ভবত এটি একটি আরও দ্রুত প্রতিক্রিয়া লুপ, বিশেষ করে আপনি যেভাবে এটি অনুসরণ করেন তার জন্য।

জ্যাকব উসকোরেইট: হ্যাঁ. এবং প্রদত্ত যে আমি বিশ্বাস করি যে আমরা যে মডেলগুলিকে প্রশিক্ষণ দিচ্ছি সেগুলিকে প্রশিক্ষণের জন্য আমাদের ডেটার সিংহভাগ তৈরি করতে হবে, আমরা সত্যিকার অর্থে এই জাতীয় ডেটা তৈরিতে Inceptive বিনিয়োগ করছি। এবং আমি তুলনামূলকভাবে মোটামুটি বিশাল স্কেল বলব, যে RNA এখন পর্যন্ত সেরা সমন্বয় বলে মনে হয় যখন এটি কাঠামোগত সরলতার ক্ষেত্রে আসে, তবে সংশ্লেষণের মাপযোগ্যতা এবং এই পরীক্ষা-নিরীক্ষার ক্ষেত্রেও। এখানে বিশাল সম্ভাবনা রয়েছে যা এখন পর্যন্ত ব্যবহার করা হয়নি।

বিজয় পান্ডে: হ্যাঁ, এবং আমি মনে করি বিশেষভাবে সম্ভাব্য এই দ্রুত চক্রের ক্ষমতা, উভয় প্রকারের প্রিক্লিনিকাল এবং তাই দ্রুত ক্লিনিকে যাওয়া এবং ক্লিনিকে থাকা [অল্প সময়ের জন্য]।

জ্যাকব উসকোরেইট: একেবারে। যে সত্যিই আমরা জন্য আশা করছি কি. আমরা সম্ভবত প্রাথমিক ইঙ্গিতগুলিও দেখছি যা ইঙ্গিত করে যে এটি এমন হতে পারে এবং আমরা অবশ্যই, সত্যিই, সত্যিই উত্তেজিত।

বিজয় পান্ডে: গত 10 বছর সম্পর্কে চিন্তা করা আশ্চর্যজনক ছিল, আপনি জানেন, 2012 থেকে এখন পর্যন্ত। আপনি কি মনে করেন পরবর্তী 10 বছর কেমন হবে? আপনি এখন থেকে 10 বছর আগে AI এর সাথে কোথায় আছেন বলে মনে করেন? হয় বিস্তৃতভাবে বা বিশেষ করে বায়োর জন্য?

জ্যাকব উসকোরেইট: আমি মনে করি যদি সত্যিই সত্য হয় যে আমরা এই ইনফ্লেকশন পয়েন্ট টেরিটরিতে প্রবেশ করছি, এখন থেকে 10 বছর পিছনে তাকালে, এটি একটি বিপ্লবের মতো অন্তত ততটা বড় এবং বিস্তৃত বলে মনে হবে যা আমরা মনে করি যে আমরা দেখেছি গত 10 বছর। একদম শেষ. এখন আমি মনে করি একটি গুরুত্বপূর্ণ পার্থক্য হবে, এবং তা হল যে গত 10 বছরে আমরা যে বিপ্লবটি প্রত্যক্ষ করছি তা প্রত্যেকের জীবনকে কতটা বিস্তৃতভাবে প্রভাবিত করে তা ঠিক কতটা স্পষ্ট নয়। কিছু নির্দিষ্ট এলাকা, সার্চ ইঞ্জিন বা সহায়ক লেখা ইত্যাদি আছে, যেখানে এটি স্পষ্ট, কিন্তু এই বিপ্লবটি কতটা ব্যাপকভাবে প্রযোজ্য তা স্পষ্ট নয়। আমি এটা খুব তাই বিশ্বাস করি, কিন্তু আমরা এখনও এটি দেখতে না. আমি মনে করি আগামী 10 বছরে আমরা বিশেষভাবে বায়োর চারপাশে যে বিপ্লব দেখতে যাচ্ছি, বা আমরা এখন থেকে 10 বছর পিছনে ফিরে তাকাতে যাচ্ছি, আমাদের সমস্ত জীবনে এর গভীর প্রভাবের দিক থেকে সত্যিই আলাদা হবে .

এমনকি ওষুধের নকশা এবং আবিষ্কারের অ্যাপ্লিকেশনগুলিকে একপাশে রেখেও, বৈজ্ঞানিক আবিষ্কারের মধ্যে এবং এর আশেপাশে এমন আশ্চর্যজনক অ্যাপ্লিকেশন রয়েছে যেখানে আপনি এখন কল্পনা করতে পারেন যে, একটি ওয়েব ইন্টারফেসের সাহায্যে, আপনি মূলত এমন অণুগুলি ডিজাইন করতে পারেন যেগুলি নির্দিষ্ট জীবগুলিতে যাওয়ার খুব বেশি সম্ভাবনা রয়েছে। কিছু প্রশ্নের উত্তর দিন, আপনি জানেন, আপনি আগে যা পেতেন তার চেয়ে বেশি নির্ভরযোগ্য রিডআউট তৈরি করে। সুতরাং এটি কীভাবে শেষ পর্যন্ত রোগীদের এবং প্রত্যেককে প্রভাবিত করবে তার সম্পূর্ণ ধরণের জটিলতা বাদ দিয়েও, এটি বেশ পরিষ্কার, আমি মনে করি যে এই সরঞ্জামগুলি জীববিজ্ঞানের মতো ক্ষেত্রগুলিকে দ্রুততর করবে।

বিজয় পান্ডে: এটি শেষ করার জন্য এটি একটি দুর্দান্ত জায়গা বলে মনে হচ্ছে। জ্যাকব, বায়ো ইটস ওয়ার্ল্ডে যোগ দেওয়ার জন্য আপনাকে অনেক ধন্যবাদ।

জ্যাকব উসকোরেইট: আমাকে পাওয়ার জন্য আপনাকে অনেক ধন্যবাদ।

অলিভিয়া ওয়েব: Bio Eats World যোগদান করার জন্য আপনাকে ধন্যবাদ. Bio Eats World আমি, Olivia Webb, a16z-এ Bio + Health টিমের সহায়তায় হোস্ট এবং প্রযোজনা করি এবং ফিল হেগসেথ দ্বারা সম্পাদিত। Bio Eats World হল a16z পডকাস্ট নেটওয়ার্কের অংশ।

পর্ব সম্পর্কে আপনার যদি প্রশ্ন থাকে বা ভবিষ্যতের পর্বের জন্য বিষয়গুলি সাজেস্ট করতে চান, অনুগ্রহ করে ইমেল করুন সবশেষে কিন্তু অন্তত নয়, আপনি যদি Bio Eats World উপভোগ করেন, অনুগ্রহ করে আমাদের একটি রেটিং দিন এবং পডকাস্ট যেখানেই শুনুন সেখানে পর্যালোচনা করুন।

অনুগ্রহ করে মনে রাখবেন যে এখানে বিষয়বস্তু শুধুমাত্র তথ্যগত উদ্দেশ্যে, আইনি, ব্যবসা, ট্যাক্স, বা বিনিয়োগের পরামর্শ হিসাবে নেওয়া উচিত নয়, বা কোন বিনিয়োগ বা নিরাপত্তা মূল্যায়ন করার জন্য ব্যবহার করা উচিত নয়, এবং কোন a16z তহবিলে কোন বিনিয়োগকারী বা সম্ভাব্য বিনিয়োগকারীদের দিকে নির্দেশিত নয় . আরো বিস্তারিত জানার জন্য, অনুগ্রহ করে a16z.com/disclosures দেখুন।

***

এখানে যে মতামত প্রকাশ করা হয়েছে তা হল স্বতন্ত্র AH Capital Management, LLC (“a16z”) কর্মীদের উদ্ধৃত এবং a16z বা এর সহযোগীদের মতামত নয়। এখানে থাকা কিছু তথ্য তৃতীয় পক্ষের উত্স থেকে প্রাপ্ত হয়েছে, যার মধ্যে a16z দ্বারা পরিচালিত তহবিলের পোর্টফোলিও কোম্পানিগুলি থেকে। নির্ভরযোগ্য বলে বিশ্বাস করা উৎস থেকে নেওয়া হলেও, a16z এই ধরনের তথ্য স্বাধীনভাবে যাচাই করেনি এবং তথ্যের স্থায়ী নির্ভুলতা বা প্রদত্ত পরিস্থিতির জন্য এর উপযুক্ততা সম্পর্কে কোনো উপস্থাপনা করেনি। উপরন্তু, এই বিষয়বস্তু তৃতীয় পক্ষের বিজ্ঞাপন অন্তর্ভুক্ত করতে পারে; a16z এই ধরনের বিজ্ঞাপন পর্যালোচনা করেনি এবং এতে থাকা কোনো বিজ্ঞাপন সামগ্রীকে সমর্থন করে না।

এই বিষয়বস্তু শুধুমাত্র তথ্যগত উদ্দেশ্যে প্রদান করা হয়, এবং আইনি, ব্যবসা, বিনিয়োগ, বা ট্যাক্স পরামর্শ হিসাবে নির্ভর করা উচিত নয়। এই বিষয়গুলি সম্পর্কে আপনার নিজের উপদেষ্টাদের সাথে পরামর্শ করা উচিত। যেকোন সিকিউরিটিজ বা ডিজিটাল সম্পদের রেফারেন্স শুধুমাত্র দৃষ্টান্তমূলক উদ্দেশ্যে, এবং বিনিয়োগের পরামর্শ বা বিনিয়োগ উপদেষ্টা পরিষেবা প্রদানের প্রস্তাব গঠন করে না। তদ্ব্যতীত, এই বিষয়বস্তু কোন বিনিয়োগকারী বা সম্ভাব্য বিনিয়োগকারীদের দ্বারা নির্দেশিত বা ব্যবহারের উদ্দেশ্যে নয় এবং a16z দ্বারা পরিচালিত যেকোন তহবিলে বিনিয়োগ করার সিদ্ধান্ত নেওয়ার সময় কোনও পরিস্থিতিতে নির্ভর করা যাবে না৷ (একটি a16z তহবিলে বিনিয়োগের প্রস্তাব শুধুমাত্র প্রাইভেট প্লেসমেন্ট মেমোরেন্ডাম, সাবস্ক্রিপশন চুক্তি, এবং এই ধরনের যেকোন তহবিলের অন্যান্য প্রাসঙ্গিক ডকুমেন্টেশন দ্বারা তৈরি করা হবে এবং তাদের সম্পূর্ণরূপে পড়া উচিত।) উল্লেখ করা যেকোন বিনিয়োগ বা পোর্টফোলিও কোম্পানিগুলি, বা বর্ণিতগুলি a16z দ্বারা পরিচালিত যানবাহনে সমস্ত বিনিয়োগের প্রতিনিধি নয়, এবং বিনিয়োগগুলি লাভজনক হবে বা ভবিষ্যতে করা অন্যান্য বিনিয়োগের একই বৈশিষ্ট্য বা ফলাফল থাকবে এমন কোনও নিশ্চয়তা থাকতে পারে না। Andreessen Horowitz দ্বারা পরিচালিত তহবিল দ্বারা করা বিনিয়োগের একটি তালিকা (যেসব বিনিয়োগের জন্য ইস্যুকারী a16z-এর জন্য সর্বজনীনভাবে প্রকাশ করার অনুমতি দেয়নি এবং সেইসাথে সর্বজনীনভাবে ব্যবসা করা ডিজিটাল সম্পদগুলিতে অঘোষিত বিনিয়োগগুলি ব্যতীত) https://a16z.com/investments-এ উপলব্ধ /।

এর মধ্যে প্রদত্ত চার্ট এবং গ্রাফগুলি শুধুমাত্র তথ্যের উদ্দেশ্যে এবং কোন বিনিয়োগ সিদ্ধান্ত নেওয়ার সময় তার উপর নির্ভর করা উচিত নয়। বিগত কর্মক্ষমতা ভবিষ্যতের ফলাফল পরিচায়ক হয় না। বিষয়বস্তু শুধুমাত্র নির্দেশিত তারিখ হিসাবে কথা বলে. এই উপকরণগুলিতে প্রকাশিত যেকোন অনুমান, অনুমান, পূর্বাভাস, লক্ষ্য, সম্ভাবনা এবং/অথবা মতামত বিজ্ঞপ্তি ছাড়াই পরিবর্তন সাপেক্ষে এবং অন্যদের দ্বারা প্রকাশিত মতামতের সাথে ভিন্ন বা বিপরীত হতে পারে। অতিরিক্ত গুরুত্বপূর্ণ তথ্যের জন্য দয়া করে https://a16z.com/disclosures দেখুন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/