புதிய கட்டமைப்பு முகவர் AI இன் சிக்கலான நிலப்பரப்பை எளிதாக்குகிறது

ஏஜென்டிக் கருவிகள் மற்றும் கட்டமைப்புகளின் சுற்றுச்சூழல் அமைப்பு வெடித்துச் செல்வதால், AI அமைப்புகளை உருவாக்குவதற்கான பல விருப்பங்களை வழிநடத்துவது கடினமாகி வருகிறது, டெவலப்பர்கள் தங்கள் பயன்பாடுகளுக்கான சரியான கருவிகள் மற்றும் மாதிரிகளைத் தேர்ந்தெடுக்கும்போது குழப்பம் மற்றும் முடங்கிப்போயுள்ளனர்.

ஒரு புதிய ஆய்வுபல நிறுவனங்களின் ஆராய்ச்சியாளர்கள் இந்த சிக்கலான வலையை அவிழ்க்க ஒரு விரிவான கட்டமைப்பை முன்வைக்கின்றனர். டெவலப்பர்கள் தங்கள் பயன்பாடுகளுக்கான சரியான கருவிகள் மற்றும் உத்திகளைத் தேர்ந்தெடுப்பதற்கான நடைமுறை வழிகாட்டியை வழங்கும், அவற்றின் கவனம் மற்றும் பரிமாற்றங்களின் அடிப்படையில் அவை முகவர் கட்டமைப்பை வகைப்படுத்துகின்றன.

நிறுவன குழுக்களுக்கு, இது ஒரு மாதிரி-தேர்வு சிக்கலில் இருந்து முகவர் AI ஐ மறுவடிவமைக்கிறது, பயிற்சி வரவுசெலவுத் திட்டத்தை எங்கு செலவிடுவது, எவ்வளவு மாடுலாரிட்டியைப் பாதுகாப்பது மற்றும் செலவு, நெகிழ்வுத்தன்மை மற்றும் ஆபத்து ஆகியவற்றுக்கு இடையே அவர்கள் என்ன பரிமாற்றங்களைச் செய்யத் தயாராக இருக்கிறார்கள் என்பது பற்றிய கட்டடக்கலை முடிவாகும்.

முகவர் எதிராக கருவி தழுவல்

ஆராய்ச்சியாளர்கள் நிலப்பரப்பை இரண்டு முதன்மை பரிமாணங்களாகப் பிரிக்கிறார்கள்: முகவர் தழுவல் மற்றும் கருவி தழுவல்.

முகவர் தழுவல் என்பது முகவர் அமைப்புக்கு அடித்தளமாக இருக்கும் அடித்தள மாதிரியை மாற்றியமைப்பதை உள்ளடக்கியது. குறிப்பிட்ட பணிகளுடன் சிறப்பாகச் சீரமைக்க, ஃபைன்-டியூனிங் அல்லது வலுவூட்டல் கற்றல் போன்ற முறைகள் மூலம் ஏஜென்ட்டின் உள் அளவுருக்கள் அல்லது கொள்கைகளைப் புதுப்பிப்பதன் மூலம் இது செய்யப்படுகிறது.

கருவி தழுவல், மறுபுறம், முகவரைச் சுற்றியுள்ள சூழலுக்கு கவனம் செலுத்துகிறது. பெரிய, விலையுயர்ந்த அடித்தள மாதிரியை மீண்டும் பயிற்றுவிப்பதற்குப் பதிலாக, டெவலப்பர்கள் தேடல் மீட்டெடுப்பாளர்கள், நினைவக தொகுதிகள் அல்லது துணை முகவர்கள் போன்ற வெளிப்புற கருவிகளை மேம்படுத்துகின்றனர். இந்த மூலோபாயத்தில், முக்கிய முகவர் இருக்கிறார் "உறைந்த" (மாறாமல்). இந்த அணுகுமுறை மைய மாதிரியை மீண்டும் பயிற்சி செய்வதற்கான பாரிய கணக்கீட்டு செலவு இல்லாமல் கணினியை உருவாக்க அனுமதிக்கிறது.

ஆய்வு மேலும் இவற்றை நான்கு வெவ்வேறு உத்திகளாக உடைக்கிறது:

A1: கருவி செயல்படுத்தல் சமிக்ஞை செய்யப்பட்டது: இந்த உத்தியில், முகவர் செய்வதன் மூலம் கற்றுக்கொள்கிறார். ஸ்கிரிப்டுடன் தொடர்பு கொள்ளும் குறியீடு தொகுப்பி அல்லது தேடல் முடிவுகளை வழங்கும் தரவுத்தளத்தைப் போன்ற கருவியின் செயல்பாட்டிலிருந்து நேரடியாக சரிபார்க்கக்கூடிய பின்னூட்டத்தைப் பயன்படுத்தி இது உகந்ததாக உள்ளது. இது முகவருக்கு கற்பிக்கிறது "இயக்கவியல்" ஒரு கருவியை சரியாகப் பயன்படுத்துதல்.

ஒரு முதன்மையான உதாரணம் டீப்சீக்-ஆர்1சாண்ட்பாக்ஸில் வெற்றிகரமாகச் செயல்படும் குறியீட்டை உருவாக்க, சரிபார்க்கக்கூடிய வெகுமதிகளுடன் வலுவூட்டல் கற்றல் மூலம் மாதிரி பயிற்சியளிக்கப்பட்டது. பின்னூட்ட சமிக்ஞை பைனரி மற்றும் புறநிலையானது (குறியீடு இயங்கியதா அல்லது செயலிழந்ததா?). இந்த முறை குறியீட்டு முறை அல்லது SQL போன்ற நிலையான, சரிபார்க்கக்கூடிய டொமைன்களில் வலுவான குறைந்த-நிலைத் திறனை உருவாக்குகிறது.

A2: முகவர் வெளியீடு சமிக்ஞை செய்யப்பட்டது: இங்கே, முகவர் இடைநிலைப் படிகள் மற்றும் கருவி அழைப்புகளின் எண்ணிக்கையைப் பொருட்படுத்தாமல், அதன் இறுதிப் பதிலின் தரத்தின் அடிப்படையில் மேம்படுத்தப்படுகிறது. சரியான முடிவை அடைய பல்வேறு கருவிகளை எவ்வாறு ஒழுங்கமைப்பது என்பதை இது முகவருக்குக் கற்பிக்கிறது.

ஒரு உதாரணம் தேடல்-R1கேள்விகளுக்குப் பதிலளிக்க பல-படி மீட்டெடுப்பைச் செய்யும் முகவர். இறுதி பதில் சரியாக இருந்தால் மட்டுமே மாடல் வெகுமதியைப் பெறுகிறது, அந்த வெகுமதியை அதிகரிக்க சிறந்த தேடல் மற்றும் பகுத்தறிவு உத்திகளைக் கற்றுக்கொள்ள மறைமுகமாக கட்டாயப்படுத்துகிறது. A2 என்பது சிஸ்டம்-லெவல் ஆர்கெஸ்ட்ரேஷனுக்கு ஏற்றது, இது முகவர்கள் சிக்கலான பணிப்பாய்வுகளைக் கையாள உதவுகிறது.

T1: முகவர்-அஞ்ஞானவாதி: இந்த வகையில், கருவிகள் பரந்த தரவுகளில் சுயாதீனமாக பயிற்சியளிக்கப்படுகின்றன "செருகப்பட்டது" உறைந்த முகவருக்கு. RAG அமைப்புகளில் பயன்படுத்தப்படும் கிளாசிக் டென்ஸ் ரிட்ரீவர்களைப் பற்றி யோசித்துப் பாருங்கள். ஒரு நிலையான ரெட்ரீவர் மாதிரியானது பொதுவான தேடல் தரவுகளில் பயிற்சியளிக்கப்படுகிறது. ஒரு சக்திவாய்ந்த உறைந்த LLM ஆனது, அந்த LLMக்காக ரெட்ரீவர் பிரத்யேகமாக வடிவமைக்கப்படவில்லை என்றாலும், தகவலைக் கண்டறிய இந்த ரெட்ரீவரைப் பயன்படுத்தலாம்.

T2: முகவர் மேற்பார்வை: இந்த மூலோபாயம் உறைந்த முகவருக்கு சேவை செய்வதற்கான பயிற்சி கருவிகளை உள்ளடக்கியது. கண்காணிப்பு சமிக்ஞை என்பது முகவரின் சொந்த வெளியீட்டில் இருந்து வருகிறது, இது ஒரு கூட்டுவாழ்வு உறவை உருவாக்குகிறது, அங்கு கருவி முகவருக்குத் தேவையானதைச் சரியாக வழங்கக் கற்றுக்கொள்கிறது.

உதாரணமாக, தி s3logic ஒரு சிறிய பயிற்சி "தேடுபவர்" ஆவணங்களை மீட்டெடுப்பதற்கான மாதிரி. இந்த சிறிய மாடல் உறைந்ததா என்பதன் அடிப்படையில் வெகுமதி அளிக்கப்படுகிறது "காரணகர்த்தா" (ஒரு பெரிய LLM) அந்த ஆவணங்களைப் பயன்படுத்தி கேள்விக்கு சரியாக பதிலளிக்க முடியும். முக்கிய முகவரின் குறிப்பிட்ட அறிவு இடைவெளிகளை நிரப்ப கருவி திறம்பட மாற்றியமைக்கிறது.

சிக்கலான AI அமைப்புகள் இந்த தழுவல் முன்னுதாரணங்களின் கலவையைப் பயன்படுத்தலாம். எடுத்துக்காட்டாக, ஒரு ஆழமான ஆராய்ச்சி அமைப்பு T1-பாணி மீட்டெடுப்பு கருவிகள் (முன் பயிற்சியளிக்கப்பட்ட அடர்த்தியான மீட்டெடுப்பாளர்கள்), T2-பாணி தழுவல் தேடல் முகவர்கள் (உறைந்த LLM பின்னூட்டம் மூலம் பயிற்சியளிக்கப்பட்டது), மற்றும் A1-பாணி பகுத்தறிவு முகவர்கள் (செயல்படுத்தும் பின்னூட்டத்துடன் நன்றாக வடிவமைக்கப்பட்டது) ஆகியவற்றை ஒரு பரந்த ஒழுங்கமைக்கப்பட்ட அமைப்பில் பயன்படுத்தலாம்.

மறைக்கப்பட்ட செலவுகள் மற்றும் பரிமாற்றங்கள்

நிறுவன முடிவெடுப்பவர்களுக்கு, இந்த உத்திகளுக்கு இடையே தேர்ந்தெடுப்பது பெரும்பாலும் மூன்று காரணிகளுக்கு கீழே வருகிறது: செலவு, பொதுமைப்படுத்தல் மற்றும் மட்டுப்படுத்தல்.

விலை மற்றும் நெகிழ்வுத்தன்மை: ஏஜென்ட் தழுவல் (A1/A2) அதிகபட்ச நெகிழ்வுத்தன்மையை வழங்குகிறது, ஏனெனில் நீங்கள் முகவரின் மூளையை மாற்றுகிறீர்கள். இருப்பினும், செலவுகள் செங்குத்தானவை. உதாரணமாக, தேடல்-R1 (ஒரு A2 அமைப்பு) தேடல் திறன்களை உள்வாங்க 170,000 எடுத்துக்காட்டுகளில் பயிற்சி தேவை. இதற்கு மிகப்பெரிய கணக்கீடு மற்றும் சிறப்பு தரவுத்தொகுப்புகள் தேவை. மறுபுறம், மாதிரிகள் அனுமான நேரத்தில் மிகவும் திறமையானதாக இருக்கும், ஏனெனில் அவை பொதுவான மாதிரிகளை விட மிகச் சிறியவை.

இதற்கு மாறாக, கருவி தழுவல் (T1/T2) மிகவும் திறமையானது. s3 அமைப்பு (T2) 2,400 உதாரணங்களை மட்டுமே பயன்படுத்தி ஒரு இலகுரக தேடுபவருக்கு பயிற்சி அளித்தது (தேடல்-R1 ஐ விட சுமார் 70 மடங்கு குறைவான தரவு) ஒப்பிடக்கூடிய செயல்திறனை அடைகிறது. முகவரை விட சுற்றுச்சூழல் அமைப்பை மேம்படுத்துவதன் மூலம், நிறுவனங்கள் குறைந்த செலவில் அதிக செயல்திறனை அடைய முடியும். இருப்பினும், s3 க்கு ஒரு பெரிய மாடலுடன் ஒருங்கிணைப்பு தேவைப்படுவதால் இது மேல்நிலை செலவு அனுமான நேரத்துடன் வருகிறது.

பொதுமைப்படுத்தல்: A1 மற்றும் A2 முறைகள் ஆபத்து "அதிகப்படியான பொருத்தம்," ஒரு முகவர் ஒரு பணியில் மிகவும் நிபுணத்துவம் பெற்றால் அது பொதுவான திறன்களை இழக்கிறது. Search-R1 அதன் பயிற்சிப் பணிகளில் சிறந்து விளங்கினாலும், அது சிறப்பு மருத்துவ QA உடன் போராடி, 71.8% துல்லியத்தை மட்டுமே அடைந்ததாக ஆய்வில் கண்டறியப்பட்டுள்ளது. உங்கள் முகவர் ஒரு குறிப்பிட்ட பணிகளைச் செய்ய வடிவமைக்கப்பட்டிருக்கும் போது இது ஒரு பிரச்சனையல்ல.

மாறாக, s3 அமைப்பு (T2), ஒரு பயிற்சியளிக்கப்பட்ட கருவியின் உதவியுடன் ஒரு பொது-நோக்க உறைந்த முகவரைப் பயன்படுத்தியது, அதே மருத்துவப் பணிகளில் 76.6% துல்லியத்தை அடைந்து, சிறப்பாகப் பொதுமைப்படுத்தப்பட்டது. உறைந்த முகவர் அதன் பரந்த உலக அறிவைத் தக்க வைத்துக் கொண்டது, அதே நேரத்தில் கருவி குறிப்பிட்ட மீட்டெடுப்பு இயக்கவியலைக் கையாண்டது. இருப்பினும், T1/T2 அமைப்புகள் உறைந்த ஏஜெண்டின் அறிவை நம்பியுள்ளன, மேலும் அடிப்படை மாதிரி குறிப்பிட்ட பணியை கையாள முடியாவிட்டால், அவை பயனற்றதாக இருக்கும்.

மாடுலாரிட்டி: T1/T2 உத்திகள் செயல்படுத்துகின்றன "சூடான-மாற்று." முக்கிய பகுத்தறிவு இயந்திரத்தைத் தொடாமல் நினைவக தொகுதி அல்லது தேடுபவரை நீங்கள் மேம்படுத்தலாம். உதாரணமாக, நினைவுச்சின்னம் கடந்த வழக்குகளை மீட்டெடுக்க நினைவக தொகுதியை மேம்படுத்துகிறது; தேவைகள் மாறினால், நீங்கள் தொகுதியைப் புதுப்பிக்கிறீர்கள், திட்டமிடுபவர் அல்ல.

A1 மற்றும் A2 அமைப்புகள் ஒரே மாதிரியானவை. ஃபைன்-ட்யூனிங் மூலம் ஒரு புதிய திறமையை (குறியீடு செய்தல் போன்றவை) ஒரு ஏஜெண்டுக்குக் கற்பிப்பது ஏற்படலாம் "பேரழிவு மறத்தல்," அதன் உள் எடைகள் மேலெழுதப்படுவதால், முன்னர் கற்ற திறன்களை (கணிதம் போன்றவை) குறைக்கிறது.

நிறுவன தத்தெடுப்புக்கான ஒரு மூலோபாய கட்டமைப்பு

ஆய்வின் அடிப்படையில், டெவலப்பர்கள் இந்த உத்திகளை ஒரு முற்போக்கான ஏணியாகப் பார்க்க வேண்டும், குறைந்த ஆபத்து, மட்டு தீர்வுகளிலிருந்து உயர்-வளத் தனிப்பயனாக்கத்திற்கு நகரும்.

T1 (முகவர்-அஞ்ஞான கருவிகள்) உடன் தொடங்கவும்: உறைந்த, சக்திவாய்ந்த மாதிரியை (ஜெமினி அல்லது க்ளாட் போன்றவை) அடர்த்தியான ரெட்ரீவர் அல்லது ஒரு போன்ற ஆஃப்-தி-ஷெல்ஃப் கருவிகளுடன் சித்தப்படுத்தவும் MCP இணைப்பான். இதற்கு பூஜ்ஜிய பயிற்சி தேவை மற்றும் முன்மாதிரி மற்றும் பொதுவான பயன்பாடுகளுக்கு ஏற்றது. இது குறைந்த தொங்கும் பழமாகும், இது பெரும்பாலான பணிகளுக்கு உங்களை வெகுதூரம் அழைத்துச் செல்லும்.

T2 க்கு நகர்த்து (முகவர் மேற்பார்வையிடும் கருவிகள்): பொதுவான கருவிகளைப் பயன்படுத்த ஏஜென்ட் சிரமப்பட்டால், முதன்மை மாதிரியை மீண்டும் பயிற்சி செய்ய வேண்டாம். அதற்குப் பதிலாக, முக்கிய முகவர் எப்படி விரும்புகிறார் என்பதைத் துல்லியமாக வடிகட்டவும் வடிவமைக்கவும் ஒரு சிறிய, பிரத்யேக துணை முகவருக்கு (தேடுபவர் அல்லது நினைவக மேலாளர் போன்றவை) பயிற்சி அளிக்கவும். இது அதிக தரவு திறன் கொண்டது மற்றும் தனியுரிம நிறுவன தரவு மற்றும் அதிக அளவு மற்றும் செலவு உணர்திறன் கொண்ட பயன்பாடுகளுக்கு ஏற்றது.

நிபுணத்துவத்திற்கு A1 (கருவி செயல்படுத்தல் சமிக்ஞை) பயன்படுத்தவும்: தொழில்நுட்பப் பணிகளில் முகவர் அடிப்படையில் தோல்வியுற்றால் (எ.கா., செயல்படாத குறியீடு அல்லது தவறான API அழைப்புகளை எழுதுதல்) கருவியின் புரிதலை நீங்கள் மாற்றியமைக்க வேண்டும். "இயக்கவியல்." SQL அல்லது Python அல்லது உங்கள் தனியுரிம கருவிகள் போன்ற சரிபார்க்கக்கூடிய டொமைன்களில் நிபுணர்களை உருவாக்க A1 சிறந்தது. எடுத்துக்காட்டாக, உங்கள் குறிப்பிட்ட கருவித்தொகுப்பிற்கான சிறிய மாதிரியை நீங்கள் மேம்படுத்தலாம், பின்னர் அதை ஒரு பொதுவான மாதிரிக்கு T1 செருகுநிரலாகப் பயன்படுத்தலாம்.

ரிசர்வ் A2 (முகவர் வெளியீடு சமிக்ஞை) ஆக "அணுசக்தி விருப்பம்": சிக்கலான மூலோபாயம் மற்றும் சுய-திருத்தம் ஆகியவற்றை உள்வாங்குவதற்கு உங்களுக்குத் தேவைப்பட்டால் மட்டுமே ஒரு ஒற்றைக்கல் முகவரைப் பயிற்றுவிக்கவும். இது வளம்-தீவிரமானது மற்றும் நிலையான நிறுவன பயன்பாடுகளுக்கு அரிதாகவே அவசியம். உண்மையில், உங்கள் சொந்த மாதிரியைப் பயிற்றுவிப்பதில் நீங்கள் அரிதாகவே ஈடுபட வேண்டும்.

AI நிலப்பரப்பு முதிர்ச்சியடையும் போது, ​​​​ஒரு மாபெரும், சரியான மாதிரியை உருவாக்குவதிலிருந்து ஒரு நிலையான மையத்தைச் சுற்றி சிறப்புக் கருவிகளின் ஸ்மார்ட் சுற்றுச்சூழல் அமைப்பைக் கட்டமைப்பதில் கவனம் மாறுகிறது. பெரும்பாலான நிறுவனங்களுக்கு, ஏஜென்டிக் AIக்கான மிகவும் பயனுள்ள பாதையானது ஒரு பெரிய மூளையை உருவாக்கவில்லை, ஆனால் மூளைக்கு சிறந்த கருவிகளை வழங்குவதாகும்.