What Are AI Tokens: દુનિયાની અગ્રણી કંપનીઓમાં સામેલ Nvidia અને તેના CEO જેન્સન હુઆંગ (Jensen Huang) હાલમાં ભારે ચર્ચામાં છે. તેમણે ઇન્ડસ્ટ્રીના ટોપ એન્જિનિયરોને પોતાની સાથે જોડી રાખવા માટે ‘AI ટોકન્સ’ (AI Tokens) આપવાનો એક નવો જ આઈડિયા આપ્યો છે. અમેરિકાના કેલિફોર્નિયામાં યોજાયેલી GTC કોન્ફરન્સમાં જેન્સન હુઆંગે સૂચન આપ્યું કે, એન્જિનિયરોને તેમની નિયમિત સેલરી ઉપરાંત, બેઝ સેલરીના લગભગ અડધા ભાગ જેટલું વાર્ષિક ‘ટોકન બજેટ’ આપવામાં આવે. આવી સ્થિતિમાં એ જાણવું જરૂરી છે કે આ AI ટોકન્સ શું છે.
શું હોય છે AI ટોકન્સ? (What are AI Tokens)
સરળ શબ્દોમાં કહીએ તો, AI ટોકન્સ એ AI ની ‘ભાષાનો એકમ’ (Units of Language) છે. જ્યારે પણ આપણે AI (જેમ કે ChatGPT અથવા Gemini) સાથે વાત કરીએ છીએ અથવા કોઈ પ્રશ્ન પૂછીએ છીએ, ત્યારે તે આપણા શબ્દોને સીધી રીતે સમજતું નથી, પરંતુ તેને નાના-નાના ટુકડાઓમાં તોડી નાખે છે. આ ટુકડાઓને જ ‘ટોકન’ કહેવામાં આવે છે.
ઉદાહરણ સાથે સમજો: જો તમે AI ને કમાન્ડ આપો છો: ‘નમસ્તે, કેમ છો?’, તો AI તેને આ રીતે જોશે: [નમસ્તે] [,] [કેમ] [છો] [?]. એટલે કે તેણે તમારા સવાલને 5 અલગ-અલગ ટોકન્સમાં વહેંચી દીધો. અંગ્રેજીમાં સવાલ પૂછવા પર વધુ ટોકન ખર્ચાય છે, જ્યારે હિન્દી કે અન્ય ભાષાઓમાં ટોકનનો વપરાશ અલગ હોઈ શકે છે.
AI ટોકન્સની અગત્યતા
વર્તમાન સમયમાં AI ટોકન્સનું મૂલ્ય ખૂબ વધી ગયું છે. કોઈપણ AI મોડલની એક મર્યાદા હોય છે કે તે કેટલા ટોકન્સ યાદ રાખી શકે છે, જેને ‘કોન્ટેક્સ્ટ વિન્ડો’ (Context Window) કહેવામાં આવે છે. જો આ લિમિટ પૂરી થઈ જાય, તો AI જૂની વાતો ભૂલવા લાગે છે. AI સર્વિસ આપતી કંપનીઓ પોતાના યુઝર્સને નિશ્ચિત ટોકન્સ આપે છે, જે પ્રશ્નો પૂછવા પર ખર્ચાય છે.
ટોકન્સના આધારે વસૂલવામાં આવે છે પૈસા
આજકાલ ટોપ AI કંપનીઓ તેમના યુઝર્સ પાસેથી ટોકન્સના આધારે ફી લે છે.
ખર્ચ: રિપોર્ટ અનુસાર, OpenAI તેના એડવાન્સ્ડ મોડલ માટે પ્રતિ 10 લાખ ટોકન પર 15 ડોલર ચાર્જ કરે છે.
એન્જિનિયરો માટે વપરાશ: જ્યારે કોઈ એન્જિનિયર કોડિંગ માટે AI ટૂલ્સનો ઉપયોગ કરે છે, ત્યારે કોડની દરેક લાઇન તેના એકાઉન્ટમાં રહેલા ટોકન્સમાંથી વપરાય છે. એક રિપોર્ટ મુજબ, એક એન્જિનિયરનું ટોકન બિલ તેના પ્રોજેક્ટ દરમિયાન 10 હજાર ડોલર સુધી પહોંચી ગયું હતું.
નોકરીમાં હવે એન્જિનિયરો પૂછી રહ્યા છે – ‘કેટલા ટોકન મળશે?’
AI ટોકન્સનો ઉપયોગ કરતા એન્જિનિયરો હવે પગારની સાથે આ ટોકન્સ વિશે પણ પૂછપરછ કરવા લાગ્યા છે. OpenAI ના એક એન્જિનિયરિંગ લીડના જણાવ્યા મુજબ, ઇન્ટરવ્યુમાં આવતા ઉમેદવારો હવે પૂછે છે કે તેમને કેટલા AI ટોકન્સ વાપરવા મળશે. મળતી માહિતી મુજબ, OpenAI ના કેટલાક કર્મચારીઓ દર અઠવાડિયે 10 અબજથી વધુ ટોકન્સ ખર્ચ કરી રહ્યા છે.
