Ë
    cQêjP  ã                  ó¾  — d dl mZ d dlZd dlZd dlmZ d dlmZm	Z	 d dl
mZ d dlmZmZ dd„Z	 	 d	 	 	 	 	 	 	 	 	 	 	 dd„Z	 	 	 	 d	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 dd	„Z	 	 	 	 	 d	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 dd
„Z	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 dd„Zddd„Zdd„Z	 	 	 d	 	 	 	 	 	 	 d d„Zd!d„Zd"d„Z	 	 	 	 	 	 	 	 	 	 	 	 d#d„Z	 	 	 	 	 	 	 	 	 	 d$d„Z	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 d%d„Zy)&é    )ÚannotationsN)Úget_dynamic_cache_key_value)Ú
AutoConfigÚAutoTokenizer)ÚDynamicCache)ÚInferenceSessionÚOrtValuec                ó¨   — | j                  «       j                  d«      dz
  }|j                  | dk(  d«       |r|d d …df   j                  d«      }|S )Néÿÿÿÿé   r   )ÚlongÚcumsumÚmasked_fill_Ú	unsqueeze)Úattention_maskÚuse_past_kvÚposition_idss      úw/home/oem/CyberBrain26-unified/.venv/lib/python3.12/site-packages/onnxruntime/transformers/models/llama/llama_inputs.pyÚget_position_idsr      sY   € Ø!×&Ñ&Ó(×/Ñ/°Ó3°aÑ7€LØ×Ñ˜n°Ñ1°1Ô5Ùà#¢A r EÑ*×4Ñ4°RÓ8ˆð Ðó    c                óÐ  — t        j                  d| j                  ||ft         j                  ¬«      }t        j                  ||t         j                  ¬«      }t        |d¬«      }|dk(  r|j                  «       n|j                  |«      }|dk(  r|j                  «       n|j                  |«      }|dk(  r|j                  «       n|j                  |«      }|s|||fS |||dœ}	|	S )Nr   ©ÚlowÚhighÚsizeÚdtype©r   F©r   Úort©Ú	input_idsr   r   )ÚtorchÚrandintÚ
vocab_sizeÚint64Úonesr   ÚnumpyÚto)
ÚconfigÚdeviceÚ
batch_sizeÚseq_lenÚengineÚreturn_dictr!   r   r   Úinputss
             r   Úget_sample_inputsr0   !   sÖ   € ô —‘ !¨&×*;Ñ*;À:ÈwÐBWÔ_d×_jÑ_jÔk€IÜ—Z‘Z 
¨G¼5¿;¹;ÔG€NÜ# NÀÔF€Lð &,¨u¢_�	—‘Ô!¸)¿,¹,ÀvÓ:N€IØ/5¸ª�^×)Ñ)Ô+ÀN×DUÑDUÐV\ÓD]€NØ+1°Uª?�<×%Ñ%Ô'ÀÇÁÐPVÓ@W€Láà˜>¨<Ð8Ð8ð Ø(Ø$ñ€Fð
 €Mr   c                ó4  — t        j                  d| j                  |dft         j                  ¬«      }t        j                  ||dz   t         j                  ¬«      }	t        |	d¬«      }
t        | ||||¬«      }|dk(  r|j                  «       n|j                  |«      }|dk(  r|	j                  «       n|	j                  |«      }	|dk(  r|
j                  «       n|
j                  |«      }
|dk(  rt        |«      n5|D �cg c]*  }|d   j                  |«      |d   j                  |«      f‘Œ, c}}|st        |t        «      sJ ‚||	|
|fS ||	|
d	œ}|dk(  r%t        |t        «      sJ ‚|j                  |«       |S t        |t        «      sJ ‚||d
<   |S c c}w )Nr   r   r   r   Tr   ©Ú
world_sizer   r    Úpast_key_values)r"   r#   r$   r%   r&   r   Úget_past_kv_inputsr'   r(   Úflatten_past_kv_inputsÚ
isinstanceÚlistÚdictÚupdate)r)   r*   r+   Úpast_seq_lenÚuse_fp16r-   r.   r3   r!   r   r   Úpast_kvÚkvr/   s                 r   Úget_sample_with_past_kv_inputsr?   D   s—  € ô —‘ !¨&×*;Ñ*;À:ÈqÀ/ÔY^×YdÑYdÔe€IÜ—Z‘Z 
¨L¸1Ñ,<ÄEÇKÁKÔP€Nä# NÀÔE€LÜ  ¨°\À8ÐXbÔc€Gð &,¨u¢_�	—‘Ô!¸)¿,¹,ÀvÓ:N€IØ/5¸ª�^×)Ñ)Ô+ÀN×DUÑDUÐV\ÓD]€NØ+1°Uª?�<×%Ñ%Ô'ÀÇÁÐPVÓ@W€Là+1°Uª?Ô˜wÔ'ÐpwÖ@xÐjlÀ"ÀQÁ%Ç(Á(È6ÓBRÐTVÐWXÑTY×T\ÑT\Ð]cÓTdÒAeÒ@xð ñ ä˜'¤4Ô(Ð(Ð(Ø˜>¨<¸ÐAÐAð Ø(Ø$ñ€Fð
 �‚Ü˜'¤4Ô(Ð(Ð(Ø�‰�gÔð
 €Mô ˜'¤4Ô(Ð(Ð(Ø$+ˆÐ Ñ!à€Mùò) Ays   Ä /Fc                óX  — t        j                  d| j                  ||ft         j                  ¬«      }t        j                  |||z   t         j                  ¬«      }t        ||dk7  ¬«      }t        | ||||
¬«      }|dk(  r|j                  «       n|j                  |«      }|dk(  r|j                  «       n|j                  |«      }|dk(  r|j                  «       n|j                  |«      }|dk(  rt        |«      n5|D �cg c]*  }|d   j                  |«      |d   j                  |«      f‘Œ, c}}|	st        |t        «      sJ ‚||||fS |||dœ}|dk(  r4t        |t        «      sJ ‚|j                  |«       |rt        |||«      }|S t        |t        «      sJ ‚||d	<   |S c c}w )
Nr   r   r   r   r2   r   r   r    r4   )r"   r#   r$   r%   r&   r   r5   r'   r(   r6   r7   r8   r9   r:   Ú enable_past_present_share_buffer)r)   r*   r+   r,   r;   Úmax_seq_lenr<   Úuse_buffer_sharer-   r.   r3   r!   r   r   r=   r>   r/   s                    r   Ú%get_merged_sample_with_past_kv_inputsrD   z   s¯  € ô —‘ !¨&×*;Ñ*;À:ÈwÐBWÔ_d×_jÑ_jÔk€IÜ—Z‘Z 
¨L¸7Ñ,BÌ%Ï+É+ÔV€Nä# NÀÐQRÑARÔT€LÜ  ¨°\À8ÐXbÔc€Gð &,¨u¢_�	—‘Ô!¸)¿,¹,ÀvÓ:N€IØ/5¸ª�^×)Ñ)Ô+ÀN×DUÑDUÐV\ÓD]€NØ+1°Uª?�<×%Ñ%Ô'ÀÇÁÐPVÓ@W€Là+1°Uª?Ô˜wÔ'ÐpwÖ@xÐjlÀ"ÀQÁ%Ç(Á(È6ÓBRÐTVÐWXÑTY×T\ÑT\Ð]cÓTdÒAeÒ@xð ñ ä˜'¤4Ô(Ð(Ð(Ø˜>¨<¸ÐAÐAð Ø(Ø$ñ€Fð
 �‚Ü˜'¤4Ô(Ð(Ð(Ø�‰�gÔáÜ5°f¸lÈKÓXˆFð €Mô ˜'¤4Ô(Ð(Ð(Ø$+ˆÐ Ñ!à€Mùò1 Ays   Ä/F'c                ó¾  — |rt         j                  nt         j                  }| j                  | j                  z  }	|�s*t         j
                  j                  ||| j                  «      j                  |«      dt        j                  t        j                  |||f«      d¬«      z  j                  |«      t         j
                  j                  || j                  || j                  |	«      j                  |«      t         j
                  j                  || j                  || j                  |	«      j                  |«      t        j                  |t         j                  ¬«      dœ}
|
S t         j
                  j                  ||| j                  «      j                  |«      t        j                  t        j                  |||ft         j                  ¬«      d¬«      dz
  j                  t         j                  «      t        j                  |t         j                  ¬«      dœ}
t        | j                  «      D ]‘  }|
j                  d|› d�t         j
                  j                  || j                  ||	«      j                  |«      d	|› d�t         j
                  j                  || j                  ||	«      j                  |«      i«       Œ“ |rt!        |
||«      }
|
S )
Ng     ˆÃÀr   )Úkr   )ÚxÚ	attn_maskÚk_cacheÚv_cacheÚpos)rG   rH   rK   Úk_Ú_cacheÚv_)ÚnpÚfloat16Úfloat32Úhidden_sizeÚnum_attention_headsÚrandomÚrandÚastypeÚtriur&   Únum_hidden_layersÚarrayr%   Úint32Úranger:   rA   )r)   r+   r;   r,   rB   r<   rC   Úsplit_kvÚnp_dtypeÚ	head_sizeÚ
ort_inputsÚis               r   Úget_msft_sample_inputsra   ®   s<  € ñ &Œr�zŠz¬2¯:©:€HØ×"Ñ" f×&@Ñ&@Ñ@€Iâä—‘—‘ 
¨G°V×5GÑ5GÓH×OÑOÐPXÓYØ"¤R§W¡W¬R¯W©W°jÀ+È{Ð5[Ó-\Ð`aÔ%bÑb×jÑjÐksÓtÜ—y‘y—~‘~Ø˜F×4Ñ4°lÀF×D^ÑD^Ð`ióç‰f�XÓÜ—y‘y—~‘~Ø˜F×4Ñ4°lÀF×D^ÑD^Ð`ióç‰f�XÓÜ—8‘8˜L´·±Ô9ñ

ˆ
ðD Ðô+ —‘—‘ 
¨G°V×5GÑ5GÓH×OÑOÐPXÓYÜŸ'™'¤"§'¡'¨:°{ÀKÐ*PÔXZ×X`ÑX`Ô"aÐefÔgÐjkÑk×sÑsÜ—‘óô —8‘8˜L´·±Ô9ñ
ˆ
ô �v×/Ñ/Ó0ò 
	ˆAØ×Ñà˜˜˜6�N¤B§I¡I§N¡NØ" F×$>Ñ$>ÀÈió%ç‘f˜XÓ&Ø˜˜˜6�N¤B§I¡I§N¡NØ" F×$>Ñ$>ÀÈió%ç‘f˜XÓ&ðõ	ð
	ñ Ü9¸*ÀlÐT_Ó`ˆJàÐr   c                ó|  — | j                   |z  }t        | d«      r| j                  n| j                  | j                  z  }|rt
        j                  nt
        j                  }t        | j                  «      D �cg c]6  }t        j                  |||||¬«      t        j                  |||||¬«      f‘Œ8 }	}|	S c c}w )NÚhead_dimr   )Únum_key_value_headsÚhasattrrc   rR   rS   r"   rP   rQ   r[   rX   rU   )
r)   r+   r;   r<   r3   Ú	num_headsr^   Útorch_dtypeÚ_r=   s
             r   r5   r5   ã   s«   € Ø×*Ñ*¨jÑ8€IÜ#*¨6°:Ô#>�—’ÀF×DVÑDVÐZ`×ZtÑZtÑDt€IÙ#+”%—-’-´·±€Kô �v×/Ñ/Ó0öð
 ô �J‰J�z 9¨l¸IÈ[ÔYÜ�J‰J�z 9¨l¸IÈ[ÔYò	
ð€Gð ð €Nùòs   Á:;B9c                ó>  — i }t        | t        «      }|r%t        | «      \  }}t        t	        ||d¬«      «      } t        | «      D ]Õ  \  }\  }}|re|j                  «       j                  «       j                  «       |d|› �<   |j                  «       j                  «       j                  «       |d|› �<   Œp|j                  «       j                  «       j                  «       |d|› d�<   |j                  «       j                  «       j                  «       |d|› d�<   Œ× |S )NF)ÚstrictÚpast_key_values_key_cache_Úpast_key_values_value_cache_úpast_key_values.ú.keyú.value)	r7   r   r   r8   ÚzipÚ	enumerateÚdetachÚcpur'   )r4   r=   Úis_dynamic_cacheÚ	key_cacheÚvalue_cacher`   Úpast_kÚpast_vs           r   r6   r6   ò   s  € Ø€GÜ! /´<Ó@ÐÙÜ!<¸_Ó!MÑˆ	�;Üœs 9¨kÀ%ÔHÓIˆÜ(¨Ó9ò RÑˆÑˆF�FÙØ8>¿¹»×8KÑ8KÓ8M×8SÑ8SÓ8UˆGÐ0°°Ð4Ñ5Ø:@¿-¹-»/×:MÑ:MÓ:O×:UÑ:UÓ:WˆGÐ2°1°#Ð6Ò7à28·-±-³/×2EÑ2EÓ2G×2MÑ2MÓ2OˆGÐ& q c¨Ð.Ñ/Ø4:·M±M³O×4GÑ4GÓ4I×4OÑ4OÓ4QˆGÐ& q c¨Ð0Ò1ðRð €Nr   c                ó6  — i }| j                  «       D ]t  \  }}t        |t        j                  «      r|||<   Œ&|dk(  r|j	                  t        |«      «       ŒF|j                  «       j                  «       j                  «       ||<   Œv |rt        |||«      }|S )Nr4   )
Úitemsr7   rO   Úndarrayr:   r6   rr   rs   r'   rA   )Ú	pt_inputsrC   r;   rB   r_   rF   Úvs          r   Úconvert_inputs_for_ortr~     s�   € ð €JØ—‘Ó!ò 5‰ˆˆ1Ü�aœŸ™Ô$ØˆJ�qŠMØÐ#Ò#Ø×ÑÔ4°QÓ7Õ8àŸH™H›JŸN™NÓ,×2Ñ2Ó4ˆJ�qŠMð5ñ Ü5°jÀ,ÐP[Ó\ˆ
àÐr   c                óà   — | j                  «       D ]Z  \  }}d|v sd|v sŒ|j                  \  }}}}t        j                  ||||f|j                  ¬«      }	||	d |…d |…d |…d |…f<   |	| |<   Œ\ | S )NÚcacher4   r   )rz   ÚshaperO   Úzerosr   )
r_   r;   rB   rF   r}   r+   rf   rh   r^   Únew_vs
             r   rA   rA     s“   € Ø× Ñ Ó"ò "‰ˆˆ1à�a‰<Ð,°Ò1à23·'±'Ñ/ˆJ˜	 1 iÜ—H‘H˜j¨)°[À)ÐLÐTU×T[ÑT[Ô\ˆEØHIˆE�+�:�+˜z 	˜z¨=¨L¨=¸*¸9¸*ÐDÑEØ!ˆJ�qŠMð"ð Ðr   c                ó  — | j                  «       D �ch c]  }|j                  ’Œ }}t        |j                  «       «      }||z
  }t	        |«      rt        d|› �«       t        d«      ‚||z
  }t	        |«      r
|D ]  }||= Œ |S c c}w )Nz(The following model inputs are missing: zEThere are missing inputs to the model. Please add them and try again.)Ú
get_inputsÚnameÚsetÚkeysÚlenÚprintÚ	Exception)Úmodelr_   Úmodel_inputÚmodel_inputsÚuser_inputsÚmissing_inputsÚunnecessary_inputsÚunnecessary_inputs           r   Úverify_ort_inputsr“   (  s¡   € à8=×8HÑ8HÓ8JÖK¨�K×$Ó$ÐK€LÐKÜ�j—o‘oÓ'Ó(€KØ! KÑ/€NÜ
ˆ>ÔÜÐ8¸Ð8HÐIÔJÜÐ_Ó`Ð`ð % |Ñ3ÐÜ
ÐÔØ!3ò 	.ÐØÐ,Ñ-ð	.ð Ðùò Ls   “Bc                óÎ  — | j                  «       }| j                  «       D �ch c]  }|j                  ’Œ }}|j                  «       D ]œ  \  }	}
|	|vrŒ|rfd|	v sd|	v r^|	|vr0t	        j
                  |
||¬«      }|j                  |	|«       |||	<   ŒI||	   j                  |
«       |j                  |	||	   «       Œst	        j
                  |
||¬«      }|j                  |	|«       Œž | j                  «       D ]d  }|j                  }|r@d|v sd|v r8|j                  dd«      j                  dd«      }|j                  |||   «       ŒQ|j                  |||¬«       Œf ||fS c c}w )Nr€   r4   )Údevice_typeÚ	device_idÚoutÚpresent)Ú
io_bindingr…   r†   rz   r	   Úortvalue_from_numpyÚbind_ortvalue_inputÚupdate_inplaceÚget_outputsÚreplaceÚbind_ortvalue_outputÚbind_output)rŒ   r_   r*   r–   rC   Úkv_cache_ortvaluesr™   r`   rŽ   rF   r}   Úv_deviceÚoutputr†   Ú
input_names                  r   Úadd_io_bindings_as_ortvaluesr¥   <  s†  € ð ×!Ñ!Ó#€Jà$)×$4Ñ$4Ó$6Ö7˜q�A—F“FÐ7€LÐ7Ø× Ñ Ó"ò 8‰ˆˆ1ð �LÑ Øñ  ¨A¡Ð1BÀaÑ1GØÐ*Ñ*Ü#×7Ñ7¸ÀvÐYbÔc�Ø×.Ñ.¨q°(Ô;Ø(0Ð" 1Ò%à" 1Ñ%×4Ñ4°QÔ7Ø×.Ñ.¨qÐ2DÀQÑ2GÕHä×3Ñ3°AÀ6ÐU^Ô_ˆHØ×*Ñ*¨1¨hÕ7ð%8ð( ×#Ñ#Ó%ò RˆØ�{‰{ˆÙ ¨$¡°)¸tÑ2CàŸ™ e¨WÓ5×=Ñ=¸iÐIZÓ[ˆJØ×+Ñ+¨DÐ2DÀZÑ2PÕQà×"Ñ" 4°VÀyÐ"ÕQðRð Ð)Ð)Ð)ùò= 8s   £E"c           
     ó¦  — t        | |«      }d }t        j                  t        j                  t        j                  t        j
                  dœ}| j                  «       }|j                  «       D ]¢  \  }}	|j                  ||	j                  j                  |	j                  j                  dk(  rdn|	j                  j                  |t        |	j                  «         t        |	j                  «      |	j!                  «       ¬«       |	j                  }Œ¤ | j#                  «       D ]«  }
|
j$                  }|rd|v r||j'                  dd«         n||   }	|j)                  ||j                  |j                  dk(  rdn|j                  |rt        j                  nt        j
                  t        |	j                  «      |	j!                  «       ¬«       Œ­ |S )N)ztorch.int32ztorch.int64ztorch.float16ztorch.float32rs   r   )r†   r•   r–   Úelement_typer�   Ú
buffer_ptrr˜   r4   )r“   rO   rZ   r%   rP   rQ   r™   rz   Ú
bind_inputr*   ÚtypeÚindexÚreprr   Útupler�   Údata_ptrr�   r†   rž   r    )rŒ   r/   Úoutputsr<   rC   r*   Úpt_to_npr™   rF   r}   r£   r†   s               r   Úadd_io_bindings_as_tensorsr±   i  s|  € ô ˜u fÓ-€Fà€Fä—x‘xÜ—x‘xÜŸ™ÜŸ™ñ	€Hð ×!Ñ!Ó#€JØ—‘“ò 	‰ˆˆ1Ø×ÑØØŸ™Ÿ™ØŸ8™8Ÿ=™=¨EÒ1‘a°q·x±x·~±~Ø!¤$ q§w¡w£-Ñ0Ü˜Ÿ™“.Ø—z‘z“|ð 	ô 	
ð —‘‰ð	ð ×#Ñ#Ó%ò 
ˆØ�{‰{ˆñ   I°Ñ$5ð �4—<‘< 	Ð+<Ó=Ò>à˜‘ð 	
ð
 	×ÑØØŸ™Ø!Ÿ;™;¨%Ò/‘a°V·\±\Ù(0œ"Ÿ*š*´b·j±jÜ˜Ÿ™“.Ø—z‘z“|ð 	õ 	
ð
ð" Ðr   c           	     óD  — |j                   |_         ||d¬«      }|rt        j                  nt        j                  }	t        j
                  |d   |t        j                  ¬«      }
t        j
                  |d   |t        j                  ¬«      }t        |d¬«      }|
j                  d   }||kD  r$|
d d …d |…f   }
|d d …d |…f   }t        |d¬«      }n—||k  r’|
d d …d	f   j                  d	«      j                  }|d d …d	f   j                  d	«      j                  }t        ||z
  «      D ]0  }t        j                  ||
f«      }
t        j                  ||f«      }Œ2 t        |d¬«      }|
j                  d   }||k(  sJ ‚|d
k(  r|
j                  «       n|
|d
k(  r|j                  «       n||d
k(  r|j                  «       n|dœ}|d
k7  rg |d<   |
j                  \  }}| j                  }| j                  }t!        | d«      r| j"                  n| j$                  | j&                  z  }t        | j(                  «      D ]•  }t        j*                  |||r|nd	|||	¬«      }t        j*                  |||r|nd	|||	¬«      }|d
k(  r:|j-                  d|› d�|j                  «       d|› d�|j                  «       i«       Œ€|d   j/                  ||f«       Œ— d }|d
k(  rÁt        j*                  ||| j0                  ||	¬«      }d|j                  «       i}|s‰t        | j(                  «      D ]q  }t        j*                  ||||||	¬«      }t        j*                  ||||||	¬«      }|j-                  d|› d�|j                  «       d|› d�|j                  «       i«       Œs ||fS )NT)Úpaddingr!   )r*   r   r   Fr   r   r   r   r    r4   rc   rm   rn   ro   Úlogitszpresent.)Ú	eos_tokenÚ	pad_tokenr"   rP   rQ   Útensorr%   r   r�   r   ÚTr[   ÚhstackÚ
contiguousÚmax_position_embeddingsrd   re   rc   rR   rS   rX   r‚   r:   Úappendr$   )r)   Ú	tokenizerÚrequested_lengthÚpromptr*   r<   rC   r-   Úencodings_dictrg   r!   r   r   Útokenized_lengthÚinput_ids_first_colÚattention_mask_first_colrh   r/   r+   Úsequence_lengthÚmax_sequence_lengthrf   r^   r`   Úpast_keyÚ
past_valuer¯   r´   Úpresent_keyÚpresent_values                                 r   Úget_initial_inputs_and_outputsrÊ   ™  s×  € ð $×-Ñ-€IÔÙ˜v¨tÔ4€NÙ#+”%—-’-´·±€Kô
 —‘˜^¨KÑ8ÀÌuÏ{É{Ô[€IÜ—\‘\ .Ð1AÑ"BÈ6ÔY^×YdÑYdÔe€NÜ# NÀÔF€Lð !—‘ rÑ*ÐØÐ*Ò*àšaÐ!2Ð"2Ð!2Ð2Ñ3ˆ	Ø'ªÐ+<Ð,<Ð+<Ð(<Ñ=ˆÜ'¨ÀEÔJ‰Ø	Ð,Ò	,à'ª¨1¨™o×7Ñ7¸Ó:×<Ñ<ÐØ#1²!°Q°$Ñ#7×#AÑ#AÀ!Ó#D×#FÑ#FÐ ÜÐ'Ð*:Ñ:Ó;ò 	VˆAÜŸ™Ð&9¸9Ð%EÓFˆIÜ"Ÿ\™\Ð+CÀ^Ð*TÓU‰Nð	Vô (¨ÀEÔJˆà —‘ rÑ*ÐØÐ/Ò/Ð/Ð/ð 06¸ª�Y×)Ñ)Ô+ÀIØ9?À5º˜.×3Ñ3Ô5ÈnØ5;¸u²_˜×/Ñ/Ô1È,ñ€Fð
 �‚Ø$&ˆÐ Ñ!ð #,§/¡/Ñ€J�Ø ×8Ñ8ÐØ×*Ñ*€IÜ#*¨6°:Ô#>�—’ÀF×DVÑDVÐZ`×ZtÑZtÑDt€Iô �6×+Ñ+Ó,ò EˆÜ—;‘;ØØÙ#3Ñ¸ØØØô
ˆô —[‘[ØØÙ#3Ñ¸ØØØô
ˆ
ð �UŠ?Ø�M‰Mà& q c¨Ð.°×0CÑ0CÓ0EØ& q c¨Ð0°*×2GÑ2GÓ2Iðõð Ð$Ñ%×,Ñ,¨h¸
Ð-CÕDð3Eð6 €GØ�‚ä—‘˜Z¨¸&×:KÑ:KÐTZÐbmÔnˆØ˜V×.Ñ.Ó0Ð1ˆÙÜ˜6×3Ñ3Ó4ò 	�Ü#Ÿk™kØ 	¨?¸IÈfÐ\gô�ô !&§¡Ø 	¨?¸IÈfÐ\gô!�ð —‘Ø ˜s $Ð'¨×)?Ñ)?Ó)AÀXÈaÈSÐPVÐCWÐYf×YqÑYqÓYsÐtõð	ð �7ˆ?Ðr   )r   ztorch.Tensorr   Úbool)ÚptF)r)   r   r*   útorch.devicer+   Úintr,   rÎ   r-   Ústrr.   rË   )FrÌ   Fr   )r)   r   r*   rÍ   r+   rÎ   r;   rÎ   r<   rË   r-   rÏ   r.   rË   r3   rÎ   )FFrÌ   Fr   )r)   r   r*   rÍ   r+   rÎ   r,   rÎ   r;   rÎ   rB   rÎ   r<   rË   rC   rË   r-   rÏ   r.   rË   r3   rÎ   )r)   r   r+   rÎ   r;   rÎ   r,   rÎ   rB   rÎ   r<   rË   rC   rË   r\   rË   )r   )
r)   r   r+   rÎ   r;   rÎ   r<   rË   r3   rÎ   )r4   z'list[tuple[torch.Tensor, torch.Tensor]])Fr   i   )r|   r9   rC   rË   r;   rÎ   rB   rÎ   )r_   r9   r;   rÎ   rB   rÎ   )rŒ   r   r_   r9   )rŒ   r   r_   r9   r*   rÏ   r–   rÎ   rC   rË   r¡   r9   )
rŒ   r   r/   r9   r¯   r9   r<   rË   rC   rË   )r)   r   r½   r   r¾   rÎ   r¿   z	list[str]r*   rÍ   r<   rË   rC   rË   r-   rÏ   )Ú
__future__r   r'   rO   r"   Ú(models.torch_export_patches.cache_helperr   Útransformersr   r   Útransformers.cache_utilsr   Úonnxruntimer   r	   r   r0   r?   rD   ra   r5   r6   r~   rA   r“   r¥   r±   rÊ   © r   r   ú<module>rÖ      s¨  ðõ #ã Û Ý Pß 2Ý 1ç 2óð( ØðØðàðð ðð ð	ð
 ðð óðP ØØØð)Øð)àð)ð ð)ð ð	)ð
 ð)ð ð)ð ð)ð ó)ðz Ø"ØØØð0Øð0àð0ð ð0ð ð	0ð
 ð0ð ð0ð ð0ð ð0ð ð0ð ð0ð ó0ðh0Øð0àð0ð ð0ð ð	0ð
 ð0ð ð0ð ð0ð ó0ôjóð& #ØØð	Øðàðð ðð ó	ó0	óð((*Øð(*àð(*ð ð(*ð ð	(*ð
 ð(*ð ó(*ðZ,Øð,Ø%)ð,Ø48ð,ØDHð,Ø\`ó,ð`dØðdàðdð ðdð ð	dð
 ðdð ðdð ðdð ôdr   