A Coupling-Strength-Based Recursive Multi-Resolution Token-Chain Language Model

Abstract

언어 모델은 일반적으로 인접한 토큰들이 예측 가능하고 재사용 가능한 단위를 형성하는 경우에도 토큰 해상도 단계에서 연산을 할당합니다. 본 독립적인 기술 제안서에서는 재귀적 다중 해상도 토큰 체인 모델(RMTC)을 제안합니다. RMTC는 토큰 주소 지정이 가능한 아키텍처로, 강력하게 결합된 스팬들을 동적으로 상위 레벨 상태로 승격시키면서 동시에 해당 소스 토큰에 대한 정확한 접근 권한을 유지합니다. RMTC Core에서 인과적 제안 네트워크는 운영 결합 강도를 추정합니다. 이는 후보 스팬을 공동으로 처리하는 대신 내부 분할을 강제함으로써 발생하는 과도한 예측 또는 표현 손실을 의미합니다. 예산이 책정된 층상 선택기는 중첩되거나 분리된 스팬을 활성화합니다. 선택된 스팬은 소스 포인터와 숫자, 부정, 식별자, 연산자와 같은 결정에 중요한 요소에 대한 명시적 레코드를 포함하는 구조화된 다중 슬롯 상태로 인코딩됩니다. 사전 생성 위험 게이트는 불확실성, 하위 영향, 재구성 편차 또는 정확한 세부 정보 위험이 비용을 정당화하는 경우에만 토큰 상태를 다시 생성합니다. 스트리밍 생성 동안 최근 토큰은 핫 윈도우에 임시로 유지됩니다. 초기 구현에서는 기존의 자기회귀 출력 디코더를 유지할 수 있습니다. RMTC-Revise는 계층적 복구를 위해 검증자 증거를 사용하는 선택적 확장 기능으로 분리되어 있습니다. 이 제안은 완료된 RMTC 학습 결과를 보고하지 않습니다. 대신, 이상적인 비용 모델, 일치하는 기준선, 정확한 세부 사항의 스트레스 테스트, 하드웨어 인식 측정, 사전 지정된 비열등성 게이트, 제거 및 명시적인 부정 결과 조건을 명시합니다. 핵심 가설은 토큰이 모든 내부 계산의 필수 단위로 남지 않으면서도 정밀도의 최소 기준을 유지해야 한다는 것입니다. 문서 상태: 독립적인 기술적 입장 보고서 및 검증 가능한 연구 제안서. 본 원고는 공식적인 동료 심사를 거치지 않았으며, 완료된 실증적 RMTC 결과를 보고하지 않습니다.