jun-wiki

이슈 추가할 생각이다

파일 업로드
↓
배경음 분리
↓
whisperX
↓
언어 자동 감지
↓
화자 분리
↓
메타 데이터 정리
↓
셀프 참조 오디오 샘플 생성
↓
셀프 참조 오디오 샘플 임베딩
↓
번역
↓
tts에 사용할 보이스 샘플 가져옴
↓
(셀프 참조 대체시) 임베딩 데이터 기반으로 유사도 높은 오디오 가져옴
↓
tts
↓
싱크 맞춤
↓
mux

대략 이런 흐름인데 어디 어디에 이슈 넣을 지 정리해야 한다

해당 세그먼트에 이슈 넣을 계획이다

• 현재 대략 구상도

  1. whisperX 할때에 정확도 점수 수준 이하이면 이슈

  2. 화자 분리 실패해 어떤 화자 발화인지 모를때 이슈

  3. 셀프 참조 오디오 샘플 생성 정확도 낮을 시 이슈

  4. 번역 이슈?

  5. 싱크 맞출때 원본과 차이 크면 이슈

번역 이슈는 뭘 넣어야 할지 모르겠다

번역 이슈 필요 없으려나?

• 워커 쪽

메타데이터에 issues 기록하고

각 issues에 데이터 넣음

• 예:

  • sync 이슈면 몇 % 차이인지

  • 화자 이슈면 bool로

  • stt 정확도 이슈도 bool로

  = tts 정확도 이슈도 bool로

  정