Skip to content
This repository has been archived by the owner on Oct 17, 2024. It is now read-only.

Add files via upload (self-report) #49

Merged
merged 4 commits into from
Sep 15, 2024
Merged

Conversation

KyujinHan
Copy link
Contributor

안녕하세요!
GIthub readme에서 self-report가 가능하다고 해서 이렇게 PR 요청을 드리게 되었습니다.

PR 요청 드리는 모델의 정보는 아래와 같습니다.

저희가 자체 평가를 할 때 기준이 되었던 자료는 아래와 같습니다.

Logickor 코드 내에서 활용하는 template 중 zero-shot (default)을 활용하여, gpt4-1106-preview 모델로 평가를 진행하였습니다.

각 모델에 대해, jsonl 파일로 답변(output), 판단근거(judge_message), 점수(score)를 정리하여 공유드립니다!

Logickor 리더보드 항상 응원합니다.
감사드립니다..!
각 분야별 점수도 huggingface 내 readme를 참고하시면 보실 수 있습니다

@KyujinHan KyujinHan changed the title Add files via upload (HumanF-MarkrAI models) Add files via upload (self-report) Sep 4, 2024
@StableFluffy
Copy link
Collaborator

PR 감사드립니다. 혹시 나머지(1-shot, cot-1-shot)에 대해서도 평가 해주실 수 있을까요?

@KyujinHan
Copy link
Contributor Author

KyujinHan commented Sep 6, 2024

각각의 모델에 1-shot, cot-1-shot 추가로 평가하여 jsonl 파일 공유드립니다

한가지 특이사항으로 gemma2의 cot-1-shot 경우,
system prompt가 작동되지 않는 것으로 파악하여서 user promtp 맨 앞 단에 붙여서 활용했습니다..!

@vkehfdl1
Copy link

@StableFluffy
해당 PR 리뷰 부탁드립니다^^

@StableFluffy StableFluffy merged commit 4585af7 into instructkr:main Sep 15, 2024
@StableFluffy
Copy link
Collaborator

업로드 진행했습니다. 감사드립니다.

Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

3 participants