Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于F1-Score的问题 #14

Open
liangwenge740 opened this issue Jan 18, 2025 · 3 comments
Open

关于F1-Score的问题 #14

liangwenge740 opened this issue Jan 18, 2025 · 3 comments

Comments

@liangwenge740
Copy link

首先很感谢您的工作,使我受益匪浅。但是我按照您的代码和数据,运行“TreeMix”选项,其最终的测试精度F1-Score只有0.81,比论文中的0.85要低。此外,我是用您提供的预训练模型进行测试,F1-Score为0.83。请问这是误差问题吗,还是因为我设置不当。

@bxiang233
Copy link
Collaborator

首先很感谢您的工作,使我受益匪浅。但是我按照您的代码和数据,运行“TreeMix”选项,其最终的测试精度F1-Score只有0.81,比论文中的0.85要低。此外,我是用您提供的预训练模型进行测试,F1-Score为0.83。请问这是误差问题吗,还是因为我设置不当。

您好, 请问您具体训练了多久呢?我记得我当时训练了蛮久(一周多?),因为data augmentation需要的时间挺多的,然后如果您用wandb是可以看到训练曲线的,如果指标还在上升/loss还在下降说明训练还没有充分。

另外您说的用我提供的模型的测试结果偏低……不好意思我第一次听到这个反馈……如果我有时间我会在我这边再测试一下。

@liangwenge740
Copy link
Author

您好,感谢您的回复。我训练至117轮时手动停止了程序,因为我在wandb上看到test_F1的上升趋势并不明显,最大值为0.73左右。我会重新训练至150轮再看看结果。预祝您春节快乐。

Image

@bxiang233
Copy link
Collaborator

您好,感谢您的回复。我训练至117轮时手动停止了程序,因为我在wandb上看到test_F1的上升趋势并不明显,最大值为0.73左右。我会重新训练至150轮再看看结果。预祝您春节快乐。

Image

好的,谢谢您的反馈!还有一个小提醒就是这里的F1是每个cylinder内部的结果,最终的F1是整个点云的结果,他们之间的差距跟block merging算法有关哈。还有就是我记得我一般会训练到差不多300轮……good luck!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants