[BUAA-SE-2018]结对做业测试报告

目录

• 1. 测试方式
• 2. 评分规则
  • 2.1 测试点组成
  • 2.2 性能测试的分级
  • 2.3 从新提交的扣分策略
• 3. 评测结果
  • 3.1 罗老师班
  • 3.2 任老师班
  • 3.3 表中数据的说明
• 4. 测试点下载和说明
  • 4.1 测试样例下载
  • 4.2 测试点说明
• 5. 总结

做业链接：结对项目-最长单词链

本次评测仅包含正确性、鲁棒性和性能测试三个部分。

2019.4.2修改：更正了几组同窗的鲁棒性测试评分和一组同窗的测试评分。
2019.4.3修改：更新了性能测试相关的分数，以及一些细节。

1. 测试方式

本次测试采用自动评测+人工复查的方式进行

其中，正确性和性能测试彻底依赖于自动测试，鲁棒性测试则经过人工复查的方式来评分。

2. 评分规则

2.1 测试点组成

• 正确性：34个，每一个1分
• 鲁棒性：6个，每一个1分
• 性能：2个，其中第一个测试10分，第二个较复杂5分

对于鲁棒性测试，要求必须输出正确的提示信息才能得分。
正确性测试中也存在没有输出的边界测试点，但对于这些测试点，不要求必定输出相关提示信息。

2.2 性能测试的分级

考虑到本次正确性测试的测试点较多，且包含不少边界状况，所以咱们放宽性能测试的条件为：无条件，即全部同窗都可测试，正确便可得分。
本次测试中，第一个性能测试分两档，以60s为界，60s之内得10分，60s以上得5分。
第二个性能测试，因为只有两组同窗能正确输出，因此只有一档。

2.3 从新提交的扣分策略

本次做业中有部分同窗的做业不符合做业要求，致使没法测试。为了确保可以进行测试，咱们容许这些同窗修改代码从新提交。但为了确保公平，咱们决定扣除这些同窗的一些分数。

扣分的策略为：

1. BIN原本就存在，可是放错位置，不扣分
2. BIN不存在，或者wordlist.exe命名错误，扣1分
3. 修改程序，问题不大的状况，第一次修改扣1分，第二次再扣2分
4. 修改程序问题比较大的状况，第一次扣2分，第二次再扣3分
5. 程序输出格式错误，扣1分

3. 评测结果

因为测试点较多，这里不给出除了性能测试以外的单个测试点的得分状况。

3.1 罗老师班

学号	正确性(34)	鲁棒性(6)	性能1	性能1时间(s)	性能2	性能2时间(s)	从新修改的扣分	总分
15005012	15	1	0	-1	0	338.5391	0	16
15061114	0	0	0	-1	0	-1	0	0
16021160	27	5	1	129.4598	0	-1	0	37
16061008	11	4	0	319.3594	0	-1	0	15
16061014	20	1	0	0.0937	0	0.0156	1	20
16061026	11	4	0	319.3594	0	-1	0	15
16061027	20	1	0	0.0937	0	0.0156	1	20
16061050	23	5	0	0.4844	0	113.3438	0	28
16061051	33	6	1	411.4988	0	574.9063	0	44
16061057	31	6	0	0.1406	0	2	0	37
16061076	30	5	1	2.3281	0	-1	0	45
16061082	32	6	1	20.4269	0	421.1138	0	48
16061093	33	6	1	0.8125	0	-1	3	46
16061097	32	6	0	286.7032	0	-1	0	38
16061100	15	1	0	-1	0	150.9222	1	15
16061101	21	6	1	0.2675	0	-1	0	37
16061104	32	6	1	20.4269	0	421.1138	0	48
16061106	21	6	0	0.1602	0	0.0611	3	24
16061107	21	6	1	0.2675	0	-1	0	37
16061109	32	6	0	286.7032	0	-1	0	38
16061110	22	3	1	6.5095	0	-1	4	31
16061113	12	5	0	57.6061	0	1.7344	0	17
16061114	12	5	0	57.6061	0	1.7344	0	17
16061118	29	6	1	2.4025	0	-1	0	45
16061119	21	6	0	0.1602	0	0.0611	3	24
16061125	33	5	1	151.5781	0	-1	0	43
16061135	24	6	1	0.4219	0	-1	0	40
16061137	32	6	1	0.2154	1	0.1719	1	52
16061144	32	6	1	0.2154	1	0.1719	1	52
16061145	33	5	1	151.5781	0	-1	0	43
16061155	33	6	1	0.8125	0	-1	3	46
16061156	29	6	1	0.2656	0	-1	0	45
16061159	33	6	1	405.3438	0	570.5156	0	44
16061165	23	5	0	0.4844	0	113.3438	0	28
16061167	25	6	1	0.1747	1	33.875	0	46
16061168	23	6	0	12.5133	0	-1	1	28
16061170	25	6	1	0.1747	1	33.875	0	46
16061173	24	6	1	0.4219	0	-1	0	40
16061175	29	6	1	0.2656	0	-1	0	45
16061182	23	6	0	12.5133	0	-1	1	28
16061197	22	3	1	6.5095	0	-1	4	31
16061200	30	5	1	2.3281	0	-1	0	45
16061201	26	0	1	217.9223	0	-1	3	28
16061202	26	0	1	217.9223	0	-1	3	28
16091049	31	6	0	0.1406	0	2	0	37
16101061	29	6	1	2.4025	0	-1	0	45

3.2 任老师班

学号	正确性(34)	鲁棒性(6)	性能1	性能1时间(s)	性能2	性能2时间(s)	从新修改的扣分	总分
15231112	28	3	0	4.8217	0	-1	1	30
16061007	27	2	1	34.5461	0	-1	0	39
16061010	32	6	0	-1	0	-1	0	38
16061011	29	3	1	107.7189	0	280.9996	0	37
16061022	32	6	0	-1	0	-1	0	38
16061023	18	5	0	0.2812	0	0.2166	1	22
16061030	13	6	0	1.4679	0	0.125	0	19
16061048	18	5	0	0.2812	0	0.2166	1	22
16061103	31	4	0	1.5156	0	-1	1	34
16061120	0	3	0	-1	0	243.1577	2	1
16061152	29	3	1	107.7189	0	280.9996	0	37
16061153	5	0	0	0.2475	0	0.0531	2	3
16061161	28	3	0	4.8217	0	-1	1	30
16061192	31	4	0	1.5554	0	-1	1	34
16061203	5	0	0	0.2475	0	0.0531	2	3
16131059	27	2	1	34.5461	0	-1	0	39
16231030	27	5	1	58.7656	0	-1	0	42
16231031	27	5	1	58.7656	0	-1	0	42
16231247	13	6	0	1.4679	0	0.125	0	19

3.3 表中数据的说明

正确性和鲁棒性两列，数字表明得分。
性能1和性能2两列，1表明正确，0表明错误。
相应的时间列表示运行时间，运行时间为-1表示超时或没法运行。

4. 测试点下载和说明

4.1 测试样例下载

为了方便同窗们复查本身的问题，咱们公开全部的测试样例。
下载链接为：BUAA-SE-2018-结对做业测试样例
提取码：snh4

4.2 测试点说明

这里说明一些可能引发误解或者错误人数比较多的测试点：

• 5：该测试点中，输入的全部单词都在输出的单词链中
• 34, 35：这两个测试点测试输入文件路径不在指令最后的状况，相似Wordlist.exe -w 34.in -r这样的指令也应该是合法的
• 36：该测试考察题目要求中”单词链至少2个单词“这个点，因此不能有输出
• 39：该测试点测试单词特别长的状况
• 40：该测试点测试单词特别多的状况

5. 总结

整体而言，同窗们在包含-r参数的测试点中错误较多，这也是本次做业的难点之一。

性能测试的第二个测试点较难，只有一组同窗作对，有两组同窗作对，其中一组同窗的程序的运行速度很快，运行这个性能测试只须要不到1s的时间。
在此特别表扬16061137和16061144两位同窗。

这里也给出他们两人博客的地址：

• 结对项目-最长单词链
• 结对编程博客

除此以外也要表扬1606108二、1606110四、1606109三、1606115五、1606105一、1606115九、1606112五、16061145这四组同窗，他们也作得至关不错。