[branch-2.0] Picks "[Fix](schema change) Fix can't do reorder column schema change for MOW table and duplicate key table #37067"

[bobhan1]

Proposed changes

picks #37067

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[bobhan1]

run buildall

[doris-robot]

TPC-H: Total hot run time: 50041 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit afe2ed6eb35cc9382839f044cf2d19d67458ff0d, data reload: false

------ Round 1 ----------------------------------
q1	17632	4462	4388	4388
q2	2112	161	146	146
q3	10333	1898	1957	1898
q4	10098	1270	1334	1270
q5	8399	3925	3984	3925
q6	258	123	125	123
q7	2039	1615	1598	1598
q8	9283	2774	2739	2739
q9	10919	10248	10285	10248
q10	8669	3517	3549	3517
q11	438	251	242	242
q12	473	308	303	303
q13	18338	3952	4039	3952
q14	355	336	327	327
q15	509	460	462	460
q16	669	572	574	572
q17	1135	991	969	969
q18	7227	6885	6867	6867
q19	1778	1711	1621	1621
q20	541	313	304	304
q21	4454	4153	4141	4141
q22	533	431	440	431
Total cold run time: 116192 ms
Total hot run time: 50041 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4316	4293	4316	4293
q2	316	226	220	220
q3	4218	4181	4156	4156
q4	2759	2741	2761	2741
q5	7203	7137	7140	7137
q6	241	119	120	119
q7	3226	2872	2873	2872
q8	4376	4475	4536	4475
q9	16995	16685	16790	16685
q10	4268	4253	4239	4239
q11	758	697	734	697
q12	1050	853	851	851
q13	6827	3758	3716	3716
q14	467	424	424	424
q15	497	453	466	453
q16	726	699	684	684
q17	3820	3813	3884	3813
q18	8908	8767	8849	8767
q19	1717	1752	1671	1671
q20	2406	2126	2120	2120
q21	8624	8608	8410	8410
q22	1018	955	963	955
Total cold run time: 84736 ms
Total hot run time: 79498 ms

[doris-robot]

TPC-DS: Total hot run time: 203233 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit afe2ed6eb35cc9382839f044cf2d19d67458ff0d, data reload: false

query1	935	425	378	378
query2	6546	2869	2657	2657
query3	6928	201	206	201
query4	20038	17977	18041	17977
query5	19735	6511	6544	6511
query6	286	223	232	223
query7	4168	294	302	294
query8	417	398	405	398
query9	3057	2633	2552	2552
query10	425	313	298	298
query11	11243	10784	10749	10749
query12	125	81	78	78
query13	5598	681	673	673
query14	18138	13685	13183	13183
query15	360	246	249	246
query16	6471	286	271	271
query17	1698	1465	885	885
query18	2292	412	414	412
query19	209	150	159	150
query20	80	79	81	79
query21	193	97	88	88
query22	5144	5057	5010	5010
query23	32511	31890	31732	31732
query24	6920	6488	6513	6488
query25	544	450	420	420
query26	529	158	161	158
query27	1895	296	289	289
query28	6176	2337	2298	2298
query29	2942	2653	2743	2653
query30	242	162	170	162
query31	928	716	740	716
query32	70	59	58	58
query33	411	238	249	238
query34	863	469	475	469
query35	1133	925	922	922
query36	1250	1112	1239	1112
query37	91	62	58	58
query38	3066	2904	2957	2904
query39	1360	1325	1302	1302
query40	210	96	101	96
query41	47	46	44	44
query42	81	82	82	82
query43	773	757	722	722
query44	1161	723	724	723
query45	252	240	237	237
query46	1217	966	975	966
query47	1719	1749	1776	1749
query48	1006	734	702	702
query49	621	372	360	360
query50	878	626	610	610
query51	4793	4663	4653	4653
query52	91	95	76	76
query53	452	325	314	314
query54	2647	2455	2469	2455
query55	93	73	90	73
query56	242	233	214	214
query57	1180	1125	1251	1125
query58	223	210	193	193
query59	4287	4006	4069	4006
query60	219	199	203	199
query61	97	94	94	94
query62	850	453	506	453
query63	488	342	341	341
query64	2373	1546	1498	1498
query65	3731	3572	3603	3572
query66	792	380	375	375
query67	15627	15370	15097	15097
query68	9930	659	650	650
query69	577	340	342	340
query70	1740	1445	1537	1445
query71	421	304	323	304
query72	6570	3469	3548	3469
query73	735	319	323	319
query74	6308	5914	5870	5870
query75	5402	3758	3750	3750
query76	6273	1114	1208	1114
query77	1027	276	264	264
query78	12549	11653	12183	11653
query79	8275	656	628	628
query80	1425	399	406	399
query81	490	241	229	229
query82	1259	97	94	94
query83	169	132	130	130
query84	255	72	72	72
query85	888	327	337	327
query86	325	292	303	292
query87	3237	3075	3008	3008
query88	4577	2351	2340	2340
query89	434	286	283	283
query90	1952	215	206	206
query91	174	137	140	137
query92	59	58	51	51
query93	5807	555	532	532
query94	703	218	213	213
query95	1090	1058	1059	1058
query96	629	332	325	325
query97	6351	6380	6404	6380
query98	192	178	176	176
query99	3034	854	942	854
Total cold run time: 314024 ms
Total hot run time: 203233 ms

[doris-robot]

ClickBench: Total hot run time: 31.9 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit afe2ed6eb35cc9382839f044cf2d19d67458ff0d, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.03	0.02
query3	0.25	0.04	0.04
query4	1.80	0.07	0.07
query5	0.54	0.53	0.51
query6	1.24	0.62	0.62
query7	0.01	0.00	0.01
query8	0.04	0.03	0.02
query9	0.53	0.49	0.48
query10	0.54	0.52	0.53
query11	0.12	0.08	0.08
query12	0.12	0.09	0.09
query13	0.62	0.62	0.61
query14	0.80	0.78	0.78
query15	0.78	0.76	0.76
query16	0.36	0.38	0.36
query17	1.01	1.04	1.02
query18	0.23	0.26	0.24
query19	1.91	1.84	1.87
query20	0.02	0.01	0.01
query21	15.49	0.55	0.56
query22	2.14	2.28	1.92
query23	17.15	0.99	0.98
query24	5.69	1.84	1.77
query25	0.35	0.08	0.08
query26	0.76	0.15	0.16
query27	0.05	0.04	0.03
query28	5.93	0.72	0.70
query29	12.69	2.35	2.32
query30	0.55	0.52	0.53
query31	2.85	0.38	0.36
query32	3.39	0.51	0.49
query33	3.08	3.08	3.07
query34	15.25	4.78	4.78
query35	4.87	4.83	4.86
query36	1.06	1.02	1.02
query37	0.06	0.05	0.04
query38	0.03	0.02	0.02
query39	0.02	0.01	0.02
query40	0.16	0.14	0.14
query41	0.06	0.01	0.01
query42	0.02	0.01	0.01
query43	0.02	0.02	0.01
Total cold run time: 102.68 s
Total hot run time: 31.9 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit afe2ed6eb35cc9382839f044cf2d19d67458ff0d with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.3 seconds inserted 10000000 Rows, about 469K ops/s

[bobhan1]

run buildall

[doris-robot]

TPC-H: Total hot run time: 49807 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 5b6b31e523248d66996744cda98735d82e063cc2, data reload: false

------ Round 1 ----------------------------------
q1	18024	4399	4337	4337
q2	2064	153	149	149
q3	10349	1903	1946	1903
q4	10115	1268	1347	1268
q5	8587	3857	3903	3857
q6	230	147	125	125
q7	2066	1610	1627	1610
q8	9566	2742	2708	2708
q9	13785	10455	10235	10235
q10	8657	3536	3510	3510
q11	412	250	251	250
q12	471	297	308	297
q13	18345	3966	4069	3966
q14	368	331	335	331
q15	509	473	456	456
q16	653	574	584	574
q17	1132	944	907	907
q18	7253	6852	6995	6852
q19	1773	1651	1608	1608
q20	539	296	303	296
q21	4392	4131	4128	4128
q22	523	458	440	440
Total cold run time: 119813 ms
Total hot run time: 49807 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4305	4245	4334	4245
q2	317	225	223	223
q3	4119	4151	4120	4120
q4	2754	2763	2757	2757
q5	7097	7110	7118	7110
q6	241	117	119	117
q7	3250	2864	2829	2829
q8	4352	4440	4458	4440
q9	16955	16730	16692	16692
q10	4191	4289	4277	4277
q11	763	678	696	678
q12	1024	864	851	851
q13	7108	3778	3736	3736
q14	452	425	427	425
q15	511	455	458	455
q16	750	669	686	669
q17	3779	3891	3823	3823
q18	8656	8811	8822	8811
q19	1742	1673	1725	1673
q20	2363	2107	2082	2082
q21	8518	8384	8537	8384
q22	1067	984	989	984
Total cold run time: 84314 ms
Total hot run time: 79381 ms

[doris-robot]

TPC-DS: Total hot run time: 201999 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 5b6b31e523248d66996744cda98735d82e063cc2, data reload: false

query1	958	420	382	382
query2	6533	2823	2629	2629
query3	6917	203	200	200
query4	20128	18081	17898	17898
query5	19731	6494	6478	6478
query6	299	218	241	218
query7	4156	299	302	299
query8	460	406	475	406
query9	3059	2685	2618	2618
query10	409	320	288	288
query11	11287	10731	10736	10731
query12	124	73	78	73
query13	5614	702	692	692
query14	18137	13116	13770	13116
query15	356	234	241	234
query16	6450	289	264	264
query17	1715	1453	884	884
query18	2305	424	414	414
query19	217	156	160	156
query20	83	82	81	81
query21	194	94	97	94
query22	5203	5007	5077	5007
query23	32546	31712	31832	31712
query24	6885	6523	6521	6521
query25	542	422	425	422
query26	529	158	161	158
query27	1884	293	296	293
query28	6187	2371	2341	2341
query29	2845	2786	2816	2786
query30	247	167	168	167
query31	906	722	709	709
query32	70	63	61	61
query33	408	264	244	244
query34	870	462	482	462
query35	1144	943	894	894
query36	1338	1209	1183	1183
query37	88	60	62	60
query38	3063	2913	2934	2913
query39	1367	1321	1325	1321
query40	203	96	97	96
query41	46	44	44	44
query42	82	85	84	84
query43	734	601	713	601
query44	1127	741	726	726
query45	247	239	239	239
query46	1232	975	962	962
query47	1782	1766	1635	1635
query48	1031	701	721	701
query49	613	374	368	368
query50	869	595	629	595
query51	4777	4698	4638	4638
query52	92	76	83	76
query53	442	333	315	315
query54	2616	2456	2465	2456
query55	94	77	83	77
query56	245	225	219	219
query57	1248	1191	1050	1050
query58	226	210	208	208
query59	3898	4146	3643	3643
query60	233	208	211	208
query61	94	91	94	91
query62	824	519	426	426
query63	494	342	338	338
query64	2628	1526	1476	1476
query65	3617	3574	3542	3542
query66	774	375	379	375
query67	15296	16426	14789	14789
query68	9978	684	665	665
query69	574	366	341	341
query70	1899	1661	1395	1395
query71	414	309	307	307
query72	6729	3489	3471	3471
query73	734	330	325	325
query74	6354	5841	5865	5841
query75	5283	3695	3694	3694
query76	6288	1167	1183	1167
query77	1044	250	252	250
query78	12562	11437	12592	11437
query79	9557	638	636	636
query80	1000	396	401	396
query81	495	243	240	240
query82	665	94	93	93
query83	168	130	132	130
query84	261	69	70	69
query85	877	326	337	326
query86	334	328	291	291
query87	3344	3048	3046	3046
query88	4162	2338	2338	2338
query89	362	304	313	304
query90	1966	208	209	208
query91	184	159	149	149
query92	58	53	51	51
query93	3997	552	545	545
query94	718	211	212	211
query95	1117	1059	1041	1041
query96	655	332	324	324
query97	6535	6321	6367	6321
query98	184	172	177	172
query99	3163	828	950	828
Total cold run time: 312479 ms
Total hot run time: 201999 ms

[doris-robot]

ClickBench: Total hot run time: 30.86 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 5b6b31e523248d66996744cda98735d82e063cc2, data reload: false

query1	0.02	0.03	0.02
query2	0.07	0.03	0.02
query3	0.25	0.04	0.04
query4	1.80	0.06	0.06
query5	0.54	0.52	0.51
query6	1.23	0.64	0.60
query7	0.01	0.01	0.02
query8	0.03	0.02	0.02
query9	0.52	0.49	0.47
query10	0.52	0.52	0.53
query11	0.12	0.08	0.09
query12	0.12	0.09	0.09
query13	0.62	0.61	0.62
query14	0.80	0.79	0.77
query15	0.78	0.75	0.74
query16	0.38	0.36	0.36
query17	1.00	1.02	1.01
query18	0.21	0.25	0.24
query19	1.91	1.86	1.83
query20	0.02	0.01	0.01
query21	15.44	0.54	0.53
query22	2.18	1.93	1.48
query23	16.96	0.98	0.99
query24	4.91	1.30	1.65
query25	0.34	0.09	0.05
query26	0.71	0.14	0.15
query27	0.05	0.03	0.05
query28	7.54	0.72	0.71
query29	12.76	2.29	2.28
query30	0.61	0.53	0.53
query31	2.82	0.39	0.38
query32	3.38	0.49	0.49
query33	3.05	3.03	3.07
query34	15.25	4.79	4.79
query35	4.84	4.84	4.84
query36	1.06	1.03	1.03
query37	0.06	0.05	0.05
query38	0.04	0.02	0.02
query39	0.02	0.01	0.01
query40	0.16	0.14	0.13
query41	0.07	0.02	0.02
query42	0.03	0.01	0.02
query43	0.02	0.02	0.02
Total cold run time: 103.25 s
Total hot run time: 30.86 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 5b6b31e523248d66996744cda98735d82e063cc2 with default session variables
Stream load json:         21 seconds loaded 2358488459 Bytes, about 107 MB/s
Stream load orc:          60 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.2 seconds inserted 10000000 Rows, about 471K ops/s