[Perf] Regressions in System.Linq.Tests.Perf_Enumerable

[DrewScoggins]

Run Information

Architecture	x64
OS	ubuntu 18.04
Baseline	3553284bea7b650874c8dcc3f78d6be085a047bb
Compare	59594697a94b5add2d91f292283141574e4d0f16

Regressions in System.Linq.Tests.Perf_Enumerable

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
TakeLastHalf	1.23 μs	1.34 μs	1.09

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Linq.Tests.Perf_Enumerable*'

.

Payloads

Baseline
Compare

Histogram

System.Linq.Tests.Perf_Enumerable.TakeLastHalf(input: IEnumerable)

[1222.875 ; 1258.448) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1258.448 ; 1302.591) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1302.591 ; 1341.917) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1341.917 ; 1388.505) | @@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

[dotnet-issue-labeler]

I couldn't figure out the best area label to add to this issue. If you have write-permissions please help me learn by adding exactly one area label.

[DrewScoggins]

#48634 looks like the culprit

[ghost]

Tagging subscribers to this area: @eiriktsarpalis
See info in area-owners.md if you want to be subscribed.

Issue Details

---

Run Information

Architecture	x64
OS	ubuntu 18.04
Baseline	3553284bea7b650874c8dcc3f78d6be085a047bb
Compare	59594697a94b5add2d91f292283141574e4d0f16

Regressions in System.Linq.Tests.Perf_Enumerable

Benchmark	Baseline	Test	Test/Base	Baseline IR	Compare IR	IR Ratio	Baseline ETL	Compare ETL
TakeLastHalf	1.23 μs	1.34 μs	1.09

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Linq.Tests.Perf_Enumerable*'

.

Payloads

Baseline
Compare

Histogram

System.Linq.Tests.Perf_Enumerable.TakeLastHalf(input: IEnumerable)

[1222.875 ; 1258.448) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1258.448 ; 1302.591) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1302.591 ; 1341.917) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1341.917 ; 1388.505) | @@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Author:	DrewScoggins
Assignees:	-
Labels:	arch-x64, area-System.Linq, os-linux, tenet-performance, tenet-performance-benchmarks, untriaged
Milestone:	-

[eiriktsarpalis]

This is expected, TakeLast is now doing slightly more work because it is being defined in terms of the Take(Range) method which optimizes for ICollection inputs. This can be seen if we compare with other inputs of the same benchmark:

e52568d

Method	input	Mean	Error	StdDev	Median	Min	Max	Gen 0	Gen 1	Gen 2	Allocated
TakeLastHalf	IEnumerable	1.360 us	0.0566 us	0.0651 us	1.314 us	1.301 us	1.456 us	0.0733	-	-	752 B
TakeLastHalf	List	1.669 us	0.1329 us	0.1530 us	1.658 us	1.505 us	1.992 us	0.0743	-	-	760 B

f7308f0

Method	input	Mean	Error	StdDev	Median	Min	Max	Gen 0	Gen 1	Gen 2	Allocated
TakeLastHalf	IEnumerable	1,424.4 ns	23.57 ns	19.68 ns	1,419.6 ns	1,406.8 ns	1,465.5 ns	0.0741	-	-	776 B
TakeLastHalf	List	693.1 ns	21.78 ns	25.08 ns	681.0 ns	669.6 ns	742.8 ns	0.0109	-	-	136 B

[adamsitnik]

Compared to 5.0 there is still a regression: https://pvscmdupload.blob.core.windows.net/reports/allTestHistory%2frefs%2fheads%2fmain_x64_Windows%2010.0.18362%2fSystem.Linq.Tests.Perf_Enumerable.TakeLastHalf(input%3a%20List).html

I am reopening, @eiriktsarpalis PTAL

[eiriktsarpalis]

Yes, this is in line with the trade-offs in that particular change. Notice in #50006 (comment) that for IEnumerable inputs performance regresses slightly, however for IList inputs it improves significantly, both in time and memory consumption.

I would recommend closing this as by-design.

[eiriktsarpalis]

I just realized you referred to List inputs. I'll take a look.

[adamsitnik]

@eiriktsarpalis sorry I forgot to provide the repro:

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f net5.0 net6.0 --filter 'System.Linq.Tests.Perf_Enumerable.TakeLastHalf'

[eiriktsarpalis]

Looking at the graph, the initial regression in September definitely correlates with this change: #42506.

This was reverting an optimization since it was behaving incorrectly in the context of source mutations. The more recent changes improve performance (as expected), but it is unlikely we can recover the performance of the (incorrect) .NET 5 implementation.

Again, this regression is to be expected, closing the issue.

cc @stephentoub