文字列補間（String Interpolation）と呼ばれる構文

変数の値を文字列内に埋め込むための簡潔な書き方。
VB.NET では Visual Studio 2015（.NET Framework 4.6以降）から使用可能。

Return $"No.{arg1} - {arg2}"

は、以下と同じ意味
Return "No." & arg1.ToString() & " - " & arg2

つまり
arg1 が整数（たとえば 5）
arg2 が文字列（たとえば "Apple"）
だった場合、

Return $"No.{arg1} - {arg2}"

の結果は

"No.5 - Apple"

という文字列になる。

$ の意味は？
$ を文字列の前に付けると、その文字列内で {} で囲んだ部分に変数や式を埋め込めるようになる。

Dim name As String = "Taro"
Dim age As Integer = 20
Dim msg As String = $"名前：{name}、年齢：{age}"

名前：Taro、年齢：20

中で式も書ける

Dim x As Integer = 3
Dim y As Integer = 4
Console.WriteLine($"合計は {x + y}")
→ 合計は 7

書き方意味
$"文字列{変数}" 文字列に変数の値を埋め込む（文字列補間）
& を使う方法昔ながらの文字列連結（やや読みにくい）

つまり
$"No.{arg1} - {arg2}" は、変数 arg1 と arg2 の値を埋め込んだ文字列を作る便利な記法だ。