タイトルの内容を試してみました。参考になれば幸いです。

ポイント

・TortoisGitのsshクライアントには、デフォルトのsshかTortoiseGit付属のTortoisePlinkを指定することになるが、sshはGit for windows付属のもの他に、Windows10では標準のものなど、複数存在する。
・Git for windows付属のsshはGit bashでは使えているように見えるが、TortoiseGitからの使用は、(私が試した範囲では)その動作が確認できていない。
・Windows10標準のsshをTortoiseGitから使用することは可能だった。(参考: http://www.freia.jp/taka/blog/windows-native-ssh-client/index.html )

・ここでは、TortoiseGit付属のTortoisePlinkを使用する。マシン起動後にPagentを起動して、Pagentに鍵を登録する手間を省きたい場合は上記のWindows10標準のsshの使用をお勧めする。
・githubがputtygenで作成した公開鍵を受け付けてくれなかったので、Git for Windows付属のssh-keygenで公開鍵、秘密鍵を作成し、さらに秘密鍵をputtygenというツールでputty向けのppkファイルに変換する。

手順

1. 公開鍵の作成
・鍵を置くフォルダを作成する。
・作成したフォルダをエクスプローラで開き、右クリックして「Git bash here」をクリックする。Git bashのコンソール画面が開く。
・以下のコマンドを実行して公開鍵を生成する。鍵のファイル名をtest_keyとする。test_keyとtest_key.pubというファイルが作成される。

ssh-keygen -t ecdsa -f test_key

2. putty向けの秘密鍵を作成する。(TortoisGit付属のPuttygenを使用する)。出来上がったファイルをtest_key.ppkとする。

3. githubに公開鍵を登録する。

3. Pagentを起動し、putty向けの秘密鍵を読み込む。

4. TortoiseGitでsshクライアントにTortoisePlinkを使用するように設定する。

5. githubでssh用のリポジトリURLを取得して、クローンする。