Abstracts Engineering

Building and Training a Fully Connected Deep Neural Network From Scratch

by Axel Berglund

Artificial Neural Networks make up the core of mostMachine Learning algorithms. In the past decade Machine learninghave successfully taken on fields such as image recognition,Data analytics and medical technologies. As the area of usebecome less prone to mistakes, it raises the responsibility lookinto the black box of code and understand it to a deeper level. Inthis project, I built a Deep Neural Network from scratch, withouthigh level libraries, and trained it for a supervised classificationtask. The finished algorithm is flexible and can be adapted toany classification problem. The training method is based onBackpropagation and Gradient Descent. At last, the algorithmwas trained on the Modified National Institute of Standardsand Technology (MNIST) database, and performed with a 77%prediction acccuracy. There are a few optimization methods yetto be tested to further increase the performance. Artificiella neurala nätverk utgör kärnan i de flesta maskininlärningsalgoritmer idag. Under det senaste decenniet har maskininlärning framgångsrikt tagit an områden som bildigenkänning, dataanalys och medicinsk teknik. När användningsområdena blir mindre benägna till misstag, ökar ansvaret av att titta under huven och förstå den djupare nivåkoden. I denna studie var syftet att bygga ett djupt neuralt nätverk från grunden, utan högnivåbibliotek, och träna det för en övervakad klassificeringsuppgift. Den färdiga algoritmen är flexibel och kan designas för flera klassificeringsproblem. Nätverkets träningsmetod är baserad på Backpropagation och Gradient Descent. Valideringsdatan kunde till slut köras med 77% korrekt noggrannhet, och det finns finns ytterligare optimeringsmetoder att testa för att höja prestationen. Kandidatexjobb i elektroteknik 2022, KTH, Stockholm