1. Sachverhalt

Am 16. Februar 2018 wurde der Beschwerdeführer am Grenzübergang beim Zollamt Boncourt-Delle Autoroute (nachfolgend Zollamt) kontrolliert, als er mit einem Mietfahrzeug deutscher Zulassung in die Schweiz einreiste. Anlässlich dieser Kontrolle stellte das Zollamt das Formular 15.25 (Einfahrtsbescheinigung für Strassenfahrzeuge und Boote) aus, das vom Beschwerdeführer ordnungsgemäss unterzeichnet wurde. Aus dem Formular 15.25 geht hervor, dass er das Fahrzeug bis spätestens 19. Februar 2018 ausführen musste. Zudem wurde vermerkt, dass die Ausfuhr ins Ausland dem Zollamt mitzuteilen sei und dass bei Nichtbeachtung dieser Anweisung die Zahlung der Einfuhrabgabe angeordnet werden könne. Da das Zollamt den Nachweis der Ausfuhr nicht erhalten hatte, forderte sie den Beschwerdeführer im März 2018 mit Einschreiben auf, den Nachweis der Wiederausfuhr des Fahrzeuges innerhalb der Gültigkeitsdauer der Einreisebescheinigung zu erbringen. Da das Zollamt darauf keine Antwort vom Beschwerdeführer erhielt, teilte dieses ihm mit eingeschriebenem Brief vom 6. April 2018 mit, für die Benutzung des betreffenden Fahrzeuges auf schweizerischem Boden Einfuhrabgaben zu erheben. Es setzte dem Beschwerdeführer eine Frist, innerhalb derer er Stellung nehmen und sein Recht auf Anhörung geltend machen konnte. Dieses Schreiben wurde vom Beschwerdeführer angefochten. In diesem Zusammenhang gab er an, dass er das Fahrzeug von der Firma B., einem Unternehmen mit Sitz in Deutschland, gemietet und am 17. Februar 2018 zurückgegeben habe. Zur Stützung seiner Aussage fügte er eine Bescheinigung der Firma B. vom 2. März 2018 sowie eine Kopie des Führerscheins des Fahrzeuges bei, der auf die Firma B. ausgestellt ist. Im April 2018 leitete das Zollamt das Dossier an die Zollkreisdirektion Basel weiter. Mit Schreiben vom Mai 2018 wurde der Beschwerdeführer informiert, dass die vorgelegte Bescheinigung nicht berücksichtigt werden konnte, weil sie nach dem für die...