Nazwa “柴犬(Shiba Inu)” składa się z dwóch części: “柴” oraz “犬”. Słowo “犬” może być czytane jako “Inu” albo “Ken” co w obu przypadkach oznacza psa. Gramatycznie czytanie “Shiba Inu” to bardziej poprawna nazwa, ponieważ taka właśnie została zarejestrowana jako Pomnik Przyrody.
Jedni uważają, że nazwa “Shiba Inu” pochodzi ze środkowo-górskiego terenu Japonii. Inni mówią, że “Shiba” to zarośla, które rosną na polach znajdujących się na górzystym terenie Japonii, tak więc pierwsza wersja mówi, że “Shiba Inu” pochodzi od nazwy tej rośliny. Inne znaczenie nazwy “Shiba” oznacza “mały”. Kierując się tym tłumaczeniem Shiba Inu to “Mały pies”. Jeszcze inna teoria głosi, że umaszczenie shiby przypomina kolor zwiędłego krzewu, dlatego rasa została tak właśnie nazwana.
Wszystkie inne Japońskie psy takie jak Akita-Inu czy Kishu-Inu, Shikoku- ken zostały nazwane od miejsc z których się wywodziły. Jeżeli chodzi o Shiba- Inu, sposób nazewnictwa był inny.