Режиссёр Карен Шахназаров задумывал снять музыкальную комедию о молодом Леониде Утёсове. Он позвонил Утёсову, но певец сказал «нечего про это фильм снимать» и отказался общаться. Режиссёр долго не мог понять в чём дело, пока не выяснил, что Утёсов не был классическим джазменом и сложно относился к тому, что его воспринимали именно как создателя русского джаза. На самом деле его музыка была копией с американских мюзик-холлов 20-х — 30-х годов. Он даже не знал нот, хотя играл на множестве инструментов, прекрасно пел и дирижировал оркестром.
Главного героя Костю режиссёр и сценарист Александр Бородянский списали с пионера русского джаза, композитора и дирижёра Александра Варламова. В 30-х годах он сотрудничал с американской чернокожей певицей Целестиной Коол, а позже собрал первую в СССР группу музыкантов-импровизаторов. В 1943 году музыкант был арестован, по легенде это произошло после выпуска пластинки с записью фокстрота под названием «Иосиф». После реабилитации жил в Москве, писал музыку для оркестров, кино- и телефильмов. Шахназаров и Бородянский ездили к нему, и он рассказывал истории о советских джазменах, которые нашли отражение в фильме.
Музыкальный теоретик Сергей Адамович Колбасьев — реальное лицо. Он на самом деле был морским офицером и энтузиастом джаза. Коллекционировал пластинки, вёл передачи о джазе и был консультантом молодёжного джаз-оркестра. Колбасьев собрал огромную коллекцию пластинок, а в его квартире собирались почти все первые советские джазмены. Судьба ценителя джаза сложилась трагически — в начале 30-х его дважды арестовывали как шпиона, но оба раза отпускали, а в 1937 году арестовали ещё раз по статье «измена Родине». По некоторым данным он был расстрелян в год ареста, по другим считается, что погиб в лагерях. В фильме капитана Колбасьева сыграл мультипликатор Виталий Бобров.
У героини Ларисы Долиной тоже был реальный прототип. Американская джазовая певица Коретти Арле приехала в СССР с гастролями чернокожей женской труппы и познакомилась с пианистом Борисом Тицем. Она вышла за него замуж и осталась жить в СССР, пела в опере и давала эстрадные концерты. Ларису Долину, для того, чтобы она могла сыграть чернокожую певицу, гримировали 6 часов с использованием 12 разных оттенков. Во время съёмок Долина была на пятом месяце беременности, и Шахназаров лично возил её на съёмки и со съёмок.
Главным претендентом на роль Кости был Дмитрий Харатьян, но на пробы пришёл Игорь Скляр, который уже снялся в музыкальном фильме «Только в мюзик-холле», и его утвердили. На роль Степана пробовались Николай Ерёменко и Леонид Ярмольник, но режиссёр остановил свой выбор на тогда неизвестном, но очень органичном Александре Панкратове-Чёрном. Николай Аверюшкин пробовался на роль руководителя Ассоциации пролетарских музыкантов, но Шахназаров увидел в нём барабанщика Жору, тем более, что Аверюшкин соврал, что прекрасно играет на барабанах. Саксофониста сыграл Пётр Щербаков, и его герой потом привлек внимание нью-орлеанского джазового музея, который купил фильм. Сотрудники музея пытались выяснить, кто этот превосходный музыкант.
Музыкантам наняли репетиторов. Николая Аверюшкина, чей обман моментально вскрылся, учил джазовый барабанщик, Панкратова-Чёрного — гитарист-виртуоз, уже умевшего играть на пианино Игоря Скляра тренировал профессор Одесской консерватории. У Панкратова-Чёрного обнаружилось отсутствие музыкального слуха, так что игру на банджо он только имитировал, а вот бить чечётку научился, и позже это пригодилось ему в фильме «Зимний вечер в Гаграх». Вместе с ним учились чечётке Игорь Скляр и Елена Цыплакова.
Игорь Скляр и Лариса Долина сами поют за своих героев, а женскую партию в песне «Старый рояль» исполняет латвийская певица Ольга Пирагс. Вместо Александра Панкратова-Чёрного песню про «чемоданчик» и «Одессу-маму» поёт оператор фильма Владимир Швецик. Музыку для фильма писал джазовый музыкант Анатолий Кролл, а также использовались композиции джазовых коллективов 1920-х годов.
Фильм прошёл с оглушительным успехом не только в СССР — его показывали в 26 странах! «Мы из джаза» был назван лучшим фильмом 1983 года, картина получила призы и дипломы на международных кинофестивалях в Гренобле, Чикаго, Лондоне и других, а Карену Шахназарову вручили премию Ленинского комсомола. Для молодого режиссёра, снявшего всего второй фильм, это был настоящий триумф!
