A partir do WooCommerce 3.5.1, o woocommerce adiciona label_class ‘ screen-reader-text ‘ aos campos Billing & Shipping Address 2 para fins de acessibilidade, uma pena!

Essa classe manterá o rótulo oculto, a menos que também seja alterado. Aqui está como atualizei meu functions.php para obter os rótulos billing/shipping_address_2 de volta (estou usando os filtros separados de faturamento/envio, pois fiz alterações em outros campos que não incluí no código para abreviar.

// Billing Fields.
add_filter( 'woocommerce_billing_fields', 'custom_woocommerce_billing_fields' );
function custom_woocommerce_billing_fields( $fields ) {
    $fields['billing_address_2']['label'] = 'Address 2';
    $fields['billing_address_2']['label_class'] = '';
    
    return $fields;
}

// Shipping Fields.
add_filter( 'woocommerce_shipping_fields', 'custom_woocommerce_shipping_fields' );
function custom_woocommerce_shipping_fields( $fields ) {
    $fields['shipping_address_2']['label'] = 'Address 2';
    $fields['shipping_address_2']['label_class'] = '';
    
    return $fields;
}