/**
* Initialize interface
*
* Initialize ODP pktio and queues, query MAC address and update
* forwarding database.
*
* @param intf Interface name string
*/
static
void initialize_intf(char *intf)
{
odp_pktio_t pktio;
odp_pktout_queue_t pktout;
odp_queue_t inq;
int ret;
uint8_t src_mac[ODPH_ETHADDR_LEN];
char src_mac_str[MAX_STRING];
odp_pktio_param_t pktio_param;
odp_pktin_queue_param_t pktin_param;
odp_pktio_param_init(&pktio_param);
if (getenv("ODP_IPSEC_USE_POLL_QUEUES"))
pktio_param.in_mode = ODP_PKTIN_MODE_QUEUE;
else
pktio_param.in_mode = ODP_PKTIN_MODE_SCHED;
/*
* Open a packet IO instance for thread and get default output queue
*/
pktio = odp_pktio_open(intf, pkt_pool, &pktio_param);
if (ODP_PKTIO_INVALID == pktio) {
EXAMPLE_ERR("Error: pktio create failed for %s\n", intf);
exit(EXIT_FAILURE);
}
odp_pktin_queue_param_init(&pktin_param);
pktin_param.queue_param.sched.sync = ODP_SCHED_SYNC_ATOMIC;
if (odp_pktin_queue_config(pktio, &pktin_param)) {
EXAMPLE_ERR("Error: pktin config failed for %s\n", intf);
exit(EXIT_FAILURE);
}
if (odp_pktout_queue_config(pktio, NULL)) {
EXAMPLE_ERR("Error: pktout config failed for %s\n", intf);
exit(EXIT_FAILURE);
}
if (odp_pktin_event_queue(pktio, &inq, 1) != 1) {
EXAMPLE_ERR("Error: failed to get input queue for %s\n", intf);
exit(EXIT_FAILURE);
}
if (odp_pktout_queue(pktio, &pktout, 1) != 1) {
EXAMPLE_ERR("Error: failed to get pktout queue for %s\n", intf);
exit(EXIT_FAILURE);
}
ret = odp_pktio_start(pktio);
if (ret) {
EXAMPLE_ERR("Error: unable to start %s\n", intf);
exit(EXIT_FAILURE);
}
/* Read the source MAC address for this interface */
ret = odp_pktio_mac_addr(pktio, src_mac, sizeof(src_mac));
if (ret <= 0) {
EXAMPLE_ERR("Error: failed during MAC address get for %s\n",
intf);
exit(EXIT_FAILURE);
}
printf("Created pktio:%02" PRIu64 ", queue mode (ATOMIC queues)\n"
" default pktio%02" PRIu64 "-INPUT queue:%" PRIu64 "\n"
" source mac address %s\n",
odp_pktio_to_u64(pktio), odp_pktio_to_u64(pktio),
odp_queue_to_u64(inq),
mac_addr_str(src_mac_str, src_mac));
/* Resolve any routes using this interface for output */
resolve_fwd_db(intf, pktout, src_mac);
}
static int test_init(void)
{
odp_pool_param_t params;
const char *iface;
int schedule;
odp_pool_param_init(¶ms);
params.pkt.len = PKT_HDR_LEN + gbl_args->args.pkt_len;
params.pkt.seg_len = params.pkt.len;
params.pkt.num = PKT_BUF_NUM;
params.type = ODP_POOL_PACKET;
transmit_pkt_pool = odp_pool_create("pkt_pool_transmit", ¶ms);
if (transmit_pkt_pool == ODP_POOL_INVALID)
LOG_ABORT("Failed to create transmit pool\n");
odp_atomic_init_u32(&ip_seq, 0);
odp_atomic_init_u32(&shutdown, 0);
iface = gbl_args->args.ifaces[0];
schedule = gbl_args->args.schedule;
/* create pktios and associate input/output queues */
gbl_args->pktio_tx = create_pktio(iface, schedule);
if (gbl_args->args.num_ifaces > 1) {
iface = gbl_args->args.ifaces[1];
gbl_args->pktio_rx = create_pktio(iface, schedule);
} else {
gbl_args->pktio_rx = gbl_args->pktio_tx;
}
odp_pktio_mac_addr(gbl_args->pktio_tx, gbl_args->src_mac,
ODPH_ETHADDR_LEN);
odp_pktio_mac_addr(gbl_args->pktio_rx, gbl_args->dst_mac,
ODPH_ETHADDR_LEN);
if (gbl_args->pktio_rx == ODP_PKTIO_INVALID ||
gbl_args->pktio_tx == ODP_PKTIO_INVALID) {
LOG_ERR("failed to open pktio\n");
return -1;
}
/* Create single queue with default parameters */
if (odp_pktout_queue_config(gbl_args->pktio_tx, NULL)) {
LOG_ERR("failed to configure pktio_tx queue\n");
return -1;
}
/* Configure also input side (with defaults) */
if (odp_pktin_queue_config(gbl_args->pktio_tx, NULL)) {
LOG_ERR("failed to configure pktio_tx queue\n");
return -1;
}
if (gbl_args->args.num_ifaces > 1) {
if (odp_pktout_queue_config(gbl_args->pktio_rx, NULL)) {
LOG_ERR("failed to configure pktio_rx queue\n");
return -1;
}
if (odp_pktin_queue_config(gbl_args->pktio_rx, NULL)) {
LOG_ERR("failed to configure pktio_rx queue\n");
return -1;
}
}
if (odp_pktio_start(gbl_args->pktio_tx) != 0)
return -1;
if (gbl_args->args.num_ifaces > 1 &&
odp_pktio_start(gbl_args->pktio_rx))
return -1;
return 0;
}
static int netmap_start(pktio_entry_t *pktio_entry)
{
pkt_netmap_t *pkt_nm = &pktio_entry->s.pkt_nm;
netmap_ring_t *desc_ring;
struct nm_desc base_desc;
unsigned i;
unsigned j;
unsigned num_rx_desc = 0;
uint64_t flags;
odp_pktin_mode_t in_mode = pktio_entry->s.param.in_mode;
odp_pktout_mode_t out_mode = pktio_entry->s.param.out_mode;
/* If no pktin/pktout queues have been configured. Configure one
* for each direction. */
if (!pktio_entry->s.num_in_queue &&
in_mode != ODP_PKTIN_MODE_DISABLED) {
odp_pktin_queue_param_t param;
odp_pktin_queue_param_init(¶m);
param.num_queues = 1;
if (odp_pktin_queue_config(pktio_entry->s.handle, ¶m))
return -1;
}
if (!pktio_entry->s.num_out_queue &&
out_mode == ODP_PKTOUT_MODE_DIRECT) {
odp_pktout_queue_param_t param;
odp_pktout_queue_param_init(¶m);
param.num_queues = 1;
if (odp_pktout_queue_config(pktio_entry->s.handle, ¶m))
return -1;
}
if (pkt_nm->num_rx_desc_rings == pktio_entry->s.num_in_queue &&
pkt_nm->num_tx_desc_rings == pktio_entry->s.num_out_queue)
return (netmap_wait_for_link(pktio_entry) == 1) ? 0 : -1;
netmap_close_descriptors(pktio_entry);
/* Map pktin/pktout queues to netmap rings */
if (pktio_entry->s.num_in_queue) {
/* In single queue case only one netmap descriptor is
* required. */
num_rx_desc = (pktio_entry->s.num_in_queue == 1) ? 1 :
pkt_nm->num_rx_rings;
map_netmap_rings(pkt_nm->rx_desc_ring,
pktio_entry->s.num_in_queue, num_rx_desc);
}
if (pktio_entry->s.num_out_queue)
/* Enough to map only one netmap tx ring per pktout queue */
map_netmap_rings(pkt_nm->tx_desc_ring,
pktio_entry->s.num_out_queue,
pktio_entry->s.num_out_queue);
base_desc.self = &base_desc;
base_desc.mem = NULL;
memcpy(base_desc.req.nr_name, pktio_entry->s.name,
sizeof(pktio_entry->s.name));
base_desc.req.nr_flags &= ~NR_REG_MASK;
if (num_rx_desc == 1)
base_desc.req.nr_flags |= NR_REG_ALL_NIC;
else
base_desc.req.nr_flags |= NR_REG_ONE_NIC;
base_desc.req.nr_ringid = 0;
/* Only the first rx descriptor does mmap */
desc_ring = pkt_nm->rx_desc_ring;
flags = NM_OPEN_IFNAME | NETMAP_NO_TX_POLL;
desc_ring[0].s.desc[0] = nm_open(pkt_nm->nm_name, NULL, flags,
&base_desc);
if (desc_ring[0].s.desc[0] == NULL) {
ODP_ERR("nm_start(%s) failed\n", pkt_nm->nm_name);
goto error;
}
/* Open rest of the rx descriptors (one per netmap ring) */
flags = NM_OPEN_IFNAME | NETMAP_NO_TX_POLL | NM_OPEN_NO_MMAP;
for (i = 0; i < pktio_entry->s.num_in_queue; i++)
for (j = desc_ring[i].s.first; j <= desc_ring[i].s.last; j++) {
if (i == 0 && j == 0) { /* First already opened */
if (num_rx_desc > 1)
continue;
else
break;
}
base_desc.req.nr_ringid = j;
desc_ring[i].s.desc[j] = nm_open(pkt_nm->nm_name, NULL,
flags, &base_desc);
if (desc_ring[i].s.desc[j] == NULL) {
ODP_ERR("nm_start(%s) failed\n",
pkt_nm->nm_name);
goto error;
}
}
/* Open tx descriptors */
desc_ring = pkt_nm->tx_desc_ring;
flags = NM_OPEN_IFNAME | NM_OPEN_NO_MMAP;
base_desc.req.nr_flags &= !NR_REG_ALL_NIC;
base_desc.req.nr_flags |= NR_REG_ONE_NIC;
for (i = 0; i < pktio_entry->s.num_out_queue; i++)
for (j = desc_ring[i].s.first; j <= desc_ring[i].s.last; j++) {
base_desc.req.nr_ringid = j;
desc_ring[i].s.desc[j] = nm_open(pkt_nm->nm_name, NULL,
flags, &base_desc);
if (desc_ring[i].s.desc[j] == NULL) {
ODP_ERR("nm_start(%s) failed\n",
pkt_nm->nm_name);
goto error;
}
}
pkt_nm->num_rx_desc_rings = pktio_entry->s.num_in_queue;
pkt_nm->num_tx_desc_rings = pktio_entry->s.num_out_queue;
/* Wait for the link to come up */
return (netmap_wait_for_link(pktio_entry) == 1) ? 0 : -1;
error:
netmap_close_descriptors(pktio_entry);
return -1;
}
/**
* Create a pktio handle
*
* @param dev Name of device to open
* @param index Pktio index
* @param num_rx Number of RX queues
* @param num_tx Number of TX queues
* @param pool Pool to associate with device for packet RX/TX
*
* @retval 0 on success
* @retval -1 on failure
*/
static int create_pktio(const char *dev, int idx, int num_rx, int num_tx,
odp_pool_t pool)
{
odp_pktio_t pktio;
odp_pktio_param_t pktio_param;
odp_pktio_capability_t capa;
odp_pktin_queue_param_t pktin_param;
odp_pktout_queue_param_t pktout_param;
odp_pktio_op_mode_t mode_rx;
odp_pktio_op_mode_t mode_tx;
odp_pktio_param_init(&pktio_param);
pktio = odp_pktio_open(dev, pool, &pktio_param);
if (pktio == ODP_PKTIO_INVALID) {
printf("Error: failed to open %s\n", dev);
return -1;
}
printf("created pktio %" PRIu64 " (%s)\n", odp_pktio_to_u64(pktio),
dev);
if (odp_pktio_capability(pktio, &capa)) {
printf("Error: capability query failed %s\n", dev);
return -1;
}
odp_pktin_queue_param_init(&pktin_param);
odp_pktout_queue_param_init(&pktout_param);
mode_tx = ODP_PKTIO_OP_MT_UNSAFE;
mode_rx = ODP_PKTIO_OP_MT_UNSAFE;
if (num_rx > (int)capa.max_input_queues) {
printf("Sharing %i input queues between %i workers\n",
capa.max_input_queues, num_rx);
num_rx = capa.max_input_queues;
mode_rx = ODP_PKTIO_OP_MT;
}
if (num_tx > (int)capa.max_output_queues) {
printf("Sharing %i output queues between %i workers\n",
capa.max_output_queues, num_tx);
num_tx = capa.max_output_queues;
mode_tx = ODP_PKTIO_OP_MT;
}
pktin_param.hash_enable = 1;
pktin_param.hash_proto.proto.ipv4 = 1;
pktin_param.hash_proto.proto.ipv4_tcp = 1;
pktin_param.hash_proto.proto.ipv4_udp = 1;
pktin_param.num_queues = num_rx;
pktin_param.op_mode = mode_rx;
pktout_param.op_mode = mode_tx;
pktout_param.num_queues = num_tx;
if (odp_pktin_queue_config(pktio, &pktin_param)) {
printf("Error: input queue config failed %s\n", dev);
return -1;
}
if (odp_pktout_queue_config(pktio, &pktout_param)) {
printf("Error: output queue config failed %s\n", dev);
return -1;
}
if (odp_pktin_queue(pktio, gbl_args->pktios[idx].pktin,
num_rx) != num_rx) {
printf("Error: pktin queue query failed %s\n", dev);
return -1;
}
if (odp_pktout_queue(pktio, gbl_args->pktios[idx].pktout,
num_tx) != num_tx) {
printf("Error: pktout queue query failed %s\n", dev);
return -1;
}
printf("created %i input and %i output queues on (%s)\n", num_rx,
num_tx, dev);
gbl_args->pktios[idx].num_rx_queue = num_rx;
gbl_args->pktios[idx].num_tx_queue = num_tx;
gbl_args->pktios[idx].pktio = pktio;
return 0;
}
